Key Takeaways
- HIPAA(의료): 환자 데이터는 클라우드 API에 접촉할 수 없습니다. 격리된 네트워크의 로컬 LLM, 암호화된 스토리지, 접근 로그가 필요합니다.
- PCI-DSS(결제 카드): 결제 카드 데이터는 LLM으로 처리할 수 없습니다. 분석 목적으로만 사용하며, 전체 PAN(카드 번호)은 절대 입력하지 않습니다.
- 법률(변호사-의뢰인 특권): 특권 문서는 변호사의 통제 범위를 벗어날 수 없습니다. 에어갭 기기, 무네트워크, 하드카피 출력만 허용됩니다.
- 설정: 격리된 Linux 서버에서 Ollama 또는 vLLM 실행, 암호화 파일시스템(LUKS), 감사 로깅(ELK), 인터넷 미연결. 비용: 하드웨어 $3K-5K + 연간 업데이트 $2K.
- EU/GDPR: 제32조(보안), 제35조(DPIA 필수), AI Act 2024/1689(위험 평가). 데이터 상주 = 로컬 스토리지만 허용.
- vs 클라우드 API: 클라우드 = 벤더가 데이터 통제 + 침해 책임. 로컬 = 직접 통제 + 침해 위험 제로.
컴플라이언스를 위한 로컬 LLM의 필요성
클라우드 API(ChatGPT, Claude, Gemini)는 규제 데이터와 함께 사용할 수 없습니다:
- 클라우드로의 데이터 전송 = 기밀 침해(HIPAA, 법적 특권).
- "프라이빗 모드" 옵션이 없습니다. 데이터는 결국 모델 학습에 사용됩니다(벤더 이용약관에서 허용).
- 벤더 종속: 벤더가 침해되거나 서비스를 종료하면 데이터와 컴플라이언스 지위를 모두 잃게 됩니다.
로컬 LLM의 보장 사항:
- 데이터 외부 전송 제로(에어갭 = 네트워크 없음, 클라우드 없음).
- 감사 추적(모든 접근 기록, 암호화 서명, 불변).
- 통제권(데이터, 암호화 키, 전체 스택을 직접 소유).
- 비용 예측 가능성(초기 $5K 하드웨어 투자 후 토큰당 요금 없음).
HIPAA 준수 설정 (의료)
PHI(보호 건강 정보)는 신뢰할 수 없는 시스템으로 처리할 수 없습니다. HIPAA는 45 CFR 164.312(암호화, 접근 통제, 감사 로깅)를 요구합니다.
- 1서버 격리: 전용 Linux 기기(공유 리소스 없음), 인터넷 미연결, 데이터 입출력은 암호화된 USB만 사용합니다.
- 2스토리지 암호화: LUKS 전체 디스크 암호화, AES-256, 패스프레이즈 보호. 하드웨어 도난 시 데이터 유출을 방지합니다.
- 3네트워크 격리: 전용 VLAN 또는 에어갭(네트워크 없음). MFA를 통한 VPN으로 접근하거나 물리적 터미널만 사용합니다.
- 4감사 로깅: 모든 LLM 쿼리를 기록합니다: 타임스탬프, 사용자 ID, 문서 해시(평문 아님), 응답 길이, 사용된 모델. 로그는 별도의 암호화된 syslog 서버에 저장합니다.
- 5접근 통제: 역할 기반(의사 vs. 관리자 vs. 연구자). 로그인 시 MFA. 공유 패스워드 금지. 퇴직 시 계정 즉시 비활성화.
- 6보존 정책: 추론 로그를 6년 후 삭제합니다(HIPAA 요건: 45 CFR 164.312). 암호화 검증을 포함한 자동 제거 스크립트를 구현합니다.
- 7Business Associate Agreement (BAA): 벤더에게만 적용됩니다. 오픈소스 모델(Llama, Mistral)은 벤더 서명 대신 내부 컴플라이언스 문서화가 필요합니다.
- 8연간 침투 테스트: 데이터 유출, 기본 자격증명, 패치되지 않은 취약점이 없는지 검증하는 제3자 보안 감사를 실시합니다.
PCI-DSS 준수 설정 (금융)
결제 카드 데이터(PAN = Primary Account Number)는 LLM으로 처리할 수 없습니다. PCI-DSS v4.0은 12가지 핵심 요건을 요구합니다.
- 1LLM에 전체 카드 번호를 절대 입력하지 않습니다. PCI-DSS에서 전면 금지합니다. 토큰화된 표현(끝 4자리만, 만료일 없음)을 사용합니다.
- 2저장 및 전송 시 암호화: AES-256 암호화 파일, 네트워크에는 TLS 1.3. 모든 카드 데이터는 터미널을 떠나기 전에 암호화합니다.
- 3네트워크 분리: 방화벽 규칙이 있는 격리된 VLAN에 LLM 서버를 배치합니다. 인터넷 접근 불가, 기업 네트워크 접근 불가.
- 4하드웨어 보안 모듈(HSM): 변조 방지 장치(Thales, Yubico HSM)에 암호화 키를 저장합니다. LLM 서버와 분리합니다.
- 5로깅 및 모니터링: 파일 접근, 로그인 시도, 인증 실패, 데이터 유출에 대한 실시간 경보. SIEM 통합(Splunk, ELK).
- 6분기별 컴플라이언스 스캔: 취약점에 대한 자동 PCI-DSS 스캔(Qualys, Nessus, Rapid7). 30일 이내 조치 완료.
- 7벤더 문서화: 모델 제공자(Ollama, vLLM)는 결제 처리업체가 아니며 PCI 벤더도 아닙니다. 로컬 배포 환경이 적용 범위에 포함됩니다.
에어갭 배포
가장 안전한 옵션: 기기가 네트워크에 전혀 연결되지 않습니다(페러데이 케이지 수준의 격리).
- 1물리적 격리: 잠긴 방에 서버 배치(물리적 접근 통제), 이더넷 케이블 없음, BIOS에서 WiFi 비활성화, 블루투스 비활성화.
- 2모델 로딩: 연결된 기기에서 모델을 사전 다운로드(HuggingFace에서 다운로드)한 후 암호화된 USB(GPG, AES-256으로 암호화)를 통해 전송합니다.
- 3데이터 입력: 사용자가 암호화된 USB(GPG 또는 7z 암호화)로 문서를 전송합니다. 에어갭 기기에서 USB를 악성코드 검사합니다.
- 4추론: 로컬에서 LLM 실행(Ollama, vLLM), 출력은 USB에 저장합니다. 네트워크 호출 없음, 외부 API 접근 없음.
- 5데이터 출력: 암호화된 USB를 사용자에게 반환하여 별도의 비민감 기기에서 복호화합니다. 복호화 검증 후 원본 암호화 USB를 파기합니다.
- 6트레이드오프: 지연 시간(USB 수동 전송에 수 분 소요) vs. 절대적 보안(네트워크 위험 제로, 원격 침해 가능성 제로).
- 7사용 사례: 법률 디스커버리(변호사 검토), 의료 영상 분석, 금융 모델 학습(1시간 지연 허용 시 배치 처리 가능).
EU/GDPR/AI Act 컴플라이언스
EU 데이터 보호법(GDPR, EU AI Act 2024/1689)은 명시적인 보안 및 위험 평가를 요구합니다.
- 1GDPR 제32조(보안): 적절한 암호화, 가명처리, 기밀성, 무결성, 복원력을 보장합니다. 로컬 LLM은 기본적으로 이를 충족합니다(클라우드 전송 없음 = 위험 없음).
- 2GDPR 제35조(데이터 보호 영향 평가): 고위험 처리에 필수입니다. 문서화할 항목: 데이터 유형(의료, 금융), 보존(6년), 접근 통제, 침해 시나리오. 로컬 LLM = 저위험(격리됨).
- 3GDPR 제17조(삭제권): "잊혀질 권리." 요청 시 로컬 로그를 제거해야 합니다. 자동 익명화 스크립트를 구현합니다(사용자 ID 제거, 문서 해시 처리).
- 4EU AI Act 2024/1689(고위험 시스템): 분류는 사용 사례에 따라 다릅니다. 의료 진단 = 고위험(설명 가능성 필요). 법적 문서 검토 = 중위험(감사 추적 필요). 위험 평가 및 인간 검토 프로세스를 구현합니다.
- 5DPIA(데이터 보호 영향 평가): 배포 전 필수입니다. 문서화할 항목: 처리 목적(진단, 사례 검토), 데이터 범주(의료 기록, 계약서), 제3자(없음), 보존(6년), 안전장치(암호화, 접근 로그).
- 6독일 BDSG(Bundesdatenschutzgesetz): 추가 요건으로 GDPR을 확장합니다: 시스템 제공자는 독일/EU여야 합니다(로컬 배포 = 준수), 데이터 처리 계약 필수(자체 처리 = 준수).
권장 모델 및 하드웨어 사양
컴플라이언스 요건과 인프라 규모에 따라 모델을 선택하십시오.
| Use Case | Model | VRAM | Hardware | Why |
|---|---|---|---|---|
| 문서 검토 (법률) | LLaMA 4 Scout (7B) | 8-12 GB | RTX 4060 / M4 Max | 빠르고 정확한 법적 추론, 소형 풋프린트 |
| 의료 기록 (HIPAA) | Mistral Large (34B) | 32-40 GB | RTX 4090 / A100 (40GB) | 높은 정확도, 의료 지식, HIPAA 요건 충족 |
| 금융 분석 (PCI) | Llama 3.3 70B | 70-80 GB | A100 (80GB) / H100 | 금융 추론, 컴플라이언스 감사 추적 |
| 소규모 팀 (<10명) | Mistral Small Instruct | 8-16 GB | M3/M4 Pro 또는 RTX 4070 | 비용 효율적, 기본 문서 처리에 충분 |
로컬 LLM vs 클라우드 API 비교
배포 모델의 직접 비교입니다.
| Factor | Local LLM | Cloud API |
|---|---|---|
| 데이터 보안 | 외부 전송 제로. 데이터가 온프레미스에 보관됩니다. 저장 및 전송 시 암호화. | 데이터가 벤더 서버로 전송됩니다. 벤더가 학습에 사용할 수 있습니다(이용약관에서 허용). 침해 책임은 벤더에게 있습니다. |
| 컴플라이언스 | HIPAA/PCI/GDPR 준수. 감사 로그를 직접 통제합니다. DPIA 필요하지만 저위험. | 규정을 준수하지 않습니다. 벤더는 데이터 처리자이며, 귀하가 책임을 집니다. |
| 비용 | 초기 하드웨어 $3K-5K. 연간 유지비 $0-500. 예측 가능합니다. | 초기 비용 $0. 대규모 시 연간 $500K+(토큰 × 2026 가격). 예측 불가능합니다. |
| 침해 책임 | $0(데이터가 귀하의 통제에서 벗어나지 않음). 보험 불필요. | $50K-$5M+(벤더 침해 = HIPAA/GDPR 하에서 피해 당사자에게 귀하가 책임을 짐). |
감사 로깅 및 데이터 거버넌스
기록 항목: 모든 LLM 쿼리(타임스탬프, 사용자, 프롬프트 해시, 응답 길이, 모델 버전), 파일 접근(열기/읽기/수정), 로그인/로그아웃(IP, MFA 상태).
저장 위치: 암호화된 syslog 서버, LLM 서버와 별도의 물리적 기기. 데이터 침해로 인한 로그 손상을 방지합니다.
변조 방지: 로그에 암호화 서명(SHA-256, 관리자 키로 서명). 신뢰 체인을 깨지 않고는 삭제 불가. 추가 전용 스토리지를 구현합니다.
도구: 집계 및 검색에는 ELK Stack(Elasticsearch/Logstash/Kibana), 엔터프라이즈용으로는 Splunk(60일 보존 표준).
보존 정책: HIPAA = 6년, GDPR = 삭제권(6개월 후 익명화), PCI-DSS = 1년. 암호화 검증을 포함한 자동 제거를 구현합니다.
월별 컴플라이언스 검증: 로그 검토(로그의 5% 무작위 검사). 분기별 데이터 계보 감사(쿼리를 소스까지 추적). 연간 제3자 평가(침투 테스트, 로그 검증).
일반적인 컴플라이언스 실패 사례
- 의료 데이터와 함께 클라우드 ChatGPT 사용. 즉각적인 HIPAA 위반. 벌금: 사건당 $10K-$50K(연간 최대 $1.5M). 예: 병원 직원이 ChatGPT를 사용하여 퇴원 요약서를 작성(PHI 노출).
- 잠금장치 없는 방의 에어갭 서버. 누구나 들어갈 수 있다면 물리적 보안은 의미가 없습니다. 예: 컴플라이언스 감사관이 출입증 통제 없이 공개된 서버실에서 LLM 서버를 발견.
- 데이터와 동일한 서버에 로그 저장. 로그 침해 = 감사 추적 침해. 별도 시스템 필요(45 CFR 164.312(b)). 예: 랜섬웨어가 데이터와 로그를 모두 암호화하여 감사 추적이 파괴됨.
- 전송 중 데이터 암호화 없음. 공유 네트워크에서 암호화되지 않은 USB 전송. 스니퍼 공격으로 의료 기록이 탈취됨. GPG 암호화 파일을 사용하고 체크섬을 확인하십시오.
- 오픈소스 모델과의 BAA. 오픈소스 모델(Llama, Mistral)에는 BAA에 서명할 벤더가 없습니다. 대신 내부적으로 컴플라이언스를 문서화하십시오(감사 로그, 위험 평가, DPIA). BAA는 벤더에게만 해당됩니다.
- 보존 정책 없음. HIPAA는 6년 후 제거를 요구합니다. 삭제하지 않으면 위반입니다. 암호화 증명과 함께 일정에 따라 로그를 삭제하는 자동화 스크립트를 구현하십시오.
자주 묻는 질문
PII를 해시 처리하면 컴플라이언스 데이터에 클라우드 LLM을 사용할 수 있습니까?
아닙니다. 해시된 데이터도 여전히 규제 대상입니다. HIPAA/GDPR은 클라우드 API를 포함한 모든 벤더로의 전송을 금지합니다. 해시 처리가 벤더의 통제에서 데이터를 제거하지는 않습니다. 로컬 LLM만 사용하십시오.
Llama 또는 Mistral 모델과 BAA가 필요합니까?
아닙니다. 오픈소스 모델에는 BAA에 서명할 벤더가 없습니다. 대신 내부적으로 컴플라이언스를 문서화하십시오: 위험 평가, 데이터 처리 절차, 감사 로그, 보존 정책. BAA는 벤더(OpenAI, Anthropic, Google)를 사용하는 경우에만 필요합니다.
HIPAA에 에어갭은 과도한 조치입니까?
데이터가 매우 민감한 경우(유전 정보, 정신과 기록)에는 과도하지 않습니다. HIPAA Omnibus Rule(2013)에 따른 모범 사례입니다. 덜 민감한 데이터(기본 상담)의 경우 월별 감사를 포함한 VPN 보호 로컬 배포도 허용됩니다.
직원 퇴직 시 안전하게 처리하는 방법은 무엇입니까?
VPN 접근을 즉시 비활성화합니다. 해당 사용자의 지난 6개월 LLM 쿼리를 모두 감사합니다(컴플라이언스 요건). 기밀 데이터가 유출되지 않았는지 확인합니다. 로그를 6년간 보관합니다(HIPAA 보존, 읽기 전용). 접근 통제 목록에서 사용자를 제거합니다.
법률 디스커버리에 로컬 LLM을 사용할 수 있습니까?
가능합니다. 에어갭 + 변호사 감독으로 변호사-의뢰인 특권을 유지합니다(제3자 접근 없음). 문서화할 항목: 보관 연속성, 데이터 처리 절차, 접근 로그. e-디스커버리 요건(FRCP 34)을 충족합니다.
로컬 서버가 침해된 경우 어떻게 해야 합니까?
저장 시 암호화 = 피해 제한(공격자가 데이터를 읽을 수 없음). 감사 로그로 접근된 내용을 파악합니다(손상된 쿼리만). 30일 이내에 피해 당사자에게 통보합니다(HIPAA/GDPR 요건). 인시던트 대응: 서버 격리, 포렌식, 패스워드 업데이트, 침투 테스트.
로컬 추론이 클라우드 API보다 느립니까?
지연 시간이 약간 더 높습니다(로컬 200ms vs. 클라우드 50ms). 그러나 처리량은 비슷합니다. 배치 처리(법적 검토, 의료 영상 분석)는 실질적인 차이가 없습니다. 실시간 채팅은 대부분의 사용 사례에서 허용 가능한 수준입니다.
추론 후 로컬 LLM 출력을 클라우드에 저장할 수 있습니까?
종단 간 암호화된 경우에만 가능합니다(귀하가 암호화 키를 보유하고 클라우드 제공업체가 평문에 접근할 수 없는 경우). 권장 사항: 로컬에 저장하고 암호화된 클라우드 스토리지에 백업합니다(서버 측 암호화가 적용된 AWS S3). 데이터 상주 요건을 준수하십시오(EU = 데이터를 EU 내에 보관).
관련 자료
참고 자료
- HIPAA Privacy Rule: 45 CFR 164.300-318 (미국 보건복지부, 2013)
- HIPAA Security Rule: 45 CFR 164.300-318 (암호화, 접근 통제, 감사 로깅)
- PCI Data Security Standard v4.0 (PCI Security Standards Council, 2022) — 결제 카드 데이터 처리
- GDPR 제32조, 제35조, 제17조 (일반 데이터 보호 규정, EU, 2016) — 보안, DPIA, 삭제권
- EU AI Act 2024/1689 (유럽연합, 2024) — 고위험 AI 시스템 거버넌스
- 독일 BDSG (Bundesdatenschutzgesetz, 2018) — 데이터 상주 및 처리 요건