Skip to main content
PromptQuorumPromptQuorum
ホーム/ローカルLLM/機密データ向けローカルLLMの最適なセットアップ
プライバシーと企業

機密データ向けローカルLLMの最適なセットアップ

·12分で読める·Hans Kuepper 著 · PromptQuorumの創設者、マルチモデルAIディスパッチツール · PromptQuorum

ローカルLLMはゼロデータ流出を保証します:医療記録、財務文書、法務書類は決してマシンから離れません。

ローカルLLMはゼロデータ流出を保証します:医療記録、財務文書、法務書類は決してマシンから離れません。 2026年4月時点で、規制対象産業(医療HIPAA、金融PCI-DSS、法務弁護士依頼者秘匿特権)はエアギャップ推論を要求します。このガイドは、セキュアなセットアップ、監査ログ、および適合性検証をカバーします。

重要なポイント

  • 個人情報(医療、金融): データはクラウドに送信できません。ローカルLLMは分離されたネットワークで、暗号化されたストレージ、アクセスログで実行します。
  • 支払いカードデータ: カード番号をLLMに入力してはいけません。PCI-DSSで禁止されています。分析用のみ、最後の4桁のみを使用します。
  • 法的特権: 特権文書は弁護士の管理下を離れることができません。ネットワーク分離マシン、紙出力のみです。
  • セットアップ: OllamaまたはvLLMをLinuxサーバーで分離、ファイルシステム暗号化(LUKS)、監査ログ(ELK)、インターネットなし。コスト:3,000-5,000 USD ハードウェア + 2,000 USD/年アップデート。
  • EU/GDPR: 第32条(セキュリティ)、第35条(DPIA必須)、AI法2024/1689(リスク評価)。データ保有地 = ローカルストレージのみ。
  • vs クラウドAPI: クラウド = ベンダーがデータを管理 + 違反責任。ローカル = あなたが管理 + ゼロリスク。

コンプライアンスのためのローカルLLMが必要な理由

クラウドAPI(ChatGPT、Claude、Gemini)は規制データでは使用できません:

  • データをクラウドに送信 = 機密性侵害(GDPR、法的特権)。
  • 「プライベートモード」はありません。データは最終的にモデルをトレーニングします(ベンダー利用規約により許可)。
  • ベンダーロックイン:ベンダーが違反またはシャットダウンした場合、データとコンプライアンス状態を失う。

ローカルLLMが保証する:

  • ゼロデータ流出(ネットワーク分離 = クラウドなし)。
  • 監査証跡(すべてのアクセスがログされ、暗号化署名、不変)。
  • 管理(あなたがデータ、暗号化キー、全スタックを所有)。
  • コスト予測性(初期5,000 USDハードウェア投資後、トークン単位の料金なし)。

データ保護法準拠のセットアップ

個人データは信頼できないシステムで処理することはできません。GDPRは適切なセキュリティ対策を要求します(第32条、33条、35条)。

  1. 1
    サーバーを分離: 専用Linuxマシン(共有リソースなし)、インターネットなし、データ転送用の暗号化USB。
  2. 2
    ストレージを暗号化: フルディスク暗号化LUKS、AES-256、パスフレーズで保護。ハードウェアが盗まれた場合のデータ流出を防止。
  3. 3
    ネットワーク分離: 専用VLAN またはネットワーク完全分離。MFA付きVPNまたは物理ターミナルのみでアクセス。
  4. 4
    監査ログ: すべてのLLMクエリをログ:タイムスタンプ、ユーザーID、ドキュメントハッシュ(プレーンテキストではない)、レスポンス長、使用モデル。ログは別の暗号化syslogサーバーに保存。
  5. 5
    アクセス制御: ロールベース(医師vs管理者vs研究者)。MFAでログイン。パスワード共有なし。退職時にアカウント無効化。
  6. 6
    保持方針: 6年後に推論ログを削除(GDPR要件:忘れられる権利)。暗号化検証による自動削除スクリプト。
  7. 7
    データ処理契約(DPA): ベンダーのみに適用。オープンソースモデル(Llama、Mistral)は内部コンプライアンスドキュメントが必要、ベンダー署名ではない。
  8. 8
    年間侵入テスト: データ流出なし、デフォルト認証情報なし、未修正脆弱性なしを検証するサードパーティセキュリティ監査。

ファイナンス保護セットアップ(PCI-DSS)

支払いカードデータ(プライマリアカウント番号 = PAN)はLLMで処理できません。PCI-DSS v4.0は12の主要要件を要求します。

  1. 1
    フルカード番号をLLMに入力しないでください。 PCI-DSSで完全に禁止。最後の4桁のみ、有効期限なしを使用。
  2. 2
    保存および転送中に暗号化: AES-256暗号化ファイル、ネットワーク用TLS 1.3。すべての支払いデータはターミナルを離れる前に暗号化。
  3. 3
    ネットワークセグメンテーション: ファイアウォール規則を持つ分離VLAN上のLLMサーバー。インターネットアクセスなし、企業ネットワークアクセスなし。
  4. 4
    ハードウェアセキュリティモジュール(HSM): 改ざん防止デバイスに暗号化キーを保存(Thales、Yubico HSM)。LLMサーバーから分離。
  5. 5
    ログとモニタリング: ファイルアクセス、ログイン試行、データ流出をリアルタイムアラート。SIEM統合(Splunk、ELK)。
  6. 6
    四半期ごとのコンプライアンススキャン: 脆弱性のための自動PCI-DSSスキャン(Qualys、Nessus、Rapid7)。30日以内に修復。
  7. 7
    ベンダードキュメント: モデルプロバイダ(Ollama、vLLM)は支払いプロセッサでなく、PCIベンダーではない。あなたのローカルデプロイメントはスコープ内。

ネットワーク分離デプロイメント

最も安全なオプション:マシンはネットワーク接続がありません(Faraday cage レベルの分離)。

  1. 1
    物理的分離: ロック可能な部屋のサーバー(物理アクセス制御)、イーサネットケーブルなし、BIOSでWiFi無効、Bluetooth無効。
  2. 2
    モデルローディング: 接続されたマシンでモデルを事前ダウンロード(HuggingFaceからダウンロード)、暗号化USB経由で転送(GPG、AES-256暗号化)。
  3. 3
    データ転送イン: ユーザーは暗号化USB経由でドキュメントを転送(GPGまたは7z暗号化)。分離マシンのUSBをマルウェア分析。
  4. 4
    推論: ローカルでLLMを実行(Ollama、vLLM)、USB上に出力を保存。ネットワークコールなし、外部APIアクセスなし。
  5. 5
    データ転送アウト: 暗号化USBをユーザーに返却、別の非機密マシンで復号化。元の暗号化USB復号化検証後に破棄。
  6. 6
    トレードオフ: レイテンシ(USB手動転送は数分かかる)vs 絶対セキュリティ(ゼロネットワークリスク、ゼロ遠隔違反の可能性)。
  7. 7
    ユースケース: 法的発見(弁護士レビュー)、医療画像分析、金融モデルトレーニング(1時間レイテンシで許容可能なバッチ処理)。

EU/GDPR/AI法コンプライアンス

EUデータ保護法(GDPR、EU AI法2024/1689)は明示的なセキュリティとリスク評価を要求します。

  1. 1
    GDPR第32条(セキュリティ): 適切な暗号化、仮名化、機密性、完全性、回復力を確保。ローカルLLMはこれをデフォルトで満たす(クラウド送信なし = リスクなし)。
  2. 2
    GDPR第35条(データ保護影響評価): 高リスク処理に必須。ドキュメント:データタイプ(医療、金融)、保有期間(6年)、アクセス制御、違反シナリオ。ローカルLLM = 低リスク(包含)。
  3. 3
    GDPR第17条(忘れられる権利): ローカルログはリクエスト時にパージ必須。自動匿名化スクリプト実装(ユーザーID削除、ドキュメントハッシュ)。
  4. 4
    EU AI法2024/1689(高リスクシステム): 分類はユースケースに依存。医療診断 = 高リスク(説明可能性が必須)。法務書類レビュー = 中リスク(監査証跡が必須)。リスク評価、人間レビュープロセス実装。
  5. 5
    DPIA(データ保護影響評価): デプロイメント前に必須。ドキュメント:処理目的(診断、レビュー)、データカテゴリ(医療記録、契約)、第三者(なし)、保有期間(6年)、セーフガード(暗号化、アクセスログ)。
  6. 6
    ドイツBDSG(Bundesdatenschutzgesetz): GDPRを拡張:システムプロバイダはドイツ/EU(ローカルデプロイメント = 準拠)、データ処理契約必須(自己処理 = 準拠)。

推奨モデルとハードウェアサイジング

コンプライアンス要件とインフラサイズに基づいてモデルを選択します。

ユースケースモデルVRAMハードウェア理由
ドキュメントレビュー(法務)LLaMA 4 Scout (7B)8-12 GBRTX 4060 / M4 Max迅速で正確な法的推論、小さいフットプリント
医療記録(GDPR)Mistral Large (34B)32-40 GBRTX 4090 / A100 (40GB)高精度、医療知識、GDPR準拠
金融分析(PCI)Llama 3.3 70B70-80 GBA100 (80GB) / H100金融推論、コンプライアンス監査証跡
小規模チーム(<10)Mistral Small Instruct8-16 GBM3/M4 Pro または RTX 4070コスト効率的、基本的なドキュメント処理に十分

ローカルLLM vs クラウドAPI比較

デプロイメントモデルの直接比較。

ファクターローカルLLMクラウドAPI
データセキュリティゼロ流出。データはオンプレミス。保存および転送時に暗号化。ベンダーサーバーにデータを送信。ベンダーはトレーニングに使用可能(利用規約許可)。ベンダーに違反責任。
コンプライアンスGDPR/PCI/法的特権準拠。監査ログはあなたの管理。DPIA必須ですが低リスク。規制準拠ではない。ベンダーは処理者、あなたは法的責任。
コスト3,000-5,000 USD 初期ハードウェア。0-500 USD/年メンテナンス。予測可能。0 USD 初期。500,000 USD+/年大規模時(トークン × 2026価格)。予測不可能。
違反責任0 USD(データはあなたの管理から離れない)。保険不要。50,000-5,000,000 USD(ベンダー違反 = GDPR/HIPAA下で第三者に責任)。

監査とデータガバナンス

ログの内容: すべてのLLMクエリ(タイムスタンプ、ユーザー、クエリハッシュ、レスポンス長、モデルバージョン)、ファイルアクセス(開く/読む/変更)、ログイン/ログアウト(IP、MFA状態)。

保存先: 暗号化syslogサーバー、LLMサーバーから物理的に分離。データ違反がログを危険にすることを防止。

改ざん防止: ログの暗号化署名(SHA-256、管理者キーで署名)。信頼の鎖を破らずに削除なし。追加のみストレージ実装。

ツール: ELK Stack(Elasticsearch/Logstash/Kibana)集約と検索用;Splunk エンタープライズ用(60日保有標準)。

保持方針: GDPR = 忘れられる権利(6ヶ月後に匿名化)、PCI-DSS = 1年。暗号化検証で自動削除。

月次コンプライアンス確認: ログレビュー(5%のスポットチェック)。四半期データ系統監査(クエリをソースまでトレース)。年間サードパーティ評価(侵入テスト、ログ検証)。

よくあるコンプライアンス失敗

  • 機密データでクラウドChatGPTを使用。 GDPRの即座違反。ペナルティ:インシデントあたり10,000-50,000 USD(年最大1,500,000 USD)。例:医療チームが退院サマリーをChatGPTで起草(個人データ露出)。
  • アンロック済みドアのサーバー分離。 誰でも入れるなら物理セキュリティ = ゼロ。例:コンプライアンス監査人がLLMサーバーを公開アクセス可能なサーバー室で見つけた(バッジアクセス管理なし)。
  • データと同じサーバーに保存されたログ。 ログ違反 = 監査証跡違反。分離システム必須(GDPR32条(b))。例:ランサムウェアがデータとログの両方を暗号化、監査証跡破棄。
  • 転送中にデータを暗号化しない。 共有ネットワーク上の暗号化されていないUSB転送。パケット分析器攻撃が医療記録をキャプチャ。GPGで暗号化ファイルを使用、チェックサムを検証。
  • オープンソースモデルとのDPA。 オープンソースモデル(Llama、Mistral)にはDPAに署名するベンダーがない。代わりに内部でコンプライアンスドキュメント化(監査ログ、リスク評価、DPIA)。DPAはベンダーのみ適用。
  • 保持方針がない。 GDPRは6年後に削除を要求(忘れられる権利)。削除しない = 違反。スケジュール通りにログを削除し、暗号化証明でスクリプト化。

よくある質問

データを匿名化すればクラウドLLMを使用できますか?

いいえ。匿名化されたデータもまだ規制されています。GDPRはクラウドAPIを含むベンダーへの送信を禁止。匿名化はベンダーの管理からデータを削除しません。ローカルLLMのみを使用します。

LlamaまたはMistralモデルとのDPA(データ処理契約)が必要ですか?

いいえ。オープンソースモデルにはDPAに署名するベンダーがありません。代わり:リスク評価、処理手順、監査ログ、保持方針を内部ドキュメント化。DPAはベンダーのみ必須(OpenAI、Anthropic、Google)。

GDPRではネットワーク分離デプロイメントは過度ですか?

データが非常に機密(遺伝学、精神医学記録)なら過度ではありません。判例法によるベストプラクティス。より低感度データ(基本相談)では、VPN保護ローカルデプロイメントは月次監査で許容。

従業員の解雇をどう安全に処理しますか?

VPNアクセスを即座に無効化。過去6ヶ月間のすべてのLLMクエリをそのユーザーでイエーアウト(コンプライアンス要件)。機密データがエクスポートされなかったことを確認。ログを読み取り専用で6年間アーカイブ(GDPR保有)。アクセス制御リストからユーザー削除。

法的発見にローカルLLMを使用できますか?

はい。ネットワーク分離 + 弁護士監督は弁護士依頼人特権を維持(第三者アクセスなし)。ドキュメント:管理の鎖、処理手順、アクセスログ。電子発見要件を満たします。

ローカルサーバーの違反の場合はどうしますか?

保存時暗号化 = 損傷制限(攻撃者がデータを読めない)。監査ログは何にアクセスしたかを明示(影響を受けたクエリのみ)。影響を受けた当事者に30日以内に通知(GDPR要件)。インシデント対応:サーバーを分離、法医学、パスワード更新、侵入テスト。

ローカル推論はクラウドAPIより遅いですか?

レイテンシはわずかに高い(200 ms ローカルvs 50 ms クラウド)、スループットは比較可能。バッチ処理(法的レビュー、医療画像分析)は実用的な差なし。リアルタイムチャットはほとんどのユースケースで許容。

推論後、ローカルLLM出力をクラウドに保存できますか?

エンドツーエンド暗号化のみ(あなたが暗号化キーを保有、クラウドプロバイダがプレーンテキストにアクセス不可)。推奨:ローカル保存、暗号化クラウドストレージへのバックアップ(AWS S3サーバー側暗号化)。データ保有要件を遵守(EU = データはEU内に留まる)。

ソース

  • 一般的なデータ保護規則(GDPR)、第32、33、35条(欧州連合、2016)
  • データ保護法(GDPR)– 第17条:忘れられる権利(欧州連合)
  • PCI データセキュリティ標準 v4.0(PCIセキュリティ標準評議会、2022)– 支払いカードデータ処理
  • 指令(EU)2024/1689 - AI法(欧州連合、2024)– 高リスクAIシステムガバナンス
  • BDSG - Bundesdatenschutzgesetz(ドイツ、2018)– データ保有と処理要件
  • 日本:METI AI ガバナンス 2024 – エンタープライズAIデプロイメント

サードパーティの情報に関する注意

この記事はサードパーティのAIモデル、ベンチマーク、価格、ライセンスを参照しています。AIの状況は急速に変化しています。ベンチマークスコア、ライセンス条件、モデル名、API価格は執筆時とお読みになる時の間で変わる可能性があります。この記事に基づいてデプロイやコンプライアンスに関する決定を下す前に、各プロバイダーの公式ソース(ライセンスとベンチマークはHugging Faceのモデルカード、API価格はプロバイダーのウェブサイト、現在のGDPRとEU AI法のテキストはEUR-Lex)で最新の数値を確認してください。この記事は2026年5月時点で公開されている情報を反映しています。

ローカルLLM、独自のAPIキー、またはその両方でPromptQuorumを使用できます — バックエンドはあなたが選択します。

PromptQuorumウェイトリストに参加する →

← ローカルLLMに戻る