PromptQuorumPromptQuorum
主页/本地LLM/构建安全的离线本地LLM工作流
Privacy & Business

构建安全的离线本地LLM工作流

·阅读约9分钟·Hans Kuepper 作者 · PromptQuorum创始人,多模型AI调度工具 · PromptQuorum

为了最大隐私,构建气隙工作流:LLM服务器离线(零网络),数据传输通过加密USB。截至2026年4月,这在高安全环境中是必需的(法律发现、医疗遗传数据、机密研究)。

为了最大隐私,构建气隙工作流:LLM服务器离线(零网络),数据传输通过加密USB。 截至2026年4月,这在高安全环节中是必需的(法律发现、医疗遗传数据、机密研究)。设置需要1-2天;运营开销为中等。

关键要点

  • 气隙 = 无网络。 以太网未连接、BIOS禁用WiFi、蜂窝网络禁用。
  • 数据输入: 用户在连接的计算机上加密文档(GPG)、通过USB传输到气隙服务器。
  • 推理: 在气隙计算机上本地运行LLM。输出加密、保存到USB。
  • 数据输出: USB返回到连接的计算机、解密、审查、批准发布。
  • 硬件: 专用计算机(无法共享)。标准办公电脑即可。
  • 设置: 1-2天(操作系统加固、固件修补、密钥生成)。
  • 运营开销: 每个推理作业约30分钟(数据准备、加密、解密、审查)。
  • 成本: $1,000-2,000硬件 + $0软件(开源)。
  • vs VPN方法: 气隙是偏执但坚不可摧的。VPN很方便但网络风险仍然存在。

气隙架构

计算机:

1. 连接的计算机(管理员): 互联网、防病毒软件、防火墙。用于GPG密钥存储、文档准备。

2. 气隙推理服务器: 零网络、仅USB端口。运行LLM、处理敏感数据。

3. 可选:可移动媒体(USB): 加密、用于数据转移的气隙存储。

网络设置:

- 气隙服务器在隔离电源条上(必要时可快速关闭)。

- 连接的计算机在标准网络上。

- 无共享文件系统、无蓝牙、无网络电缆。

- 物理分离(建议在不同房间)。

数据转移工作流

  1. 1
    用户准备: 要分析的文档在连接的计算机上本地保存。
  2. 2
    加密: `gpg --encrypt --recipient admin@company.cn document.txt` → `document.txt.gpg`。
  3. 3
    转移: 将`document.txt.gpg`复制到USB驱动器。从连接的计算机弹出USB。
  4. 4
    物理移交: USB送到气隙计算机位置(人工快递、密封信封)。
  5. 5
    解密和摄取: `gpg --decrypt document.txt.gpg` → 纯文本文件。删除.gpg文件。
  6. 6
    推理: 提示:「分析这份文档:[内容]」。生成回复。
  7. 7
    加密输出: 用相同的GPG密钥加密response.txt。
  8. 8
    物理返还: USB返回给管理员。管理员解密并在共享前审查。
  9. 9
    处置: 安全擦除USB(DBAN或粉碎)。

加密和密钥管理

GPG(GNU Privacy Guard): 静态数据加密的行业标准。

密钥设置: 在气隙计算机上生成4096位RSA密钥。将公钥导出到连接的计算机。

存储: 私钥仅在气隙计算机上(永不离开计算机,即使在USB上也不行)。

密码短语: 私钥由强密码短语保护(20+个字符、存储在保险柜中的密码管理器中)。

密钥轮换: 每1-2年生成一个新密钥。归档旧密钥但不销毁(可能需要解密旧数据)。

输出处理和硬拷贝

推理后:

1. 数字输出: USB上的加密文件、返回给管理员。

2. 硬拷贝选项: 在气隙打印机上打印LLM响应(仅USB连接、无网络)。

3. 硬拷贝安全性: 文档分类(例「机密」页眉/页脚)。存储在上锁的柜中。

4. 销毁: 6年后(HIPAA)或根据组织政策粉碎硬拷贝。数字签名的销毁日志。

5. 审计: 每份已处理文档都用时间戳、用户、内容哈希记录(不是纯文本)。

供应链安全(硬件)

购买: 购买现成PC(避免预装软件、专有固件)。

BIOS加固: 禁用USB启动、以太网启动、无线。用密码保护BIOS。

操作系统加固: 最小化安装(Linux、无GUI)。删除所有网络驱动程序。

固件更新: 在任何机密工作之前应用最新操作系统补丁。

物理检查: 检查机箱上的防篡改标签。检查隐藏设备(窃听器、USB键盘记录器)。

常见失败

  • 将气隙计算机"仅一次"连接到互联网进行操作系统更新。一旦连接 = 危险。使用手动修补(USB)。
  • 重复使用同一USB进行多次转移而不擦除。旧数据可能可恢复。
  • 打印机密输出并将硬拷贝留在办公桌上。硬拷贝必须在物理控制下(上锁的抽屉)。

常见问题

气隙可以用于日常工作还是只用于敏感文档?

仅用于敏感文档。气隙很慢(手动USB转移)。仅用于高安全项目。

气隙服务器坏了怎么办?

数据在USB上加密。使用备用气隙计算机(相同设置)。私钥允许在任何气隙系统上解密。

可以将外围设备(打印机、显示器)连接到气隙计算机吗?

打印机:可以(仅USB、无网络)。显示器:可以(被动)。键盘/鼠标:如果无线则有风险(可被截获)。使用有线。

如何测试气隙计算机是否真正离线?

物理检查:无以太网电缆、无WiFi天线、BIOS显示网络已禁用。行为:`ping 8.8.8.8` = 无响应。

气隙对于HIPAA兼容的医疗保健是否过度?

对于遗传数据或精神科记录不过度。对于常规患者入院过度。日常工作使用VPN + 加密。

如何处理多文件推理(10个文档)?

批处理模式:加密所有10个文档、通过USB转移、在气隙上逐一处理、加密结果、返还USB。

资源

  • GnuPG官方文档:加密和密钥管理
  • NIST SP 800-111:信息安全管理指南
  • 气隙系统最佳实践:NSA/CISA网络安全技术参考架构

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each provider's official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

使用PromptQuorum将您的本地LLM与25+个云模型同时进行比较。

加入PromptQuorum等待列表 →

← 返回本地LLM

安全离线LLM工作流:气隙设置、零网络、数据处理 | PromptQuorum