本地运行 70B 大模型 2026：各硬件内存与速度

70B 模型是拥有约 700 亿参数的大语言模型，参数即构成网络的、通过学习得到的权重。 “B”代表十亿（billion）。Llama 3.3 70B 有 706 亿参数，Qwen2.5 72B 有 727 亿参数。

内存大小等于参数量乘以每个权重占用的字节数：16 位权重每个占 2 字节（约 141 GB），8 位（Q8_0）约 1 字节（75 GB），4 位 Q4_K_M 约 0.6 字节（43 GB）。这就是 70B 成为消费级硬件首次需要 40 GB 以上高速内存的规模，而 7B-14B 模型在普通笔记本上就能运行。

模型本身约需 43 GB 高速内存，上下文另需 3-10 GB，这些内存可以是 GPU 显存、Apple 统一内存或系统内存——内存越快，模型生成越快。

下表速度为短上下文下的单用户对话估算值，依据内存带宽推算（见“为什么内存带宽决定速度”）。它们是理论上限按典型 60-80% 效率折算的结果，不是 PromptQuorum 运行的基准测试；DGX Spark 的数字例外，由第三方实测。

下表为 Ollama 库中 Llama 3.3 70B 的文件大小；其他 70B 模型相差几个百分点。这里只是权重——还需加上下一节的上下文内存。

上下文会在权重之外额外占用内存：Llama 3.3 70B 在 FP16 下每个 token 约占 0.33 MB 的 KV 缓存，大致是 8K token 约 2.7 GB、32K 约 10.7 GB、128K 约 43 GB。 这个数字来自模型架构：80 层 x 8 个键值头 x 128 维 x 2（键和值）x 2 字节 = 每 token 327,680 字节。

每个并发会话都有自己的 KV 缓存，而权重是共享的。一个由四个智能体组成、每个使用 32K token 的多智能体系统，需要约 43 GB 权重加 43 GB 缓存。在 Ollama 中启用 flash attention 和 8 位 KV 缓存（OLLAMA_FLASH_ATTENTION=1 与 OLLAMA_KV_CACHE_TYPE=q8_0）可使缓存大致减半。

每生成一个 token 都要把全部模型权重读取一遍，因此解码速度的上限等于内存带宽除以模型大小。 43 GB 的 Q4_K_M 模型在 614 GB/s 带宽下，上限约为每秒 14 个 token；实际速度通常为上限的 60-80%。

同一规则也说明了“容量大”不等于“速度快”：128 GB 的 DGX Spark 带宽为 273 GB/s，在 Q4_K_M 下上限约为每秒 6 个 token，而 LMSYS 实测 Llama 3.1 70B 在 FP8（约 70 GB，上限 3.9）下为每秒 2.7 个 token。容量决定模型能否运行，带宽决定运行多快。提示词处理（预填充）受算力限制，表现不同。

Apple Silicon 是把 70B 模型完整放入 GPU 可访问内存的最简单方式，因为 CPU 和 GPU 共享同一块统一内存。 64 GB 及以上的 Mac 无需层卸载即可运行 Q4_K_M，速度由芯片带宽决定：M5 Max 约每秒 9-11 个 token，二手 M2 Ultra 约 12-15 个（均为估算）。我们目前没有找到 M5 芯片的已发布 70B 基准测试。

Apple 于 2026 年 8 月 25 日发布了搭载 M5 Max 和 M5 Ultra 的 Mac Studio；两者均于 2026 年 9 月 22 日发货。M5 Max 起价 $2,499，配 36 GB，最高可配 128 GB，带宽最高 614 GB/s——运行 70B 请配置 64 GB 及以上。M5 Ultra 起价 $5,499，配 96 GB，最高可配 512 GB，带宽最高 1.2 TB/s，可从容运行 Q8_0；512 GB 配置据称将于 10 月下旬到货。

Mac mini M5 Pro 起价 $1,699，内存是 24 GB，而不是 64 GB。 64 GB 的定制配置（307 GB/s，Thunderbolt 5）可以装下 Q4_K_M 的 70B 模型，但生成速度仅约每秒 4-5 个 token，评测显示其价格大约在 $2,700-$3,200，视 CPU 和存储而定。基础款 Mac mini M6（$899）最高只有 32 GB 和 170 GB/s，在任何量化等级下都无法运行 70B 模型。

macOS 默认将 GPU 可寻址内存限制在内存的约 75%（64 GB 的 Mac 约为 48 GB）。要运行 Q5_K_M（50 GB），需要提高该上限，例如在 64 GB 的 Mac 上执行 sudo sysctl iogpu.wired_limit_mb=57344；该设置在重启后失效，并且只给系统留下约 8 GB。

NVIDIA DGX Spark 是一款紧凑的桌面 AI 计算机，配备 128 GB、273 GB/s 的统一 LPDDR5x 内存，基于 GB10 Grace Blackwell 超级芯片，支持 CUDA。 它甚至能加载 Q8_0（75 GB）的 70B 模型，但带宽限制了生成速度：LMSYS 实测 Llama 3.1 70B 在 FP8 下的解码速度为每秒 2.7 个 token，社区在 Q4_K_M 下运行 llama.cpp 的报告速度在每秒 4-5 个 token 之间。

价格变化很大。NVIDIA 在 2026 年 2 月因内存供应紧张，将 Founders Edition 从 $3,999 上调至 $4,699；2026 年 10 月有报道称价格为 $6,950，同时合作伙伴自 2026 年 10 月 23 日起销售 $4,999 的 64 GB 版本。购买前请查看实时价格。

AMD Ryzen AI Max+ 395（“Strix Halo”）迷你主机和笔记本提供 128 GB、256 GB/s 的 LPDDR5X，带宽处于同一档次，稠密 70B 模型的估算速度同样约为每秒 4-5 个 token。这两个平台更适合混合专家模型（见下文）以及 CUDA 或微调工作，而不是稠密 70B 对话。

Ollama 和 llama.cpp 会把模型拆分到 GPU 显存和系统内存：显存中的层以 GPU 速度运行，内存中的层以 CPU 内存速度运行，而慢的那部分决定整体速度。 使用 RTX 4090（24 GB）时，Q4_K_M 的 70B 模型约 55% 可放入 GPU，其余部分从约 90 GB/s 的 DDR5 中读取，生成速度被限制在每秒约 2-4 个 token。RTX 5090（32 GB）可放入约 70%，估算速度为每秒 4-6 个 token。

Ollama 会自动卸载，无需任何参数。运行 ollama ps 查看拆分情况（PROCESSOR 列，例如 45%/55% CPU/GPU）。在 llama.cpp 中，用 -ngl 设置层数。

对于单个用户，使用层拆分的 Ollama 或 llama.cpp 是最简单的多 GPU 方案；对于多个并发用户或智能体，采用张量并行的 vLLM 或 SGLang 可提供高得多的总吞吐量。 两块 24 GB 显卡（RTX 3090 或 4090）共 48 GB，足以容纳 Q4_K_M 加短上下文。

层拆分每个 token 只在显卡之间传递一次激活值，通过普通 PCIe 即可工作，因此适合混搭或消费级显卡。张量并行把每一层拆分到多块 GPU 上，受益于高速互联：RTX 3090 支持 NVLink 桥接器，而 RTX 4090 和 5090 不支持。

纯 CPU 的 70B 推理受内存带宽限制：双通道桌面 DDR5（约 90 GB/s）在 Q4_K_M 下约为每秒 1-2 个 token，增加内存容量并不能让它更快。 以每秒 1.5 个 token 计算，一条 200 字的回复（约 270 个 token）大约需要三分钟。

256 GB 内存改变的是能装下什么，而不是跑得多快：它可以装下 Q8_0（75 GB）或 FP16（141 GB）以及长上下文。速度取决于内存通道数——8 通道的 Threadripper PRO 或 12 通道的 EPYC 服务器，带宽是桌面平台的三到五倍。插满四条大容量内存的桌面主板，内存运行频率往往比只插两条时更低。长输入的提示词处理在 CPU 上同样很慢。

下表按 70% 的效率套用带宽规则估算，并非实测基准。

混合专家（MoE）模型需要为全部参数准备内存，但每个 token 只读取被激活的专家，因此在内存占用相同的情况下，生成速度比稠密 70B 模型快得多。 OpenAI gpt-oss-120b 约有 1,170 亿参数，激活约 51 亿；Meta Llama 4 Scout 有 1,090 亿参数，激活 170 亿。

带宽规则适用于被激活的权重，因此 MoE 模型最能发挥 DGX Spark、Ryzen AI Max+ 395 PC 和 64 GB Mac mini M5 Pro 这类大容量、中等带宽机器的价值。在这些硬件上运行稠密 70B 模型，预计约为每秒 4-5 个 token；下载前请对照自己的内存检查每个 MoE 模型的文件大小。

Llama 3.3 70B 是默认的稠密 70B 模型：Meta 报告其 MMLU（CoT）为 86.0，HumanEval 为 88.4，上下文窗口为 128K。 Qwen2.5 72B 是多语言和编程场景的主要替代选择。不存在 Qwen3 72B——Qwen3 稠密模型最大只到 32B——因此提到“Qwen3 72B”时指的是 Qwen2.5 72B。

命令：ollama run llama3.3:70b、ollama run qwen2.5:72b、ollama run deepseek-r1:70b。

对 70B 模型做 QLoRA 微调，每次运行大约需要 35-48 GB 的 GPU 内存：两块 24 GB 显卡配合 FSDP+QLoRA，或单块 48-80 GB 显卡。 QLoRA 把基础模型保持在 4 位（约 35 GB），只训练小型适配器；Answer.AI 已在两块 24 GB 游戏显卡上演示了这一点。

完整的 16 位微调，每个参数需要约 16 字节来存放权重、梯度和优化器状态——总量约 1 TB——这是多 GPU 服务器的工作。对于偶尔的训练任务，租用 80 GB 云 GPU 通常比自己搭建硬件更实际。

欧盟 / GDPR：对大多数组织而言，本地 70B 模型是私有化运行 AI 质量的实际上限。在本地处理法律、医疗或金融文件，可使提示词和输出留在自己的基础设施内，有助于数据最小化和降低传输风险；但这本身并不使部署符合 GDPR，请评估整个处理活动。

对于要求使用欧盟供应链硬件的组织，Apple（美国）和 NVIDIA（美国）属于非欧盟厂商；Dell、HP 和 Lenovo 销售基于 GB10 的系统并提供本地支持。在模型方面，Mistral Large 2 来自欧盟开发商，但以研究许可证发布，该许可证不涵盖商业用途。

日本：Qwen2.5 72B 是处理日语文本的常见选择：`ollama run qwen2.5:72b`。记录硬件和模型版本（`ollama ps` 的输出会显示已加载的模型），有助于满足日本面向企业的 AI 指引下的内部治理要求。

中国：本地部署的 Qwen2.5 72B 可将数据保留在自有基础设施内，这与中国《数据安全法》相关。内部提供服务的模型是否适用国家网信办（CAC）的生成式人工智能规则，取决于是否面向公众提供；请咨询合格的法律顾问确认。