运行 70B 模型的最佳 RTX 4090 配置是什么？
单张 RTX 4090（24 GB）无法完整装下 70B 模型——它在 Q4 量化下大约需要 40 GB。现实可行的配置方案有：两张 RTX 4090（通过张量并行服务，合计 48 GB）、单张 RTX 4090 以激进的 Q2_K 量化运行模型（能装下，但质量明显下降），或单张 RTX 4090 搭配 CPU/内存卸载处理装不下的层（可行，但速度慢得多）。
本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。这些链接不代表 PromptQuorum 的任何认可或验证。
快速回答
单张 RTX 4090 无法完整装下 70B 模型——它在 Q4 下需要约 40 GB，而 4090 只有 24 GB。两张 RTX 4090（合计 48 GB）、单张 4090 用 Q2_K 量化，或 CPU 卸载，是三种现实可行的方案。
- ▸70B 模型在 Q4_K_M 下大约需要 40 GB 显存——远超单张 RTX 4090 的 24 GB。
- ▸通过 vLLM 或 llama.cpp 的张量并行，两张 RTX 4090（合计 48 GB）是最干净的全质量方案。
- ▸单张 RTX 4090 只能以 Q2_K 量化运行 70B，相比 Q4 输出质量明显下降。
关键要点
- ✓70B 模型在 Q4 下大约需要 40 GB 显存——单张 RTX 4090 的 24 GB 不够
- ✓最佳全质量方案：通过 vLLM 或 llama.cpp 张量并行的两张 RTX 4090（合计 48 GB）
- ✓单卡 4090 的折衷方案：Q2_K 量化可装入 24 GB，但输出质量明显下降
- ✓CPU/内存卸载（llama.cpp 的 `--n-gpu-layers`）在单张 4090 上可行，但吞吐量会大幅下降
最佳选择：两张 RTX 4090（合计 48 GB）
以全质量运行 70B 模型的最佳 RTX 4090 配置是两张 RTX 4090 合计提供 48 GB 可用显存，并通过 vLLM 或 llama.cpp 的张量并行模式运行。70B 模型在 Q4_K_M 下大约需要 40 GB——48 GB 能轻松满足，还能留出合理的上下文窗口空间。
这需要一块具备两个 PCIe x16 插槽的主板和机箱（理想情况下两个插槽都至少是 x8 带宽或更高）、至少 1200 W 额定功率的电源，以及支持多 GPU 张量拆分的软件——vLLM 和近期版本的 llama.cpp 都通过 `--tensor-split` 或类似参数支持这一点。
如果预算不够买第二张 RTX 4090，单 GPU 的备选方案是 Q2_K 量化，可将 70B 模型压缩到大约 22-24 GB——刚好能塞进一张 4090，但相比 Q4，输出连贯性明显下降。CPU/内存卸载（将部分层分配到 GPU 和系统内存之间）是另一个单 GPU 选项；可行，但吞吐量会急剧下降，往往只有个位数的每秒 token 数。
双 RTX 4090 对比 单张 RTX 4090 + 量化
双 RTX 4090 能以全 Q4 质量运行，但需要真实成本（第二张显卡加上更强的电源和机箱）。单张 RTX 4090 + Q2_K 将配置控制在一张卡内，但会在需要精度的任务（如代码生成或数学）上明显牺牲输出质量。
折衷方案：在单张 RTX 4090 上以全 Q4 质量运行 32B 模型而非 70B（24 GB 内轻松容纳并留有余量）——对许多任务而言，精心挑选的 32B 模型能弥补大部分与质量下降的 70B 之间的差距。
相关阅读
- ▸70B 模型需要多少显存？ — 底层显存计算方法
- ▸1000 美元以下本地 LLM 推理最佳 GPU — 单卡 4090 档位
- ▸2026 年本地 LLM GPU 购买指南 — 完整预算档位对比
常见问题
NVLink 能合并两张 RTX 4090 的显存吗？▾
Q2_K 量化的 70B 模型真的能用吗？▾
两张 RTX 4090 需要什么样的主板？▾
双 GPU 推理会让每秒 token 数翻倍吗？▾
想了解完整详情？
阅读完整指南 →相关 Prompt Bites