关键要点
- AMD RX 6800 XT（16GB，二手 $300-350）和 RX 7900 XTX（24GB，二手 $400-500）是本地 LLM 的唯一可行选项。
- 性能成本比：AMD 比 NVIDIA 便宜 20-30%，但软件摩擦需要 5-10 小时设置时间。
- Ollama：AMD 支持有限（ROCm 路径有 bug，CPU 回退缓慢）。不推荐。
- vLLM：v0.6.0 起完全支持 AMD ROCm。需要手动驱动程序。设置完成后工作良好。
- Text Generation WebUI：AMD 支持优异。AMD 上最佳用户体验。
- Llama.cpp：原生 AMD 支持（HIP 后端）。性能稳定。推荐 AMD 路径。
- 设置成本：计划 5-10 小时调试 ROCm 驱动程序、HIPCC 编译、内核兼容性。
- 结论（2026 年 4 月）：仅在已拥有 AMD 硬件或找到优秀二手交易（16GB 卡 $300）时使用 AMD。否则 NVIDIA CUDA 更简单。
哪些 AMD GPU 值得考虑？
- RX 6800 XT（16GB GDDR6）：AMD 性价比之王。2020 年发布。适合 7B-22B 推理。二手：$300-350。
- RX 6900 XT（16GB GDDR6）：比 6800 XT 略快。稀有。二手：$350-400。价格提升不值。
- RX 7900 XT（20GB GDDR6）：新 RDNA 3 架构。比 6800 XT 快 20%。二手：$400-480。适合 70B Q4。
- RX 7900 XTX（24GB GDDR6）：AMD 顶级消费级 GPU。24GB VRAM 对 70B 是游戏改变者。二手：$450-550。媲美 RTX 4090 速度。
- Radeon Pro W6800（32GB）：企业卡，二手便宜（～$200-300）。较慢，但 32GB 对 70B Q8 优秀。小众。
AMD GPU 与 RTX 的价格和性能对比
| GPU | VRAM | TFLOPS | 二手价格 | 性价比 vs RTX | 等效 RTX |
|---|---|---|---|---|---|
| RX 6800 XT | 16GB | 1,952 | $300-350 | +25% | RTX 3080（较慢） |
| RX 7900 XT | 20GB | 2,540 | $400-480 | +20% | RTX 4080（相当） |
| RX 7900 XTX | 24GB | 2,750 | $450-550 | +15% | RTX 4090（相当速度） |
| RTX 3080 | 10GB | 1,456 | $350-400 | -- | -- |
| RTX 4090 | 24GB | 2,752 | $1,000-1,300 | -- | -- |
ROCm 设置的难点
实施步骤：
1. 安装 AMD ROCm 驱动程序：`apt-get install rocm-dkms`（Ubuntu）。Windows 需手动 .exe 安装程序。需 30 分钟。
2. 验证 HIP 编译器：`hipcc --version`。通常第一次失败。调试您 GPU 的内核兼容性。
3. 安装 HIPCC（AMD HIP-to-C++ 编译器）：`apt-get install hip-runtime-amd`。另一个依赖链。
4. 用小型 LLM 测试：运行推理以验证 GPU 加速工作。CPU 回退常见。
5. 解决驱动程序版本不匹配：ROCm v5.7 适用于内核 5.15 但不适用 6.x。需 2-4 小时调试。
注意： 与 NVIDIA CUDA 比较：`nvidia-cuda-toolkit` → 一个 apt-get，立即 GPU 访问。AMD 需 5-10 倍努力。
能否在 AMD 上运行 Ollama 和 vLLM？
Ollama on AMD： 2026 年 4 月时点为实验性/有 bug。ROCm 路径有时工作，CPU 回退缓慢。不推荐。
vLLM on AMD： v0.6.0 起完全 ROCm 支持。工作，但需手动 ROCm/HIP 驱动程序设置。度过设置期后良好。
Text Generation WebUI： 优异 AMD ROCm 支持。AMD 上最佳体验。推荐。
Llama.cpp： 原生 HIP 后端。性能稳定。最简单的 AMD 路径。推荐。
LM Studio： 仅 NVIDIA。无 AMD 支持。
2026 年 4 月起： vLLM + llama.cpp 是您的 AMD 路径。Ollama 不可靠。
何时应购买 AMD 而非 NVIDIA？
购买 AMD 如果：
- 找到二手 RX 7900 XTX 低于 $450（相对 RTX 4090 低估）。
- 已拥有 AMD 硬件，希望生态系统一致性。
- 构建集群，优先性价比胜于易用性。
不购买 AMD 如果：
- 希望即插即用体验。NVIDIA CUDA 更快工作。
- 需要 Ollama。AMD 支持不稳定。
- 时间有限。ROCm 调试可能耗 10+ 小时。
AMD 采用的常见错误
- ⚠️ 购买 RX 6700（12GB）误认为等同 3060 12GB -- 慢 20%，二手也难找。
- ⚠️ 假设 ROCm 像 CUDA 一样「即插即用」 -- 计划 5-10 小时驱动程序和内核兼容性调试。
- ⚠️ 在 AMD 用 Ollama 期待无缝集成 -- ROCm 路径有 bug；llama.cpp 或 vLLM 更佳选择。
常见问题
本地 LLM 应购买 AMD RX 6800 XT 还是 NVIDIA RTX 3080？
优先简单则 RTX 3080（CUDA「即用」）。优先 25% 更优性价比且可承受 5-10 小时 ROCm 设置则 RX 6800 XT。
AMD RX 7900 XTX 优于 RTX 4090 吗？
速度相当，VRAM 相同（24GB）。RX 7900 XTX 二手 $450-550 对比 $1,000-1,300。ROCm 设置是权衡。
能用 Ollama 使用 AMD GPU 吗？
技术上可以。但预期 bug 行为。CPU 回退常见。AMD 改用 vLLM 或 llama.cpp。
2026 年本地 LLM 最优 AMD 路径？
Llama.cpp（HIP 后端）+ Text Generation WebUI。两者都对 AMD 有坚实支持。避免 Ollama。
AMD ROCm 需要 Ubuntu 还是 Windows 也可？
Windows 支持存在（Windows 上 HIP）但更新且有 bug。Ubuntu 是推荐路径。
7B 模型用 RX 6700 或 6750 合适吗？
RX 6700（12GB）可用但比 6800 XT 慢 20%。仅 $250 以下购买。否则扩展到 6800 XT。
能在一个系统混合 AMD 和 NVIDIA GPU 吗？
理论上可以。但管理是噩梦。每个 GPU 需自己 CUDA/HIP 运行时。不推荐。
AMD ROCm 设置需多长时间？
驱动程序调试、HIPCC 编译、内核兼容性解决计划 5-10 小时。仅一次。之后 AMD 稳定有效。
中国企业应采用 AMD ROCm 吗？
是。特别金融、医疗、法律。数据完全驻留本地，符合《数据安全法》。设置努力值得投资。
什么是中国《数据安全法》，AMD ROCm 如何相关？
中国政府 2021 年数据安全法。要求敏感数据不跨境。本地 LLM with AMD ROCm 完全满足，数据永不离开企业网络。
延伸阅读
参考资料
- AMD ROCm 文档和 GitHub：HIP 编译器、驱动程序兼容性矩阵、LLM 推理示例
- vLLM GitHub：AMD/ROCm 后端实现和支持状态（v0.6.0+）
- Llama.cpp GitHub：AMD GPU 支持的 HIP 后端