Raspberry Pi 5 能运行本地 LLM 吗？
本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。这些链接不代表 PromptQuorum 的任何认可或验证。
快速回答
可以，但仅限极小模型——Raspberry Pi 5（8GB）通过 llama.cpp 在 CPU 上以 Q4 运行 1B-3B 模型，速度约每秒 2-5 个 token。没有可用的 GPU 加速。
- ▸购买 8 GB 版 Raspberry Pi 5——4 GB 版本即使运行 1B 模型加操作系统，余量也太少。
- ▸现实可行的模型范围：Q4 下的 Llama 3.2 1B/3B 或 Qwen3 0.6B——更大的模型会慢得不切实际。
- ▸没有 GPU 加速：llama.cpp 不支持 Pi 5 的 VideoCore VII GPU——一切都在 CPU 上运行。
更新于: 2026-07
关键要点
- ✓可以，但仅限 Q4 下的 1B-3B 模型——更大的模型在 Pi 5 硬件上会慢得不切实际
- ✓购买 8 GB 配置——4 GB 版本为模型加操作系统留出的余量太少
- ✓预计 CPU 上速度约每秒 2-5 个 token——llama.cpp 没有可用的 GPU 加速路径
- ✓Pi 5 是一个有趣的学习项目,而非实用的日常本地 LLM 机器
诚实的答案：仅限小模型，且速度较慢
Raspberry Pi 5 可以运行本地 LLM，但仅限于 Q4 量化下 1B-3B 参数范围内的模型——如 Llama 3.2 1B、Llama 3.2 3B 或 Qwen3 0.6B——通过 llama.cpp 运行时速度约为每秒 2-5 个 token。这一速度足以用于休闲实验,但对于较长的回复明显慢于打字速度，也远远落后于任何配备 GPU 的机器。
请购买 8 GB 配置，而非 4 GB 版本。即使是一个 1B 模型加上 Raspberry Pi OS 的开销，在 4 GB 上留出的余量也很少，你会需要额外的内存来获得舒适的上下文窗口以及与模型同时运行的其他软件。
没有可用的 GPU 加速路径：Pi 5 集成的 VideoCore VII GPU 不被 llama.cpp 的推理后端支持（目前没有针对它的 Vulkan 或 OpenCL 路径用于 LLM 推理），因此每个 token 都由四核 ARM CPU 计算完成。请把 Pi 5 本地 LLM 配置当作一个教育性项目或非常轻量的助手——而非任何配备 GPU 硬件（哪怕是预算型）的替代品。
Raspberry Pi 5 对比最便宜的 GPU 替代方案
即便是 300 美元以下 GPU 指南中最便宜的显卡，也能以每秒 15-20 个 token 的速度运行 7B 模型——比 Pi 5 在体积小得多的模型上的最佳表现快数倍。Pi 5 的吸引力在于其小巧的体积、低功耗和新颖性，而非原始性能。
如果你的目标是一个真正有用的常开本地 LLM 助手,而非业余爱好项目，二手 GPU 或迷你 PC 是更实用的投资——参见 300 美元以下 GPU 指南或常开 Ollama 服务器迷你 PC 指南。
相关阅读
- ▸6 GB 显存的最佳本地 LLM — 真正实用的低预算 GPU 替代方案
- ▸7B 模型需要多少内存？ — 为什么 7B 对 Pi 5 来说遥不可及
- ▸常开 Ollama 服务器的最佳迷你 PC — 更实用的常开替代方案
常见问题
Raspberry Pi 5 做 LLM 推理需要主动散热吗？▾
我能用 AI 加速扩展板来提升 Pi 5 的速度吗？▾
Raspberry Pi 5 适合搭配本地 LLM 运行语音助手吗？▾
Pi 5 上运行任何本地 LLM 的最低内存要求是多少？▾
相关 Prompt Bites