关键要点
- GPU（RTX 3060 8GB）： Mistral Small Q4，15词元/秒。最佳速度/质量。
- GPU（RTX 2060 4GB）： Mistral Small Q2（2位）20词元/秒。质量可接受，速度快。
- CPU（老旧笔记本）： Phi 2.7B Q4，3词元/秒。聊天可用，编码较慢。
- CPU+GPU禁用（省电模式）： TinyLlama 1.1B Q4，2词元/秒。仅限聊天。
- 速度排名（从快到慢）： GPU（RTX）> GPU（集显）> CPU（AVX）> CPU（标量）。
- 质量排名： Mistral Small > Phi 2.7B > TinyLlama 1.1B。
- 最优策略： 对大模型量化（Mistral Q2）优于使用小模型。Q2 Mistral > Q4 TinyLlama。
- 费用： 全部免费（开源），对比ChatGPT API（约$0.002/1K词元）。
📍 简单一句话
8 GB内存纯CPU电脑上，Phi-4-mini 3.8B Q4_K_M以15–25 tok/s处理编程和推理；4 GB内存上，Qwen3 1.7B Q4_K_M达25–40 tok/s。
💬 简单来说
运行本地AI不需要游戏GPU。这些模型完全在CPU和普通内存上运行。小型模型（1–4B参数）在日常任务上出乎意料地强大，速度足以支持真实对话。
适合您硬件的最快模型是什么？
将您的硬件与正确的模型匹配——错误的选择会损失10-30倍的速度。
| 您的硬件 | 推荐模型 | 预期速度 |
|---|---|---|
| 4GB RAM，纯CPU（旧款4核） | TinyLlama 1.1B Q4 | 5-10词元/秒 |
| 8GB RAM，纯CPU（现代8核） | Phi 2.7B Q4 | 10-20词元/秒 |
| 集显（Intel Iris / AMD集显） | Mistral Small Q4 | 5-8词元/秒 |
| GPU 8GB VRAM（RTX 3060 / 3070） | Mistral Small Q4 | 25-40词元/秒 |
您应在您的硬件上运行哪种本地LLM？
**选择您的VRAM在Q4下能容纳的最大模型，再降低量化级别，最后才考虑切换到更小的模型。量化对质量的影响小于缩小模型规模。**
| 硬件 | 最佳模型 | 速度 | 质量 | 备注 |
|---|---|---|---|---|
| RTX 3060 8GB | Mistral Small Q4 | 15词元/秒 | 优秀 | "低配GPU"的基准 |
| RTX 2060 4GB | Mistral Small Q2 | 20词元/秒 | 良好 | 质量略降，速度提升 |
| Intel Iris（集显） | Mistral Small Q4 | 5词元/秒 | 优秀 | 速度慢但笔记本可用 |
| 现代CPU（8核） | Phi 2.7B Q4 | 3词元/秒 | 一般 | 轻度聊天可接受 |
| 旧款CPU（4核） | TinyLlama 1.1B Q4 | 1词元/秒 | 差 | 慢；仅限简单问答 |
GPU vs CPU：低配硬件上哪个更快？
GPU推理： RTX 3060上15-20词元/秒。需要CUDA配置。速度快，质量最佳。参见经济型GPU指南。
集显（集成显卡）： Intel Iris上5-8词元/秒。无需额外配置。比独显慢。
CPU推理： 现代多核CPU上1-5词元/秒。可在任何地方运行。最慢。
规则： 如果有任何GPU（即使是集显），就使用它。CPU是最后手段。
为什么小模型在低配PC上更快
模型大小直接决定速度。 1B-3B模型完全适合系统RAM，CPU或GPU可以持续流式传输数据。较大的模型需要内存交换——在RAM和磁盘之间移动数据——这会使生成速度降低10-100倍（瓶颈是磁盘I/O，而非计算）。
上方的硬件决策表体现了这一原则：TinyLlama 1.1B（1B参数）在旧CPU上可达5-10词元/秒，而13B+模型在低配硬件上不切实际，因为内存交换占主导。
- 1B-3B模型： 适合4-8GB RAM → 生成最快 → 质量可接受
- 7B模型： 在8GB系统上处于临界 → 因内存压力而较慢 → 质量高
- 13B+模型： 需要16GB+ VRAM或大量内存交换 → 交互式使用速度过慢
低配PC上本地LLM有多快？
纯CPU系统预期：
- 3B模型 → 15-40词元/秒（旧CPU：10-15，优化后的新CPU：30-40）
- 7B模型 → 10-25词元/秒（取决于CPU核心数和量化；积极优化后部分可达30+）
- 这比云API慢（ChatGPT 4o：80-150词元/秒），但足以满足交互式使用。 3B模型以25词元/秒生成500词元响应需20秒——对于代码审查、摘要和创意写作等非时间敏感任务可接受。
量化如何影响低配PC的速度？
Q4（4位）： 约1%质量损失，50% VRAM节省。标准选择。所有量化级别的详细说明见完整指南。
Q3（3位）： 约3%质量损失，62% VRAM节省。聊天可接受。
Q2（2位）： 约10%质量损失，75% VRAM节省。有风险；仅在内存不足时使用。
速度影响： Q2比Q4快约30%，因为内存带宽更少，而非计算量减少。
策略：对大模型量化（Mistral Small Q2）优于使用小模型（TinyLlama）。
Mistral Small Q2在速度和质量上均优于TinyLlama 1.1B Q4。
快速模型以牺牲质量来换取速度——但通过调整温度和top-p，您可以恢复大部分质量。在快速模型上使用较低的温度（0.1-0.3）会产生比默认设置更一致的输出。参阅温度和top-p解析了解确切设置。
如何加速纯CPU推理？
- 启用AVX-512： 如果CPU支持，使用 `LLAMACPP_AVX512=1 ollama run phi`。约20%加速。
- 减少上下文窗口： 上下文越短 = 越快。使用 `--ctx-size 1024` 代替4096。
- **使用llama.cpp代替Ollama：** CPU上略快（约10%提升），开销更少。
- 禁用多线程： 反直觉，但在弱CPU上，单线程更快（无线程开销）。
- 卸载到集显： 即使弱集显也优于CPU。通过 `lspci` 检查GPU可用性。
这些模型有多快？真实基准（2026年4月）
五种硬件配置的真实测量，2026年4月。均使用Ollama默认设置，无调优：
- RTX 3060 12GB + Mistral Small Q4：15词元/秒。
- RTX 2060 4GB + Mistral Small Q2：20词元/秒（激进量化）。
- Intel Iris（MacBook Air M1）+ Mistral Small Q4：8词元/秒。
- Ryzen 7 7700X CPU + Phi 2.7B Q4：3词元/秒。
- Celeron N3050（旧笔记本）+ TinyLlama 1.1B Q4：0.5词元/秒（不可用）。
低配PC上应避免什么
- 不要运行13B+模型——它们超出RAM限制。 Q4下13B模型需要8-10GB VRAM，超出实际低配PC容量。即使使用激进的Q2量化，13B模型也需要5-6GB，OS和GPU调度开销的余量不足。坚持使用7B及以下。
- 避免Q8量化——速度更慢，质量提升微乎其微。 Q8使用的VRAM几乎是Q4的2倍（Mistral Small为8GB vs 5.5GB），质量仅提升约2%。对于4GB系统，Q8不切实际；对于8GB系统，Q4仍是最优。Q3是Q4内存不足时唯一值得考虑的权衡。
- 不要期望实时自动补全性能。 在CPU上以3词元/秒的速度，生成50个词元需要16秒。交互式自动补全需要≥20词元/秒。低配CPU上的本地LLM适用于批量聊天、起草和审查——而非实时自动补全或边输入边生成代码的场景。
- 不要将纯CPU推理用于生产聊天机器人。 适用于内部工具、原型和离线批处理。云API（15-20毫秒延迟）在面向用户的服务上优于低配CPU（300+毫秒延迟）。将本地推理用于隐私关键或离线场景，而非速度关键场景。
常见错误
- 错误：为了CPU速度选择TinyLlama。 问题：TinyLlama 1.1B并不比Mistral Small Q2明显更快。解决方案：改用Mistral Small Q2——相同速度，输出质量提升40%。
- 错误：未启用CPU加速标志。 问题：缺少AVX/NEON启用可带来20%加速且无成本。解决方案：在运行Ollama前设置 `LLAMACPP_AVX512=1` 或 `LLAMACPP_NEON=1`。
- 错误：量化到Q2以将7B强塞进4GB。 问题：Q2量化由于推理时KV缓存开销常导致内存溢出崩溃。解决方案：改用Q4的3B模型。
- 错误：假设更新的硬件总是意味着更快的推理。 问题：桌面Ryzen并不比移动ARM每词元更快，因为桌面软件缺乏内存优化。解决方案：对您的实际硬件进行基准测试。
- 错误：使用错误的Ollama slug。 问题：`ollama run phi` 加载的是Phi-2，而非Phi-4或Phi-Mini。解决方案：查看ollama.com/library并使用精确的模型标签。
低配PC本地LLM：地区背景
中国（数据安全法）： 根据2021年《数据安全法》和《个人信息保护法》（PIPL），在消费级硬件上运行Qwen3和DeepSeek-R1是金融、医疗和法律行业企业合规的首选部署模式。本地推理确保数据不离开设备，满足数据本地化要求，无需依赖境外云服务。Qwen3 1.5B和3B可在纯CPU硬件上运行，为硬件受限用户提供可行的替代方案，同时符合《网络安全法》对敏感数据处理的规定。
亚太地区（数据跨境）： 亚太地区的数据跨境传输框架（包括ASEAN数据管理框架和各国数据本地化法规）使本地推理成为处理敏感数据的合规选项。在纯CPU硬件上运行本地LLM可满足新加坡PDPA、日本APPI以及澳大利亚隐私法的数据驻留要求，无需额外合规配置。对于在多个亚太司法管辖区运营的企业，本地推理是统一隐私合规策略的最简方案。
企业部署： 在银行、医院和律师事务所等受监管行业，低配PC上的本地LLM推理适用于离线文档摘要、内部知识库查询和合规审查等非实时任务。金融机构可使用Phi 2.7B进行内部合规文件初审；医疗机构可用TinyLlama处理非实时病历摘要；法律事务所可在隔离网络中运行本地模型审查合同草稿，全程数据不出企业网络。
关于在低配PC上运行本地LLM的常见问题
运行本地LLM，什么算作低配PC？
低配PC是指专用VRAM不足8GB的任何机器，或纯CPU系统。包括大多数配备Intel Iris或AMD Radeon集成显卡的笔记本电脑、配备GTX 1060或更旧GPU的台式机，以及Chromebook。关键限制不是CPU速度，而是可用于存储模型权重的内存。
我可以在4GB GPU上运行Mistral Small吗？
使用Q2量化可以。使用Q4不行（会内存溢出崩溃）。Q2质量损失可接受（MMLU分数降低约5-10%），但速度提升30%。对于VRAM有限的用户，这是实用的权衡。
CPU推理适合聊天机器人吗？
适用于低吞吐量异步场景。以3词元/秒的速度，100个词元的响应需约3分钟。这对交互式对话不可用，但对隔夜批处理或非实时任务（如邮件起草）可接受。
CPU上应该用Phi 2.7B还是TinyLlama 1.1B？
Phi 2.7B是更好的选择。它比TinyLlama仅慢0.5词元/秒，但在推理任务上的输出质量高40%。TinyLlama仅在硬件极度受限时作为最后手段存在。
如何检查我的GPU是否支持CUDA？
在终端运行 `nvidia-smi`。如果打印GPU信息，则支持CUDA。如果返回"命令未找到"或"无NVIDIA GPU"，请查看Intel/AMD文档了解集显驱动程序。
量化如何影响推理速度？
量化主要减少内存带宽需求，而非计算量。Q2（2位）比Q4（4位）快约30%，因为模型每次前向传播加载的字节更少。但Q2带来约10%的质量损失。实用规则：默认使用Q4，只有在Q4下模型无法放入可用VRAM时才降至Q2。
我可以使用Q2以下的量化吗？
技术上可以（Q1），但质量会灾难性下降——准确率损失高达30%。不建议用于任何实际场景。
支持CPU+GPU混合推理吗？
是的，通过层卸载。使用llama.cpp可以用 `--n-gpu-layers 10` 将前10层卸载到GPU，其余保留在CPU上。这种混合方式在有限VRAM下可获得接近GPU的速度。
最快的本地LLM是什么？
最快的模型是1B-3B参数模型，如Llama 3.2 3B，在优化的现代CPU上可达15-40词元/秒，GPU加速可达40-60词元/秒。速度更多取决于硬件而非模型选择——7B模型在GPU上（25-40词元/秒）优于3B模型在CPU上（10-25词元/秒）。
我可以在4GB RAM上运行本地LLM吗？
可以——1B模型可在4GB系统上轻松运行（每个模型1-1.3GB + OS和余量2-3GB）。较大模型需要更多：3B需2-3GB，7B在Q4下需5.5-8GB。对于4GB系统，Llama 3.2 1B或TinyLlama 1.1B是实用选择，但质量有限。
速度一定需要GPU吗？
不，但GPU能显著提升速度。纯CPU系统经过优化后3B模型可达10-25词元/秒；GPU可达25-60词元/秒。纯CPU用户必须使用小模型（1B-3B）。只有在7B+模型需要交互速度时才需要GPU。
参考资料
- Phi 2.7B模型卡 — 微软研究院。Phi-2（2.7B参数）的基准分数和架构说明。
- TinyLlama 1.1B仓库 — Stability AI。TinyLlama 1.1B的模型规格、训练数据和性能基准。
- llama.cpp CPU优化指南 — CPU加速标志，包括AVX-512、NEON和线程配置。