关键要点
- 小规模规模的最佳推理: Phi-4 Mini 3.8B -- 68% MMLU，70% HumanEval，运行于4 GB RAM。
- 最佳小型/边缘模型: Gemma 4 E2B -- MMLU Pro 60%，128K上下文，约2GB RAM，Apache 2.0许可证。取代旧款Gemma 2 2B。
- 最好的小规模编码模型: Qwen2.5 3B -- 〜2 GB RAM下65% HumanEval。
- 最好的通用3B模型: Llama 3.2 3B -- 最多社区支持，128K上下文，2.5 GB RAM。
- 2B以下的模型无法生成适合专业任务的输出质量。对于实际工作，使用3B或更大的模型。
📍 简单一句话
小型本地LLM（1B-4B参数）可在4-8 GB内存的设备上以每秒30-70个令牌的速度运行，Phi-4 Mini 3.8B在推理方面领先，Gemma 4 E2B最适合支持128K上下文的小型/边缘设备，Qwen2.5 3B最适合编程，Llama 3.2 3B最适合通用用途。
💬 简单来说
如果你的笔记本电脑只有4-8 GB内存，仍然可以运行AI模型——只是需要更小的模型。这些4B以下的模型速度足以支持实时聊天，并能很好地处理摘要、简单问答和短文本翻译等简单任务，但在多步推理或撰写长篇连贯文档方面表现较弱。不过，对于大多数任务来说，它们仍是入门级硬件的不错选择。
什么是"小型"本地LLM，何时应该使用它？
小型本地LLM通常定义为参数少于40亿的模型。 在Q4_K_M量化下，这些模型需要1.5-3 GB的RAM，完全在具有4-8 GB总内存的入门级笔记本电脑的约束范围内。
小型模型适合：快速摘要、简单问答、代码片段解释、短文本翻译和分类任务。不适合多步推理、复杂代码生成或长篇一致的文档编写。
3B模型和7B模型之间的质量差距很大，大致相当于GPT-4o mini和GPT-5.5之间的差距。对于拥有8 GB RAM的用户，如果机器有余量，Q4_K_M的7B模型几乎总是更好的选择。有关7B建议，请参阅最佳初学者本地LLM模型。
应该使用哪个模型？快速决策指南
Phi-4 Mini 3.8B -- Sub-4B类中最佳推理性能
Microsoft Phi-4 Mini在MMLU上达到68%，在HumanEval上达到70%，这些得分超过了许多2025年之前发布的7B模型。 之所以可能，是因为Phi-4 Mini在专注于推理和问题解决的精选合成数据集上进行了训练，而不是广泛的网络文本。
Phi-4 Mini是需要推理（数学、逻辑、分步解释）或在4-6 GB RAM硬件上进行编码协助的用户的推荐选择。
Spec | Value |
|---|---|
| MMLU | 68% |
| HumanEval | 70% |
| RAM (Q4_K_M) | ~2.5 GB |
| 上下文 | 128K令牌 |
| CPU速度 | 30-50令牌/秒 |
| Ollama命令 | ollama run phi4-mini |
Gemma 4 E2B -- 最佳小型/边缘模型
Google Gemma 4 E2B是当前一代小型模型，取代了较旧的Gemma 2 2B。 根据Google官方模型卡，它在MMLU Pro（比原始MMLU更难的基准测试）上得分60%，在LiveCodeBench v6上得分44%，在GPQA Diamond上得分43.4%。有效参数为2.3B（含嵌入层为5.1B），可在约2GB RAM中运行。
128K的上下文窗口相较旧款Gemma 2 2B的8K是重大提升——现已与Phi-4 Mini和Llama 3.2 3B持平。CPU速度因硬件和量化方式而异（Google官方数据显示在Raspberry Pi 5上解码约7.6令牌/秒；独立的x86 CPU测试报告范围为8-48令牌/秒）——请查阅您设备的最新数据。采用Apache 2.0许可证。
Spec | Value |
|---|---|
| MMLU Pro | 60% |
| LiveCodeBench v6 | 44% |
| GPQA Diamond | 43.4% |
| RAM (Q4_K_M) | ~2 GB |
| 上下文 | 128K令牌 |
| Ollama命令 | ollama pull gemma4:e2b |
Qwen2.5 3B -- 编码任务的最佳小型模型
Qwen2.5 3B在HumanEval上得分65%，比Llama 3.2 3B高5个百分点，使其成为3B规模编码任务的最佳选择。它支持JSON模式和函数调用，并原生处理29种语言。
对于英文的非编码任务，Llama 3.2 3B和Phi-4 Mini会产生更自然的散文。特别是在编码或多语言输出是主要用例时，选择Qwen2.5 3B。
Spec | Value |
|---|---|
| MMLU | 62% |
| HumanEval | 65% |
| RAM (Q4_K_M) | ~2 GB |
| 上下文 | 128K令牌 |
| CPU速度 | 25-40令牌/秒 |
| Ollama命令 | ollama run qwen2.5:3b |
Llama 3.2 3B -- 最好的通用小型模型
Meta Llama 3 .2 3B是最广泛记录的、社区支持最多的3B模型。它在MMLU上得分58%，在HumanEval上得分60%，在两者上都略低于Phi-4 Mini，但拥有最广泛的工具支持、最多可用的微调和最大的社区指南集合。
128K上下文窗口与更大的Llama 3.x模型相同，适合总结中等长度的文档。作为第一个小型模型，Llama 3.2 3B因其可预测的行为和广泛的文档记录而仍然是最安全的选择。
Spec | Value |
|---|---|
| MMLU | 58% |
| RAM (Q4_K_M) | ~2.5 GB |
| 上下文 | 128K令牌 |
| CPU速度 | 25-45令牌/秒 |
| Ollama命令 | ollama run llama3.2:3b |
Llama 3.2 1B -- 任何有用输出的绝对最小值
Llama 3.2 1B是Meta发布的最小Llama模型，仅需1.3 GB RAM，在CPU上生成60-90令牌/秒——是本页最快的本地运行模型。输出质量是边界的：它处理非常简单的分类和关键词提取，但在连贯的多句响应上苦恼。仅在RAM是真正约束（可用3 GB以下）或测试工具集成时使用Llama 3.2 1B。
完整比较：4B以下最好的小型本地LLM
模型 | MMLU | HumanEval | RAM | 上下文 | 最适合 |
|---|---|---|---|---|---|
| Phi-4 Mini 3.8B | 68% | 70% | 2.5 GB | 128K | 推理、编码 |
| Qwen2.5 3B | 62% | 65% | 2 GB | 128K | 编码、多语言 |
| Llama 3.2 3B | 58% | 60% | 2.5 GB | 128K | 通用、首个模型 |
| Gemma 4 E2B | — | — | 2 GB | 128K | 边缘设备（MMLU Pro 60%） |
| Llama 3.2 1B | 32% | 28% | 1.3 GB | 128K | 绝对最小RAM |
按地区的小型本地LLM
中国（数据安全法）： Qwen2.5 3B（阿里巴巴，Apache 2.0）是中文小型模型部署的自然选择。原生中文标记化以相当的参数数与Llama相比，处理普通话文本的效率提高30-40%。对于IoT和中国《数据安全法》（数据安全法）下的边缘部署：`ollama run qwen2.5:3b`在配备4 GB RAM的任何Linux设备上运行，并在设备上处理所有文本，不进行外部API调用。本地Ollama部署保持所有文本处理在设备上，符合《数据安全法》对数据驻留和非跨境传输的要求。
日本： 对于小型模型层的日文任务，此比较中唯一的原生日文标记化是Qwen2.5 3B。Llama 3.2 3B处理日文但标记效率较低。对于RAM约束下的日文摘要或翻译：`ollama run qwen2.5:3b`。小型模型的速度优势对日本企业使用特别相关：CPU上25-40令牌/秒为标准办公硬件上的聊天界面提供适当的实时响应。
其他地区： 对于英文用例，Phi-4 Mini 3.8B在基于CPU的系统上提供最佳推理质量。当成本优化和速度很重要时，Gemma 4 E2B以最小的内存提供可扩展的推理基础。
运行小型本地LLM时的常见错误
- 使用Q8_0量化而不是Q4_K_M： Q8_0需要Q4_K_M的几乎两倍RAM，质量改进最少。Llama 3.2 3B模型在Q8_0下需要~3.8 GB RAM对比Q4_K_M下的~2.5 GB。在4 GB机器上，Q8_0可能触发交换使用并使推理速度降低3-5倍。对于Sub-4B模型，始终使用Q4_K_M作为默认值。
- 运行基础模型而不是指令变体： 基础模型（例如`llama3.2:3b-text`）是预先微调的检查点，经训练用于预测文本中的下一个令牌。它们不遵循指令。当您问基础模型"2+2是什么？"时，它可能将句子作为测验完成而不是回答"4"。始终使用指令变体：`llama3.2:3b`（Ollama对命名模型默认为指令）。
- 期望从3B模型获得7B模型质量： 68% MMLU（Phi-4 Mini）的3B模型在一般任务上的表现与2023年代的GPT-4o mini相似。复杂推理链、长篇写作和细微代码生成将产生明显低于7B模型的质量。如果输出质量不足，升级到7B模型----RAM差异约为2 GB（2.5 GB → 4.5 GB）。
理解量化：RAM与质量的权衡
关于小型本地LLM模型的常见问题
生成有用输出的最小本地LLM是什么？
有用输出的实际最小值是Q4_K_M量化下的3B模型。2B以下参数的模型生成连贯的单句但在多步骤指令和复杂推理上苦恼。对于摘要和简单问答等任务，Gemma 4 E2B是可用的。对于更复杂的任务，从3B模型开始。
我可以在电话上运行3B模型吗？
可以----Llama 3.2 1B和3B专为设备上移动部署而设计。Meta为iOS（通过MLC LLM）和Android提供优化的构建。在现代手机上的推理为1B模型生成15-30令牌/秒。LM Studio和Ollama目前不在iOS或Android上运行----移动需要单独的框架。
小型模型适合摘要吗？
是的----摘要是小型模型最强的用例之一。Gemma 4 E2B和Llama 3.2 3B可靠地生成高达〜4,000字的文本的准确摘要。对于较长的文档，使用具有大上下文窗口的模型，如Phi-4 Mini或Llama 3.2 3B（均128K令牌）。
2B模型在相同硬件上比7B模型快多少倍？
很大程度上取决于硬件和量化方式——Google官方数据显示Gemma 4 E2B在Raspberry Pi 5上的解码速度约为7.6令牌/秒，而独立的x86 CPU测试范围为8-48令牌/秒。在GPU上，速度优势缩小。速度差在仅CPU的机器上最明显。
小型模型支持函数调用吗？
有些支持。Qwen2.5 3B支持函数调用和JSON模式。Llama 3.2 3B有基本的工具使用支持。Gemma 4 E2B不支持函数调用。在构建依赖于结构化输出的管道之前检查模型文档。
英文以外的语言最好的小型模型是什么？
Qwen2.5 3B原生支持29种语言，包括中文、日文、韩文和阿拉伯文。Gemma 4 E2B和Phi-4 Mini主要是英文优化的。对于小型模型规模的非英文任务，Qwen2.5 3B是明确的选择。有关完整的语言比较，请参阅Qwen vs Llama vs Mistral 多语言比较。
日常任务中Phi-4 Mini和Llama 3.2 3B之间的区别是什么？
Phi-4 Mini以几乎相同的RAM（每个2.5 GB）在推理、数学和编码上超过Llama 3.2 3B（68%对58% MMLU，70%对60% HumanEval）。对于日常任务----问答、摘要、简单解释----质量差距明显但不引人注目。Llama 3.2 3B拥有更广泛的社区支持和更多可用的微调。为结构化推理选择Phi-4 Mini；为通用聊天和兼容性选择Llama 3.2 3B。
我可以同时运行两个小型模型吗？
可以，如果总RAM允许的话。两个3B模型在Q4_K_M下组合使用〜5 GB----在具有精益OS的8 GB机器上可行。Ollama默认按进程一次加载一个模型。在不同的端口（OLLAMA_HOST=:11434和OLLAMA_HOST=:11435）上运行两个Ollama实例以并行提供两个模型。这对于A/B测试输出很有用。
小型模型适合RAG（检索增强生成）吗？
对于简单RAG是的。Llama 3.2 3B和Phi-4 Mini可以可靠地回答检索到的文档块上的问题。对于需要多跳推理的大型知识库上的RAG，7B+模型执行更加一致。GPT4All的LocalDocs功能为文档问答使用3B模型，对个人文档集合效果很好。
Phi-4 Mini在编码上比Llama 3.2 3B更好吗？
是的。Phi-4 Mini在此规模达到60%对70% HumanEval得分，与Llama 3.2 3B相比有意义的10点差距。对于4-6 GB RAM机器上的编码协助，Phi-4 Mini是推荐选择。对于多语言编码（非Python），65% HumanEval的Qwen2.5 3B与Phi-4 Mini竞争，同时也支持函数调用。
使用Q8_0量化代替Q4_K_M
在小规模下，Q8_0的RAM需求几乎是Q4_K_M的两倍，但质量提升微乎其微。使用Q8_0的Llama 3.2 3B模型需要约3.8 GB RAM，而Q4_K_M仅需约2.5 GB。在4 GB的机器上，Q8_0可能触发交换分区使用，使推理速度慢3-5倍。对于Sub-4B模型，请始终使用Q4_K_M作为默认设置。
运行基础模型而非指令变体
基础模型（例如llama3.2:3b-text）是微调前的检查点，经过训练用于预测文本中的下一个token，不遵循指令。当你问基础模型"2+2等于多少？"时，它可能像做填空题一样补全句子，而不是回答"4"。请始终使用指令变体：llama3.2:3b（Ollama对具名模型默认使用指令版本）。
期望3B模型达到7B模型的质量
MMLU得分68%的3B模型（Phi-4 Mini）在一般任务上的表现与2023年前后的GPT-3.5 Mini相近。复杂的推理链、长篇写作和精细的代码生成，其质量会明显低于7B模型。如果输出质量不够，请升级到7B模型——RAM差异约为2 GB（2.5 GB → 4.5 GB）。
实际可用的最小本地LLM是什么？
约1B参数是连贯输出的下限，Llama 3.2 1B是本文中值得用于实际工作的最小模型。低于这个规模，微型模型几乎可以在任何硬件上加载并生成文本，但输出在几句话后就失去连贯性，更适合当作自动补全而非助手使用。如果限制因素是磁盘和RAM而非质量，占用小且实用的最小本地LLM是Q4量化的sub-2B模型；如果有4GB以上可用空间，4B模型能以极少的额外RAM换来连贯性的大幅提升。
你可以在本地运行的最小LLM模型是什么？
Llama 3.2 1B是Meta发布的最小Llama模型，也是本次比较中最实用的选择——仅需1.3 GB RAM，在CPU上以60-90令牌/秒运行，比本页其他任何模型都快。它能处理简短的分类和关键词提取任务，但在更长、多步骤的输出上会失效。如果你想要一个日常真正可用的小模型（有时称为mini LLM），把Llama 3.2 1B当作硬件下限，而非质量下限——实际工作请升级到Gemma 4 E2B，或Qwen2.5 3B、Llama 3.2 3B等3B模型。
来源
- Hugging Face Open LLM排行榜 -- open-llm-leaderboard.hf.space（MMLU和HumanEval得分）
- Microsoft Phi-4技术报告 -- microsoft.com/en-us/research/publication/phi-4-technical-report/
- Meta Llama 3.2模型卡 -- huggingface.co/meta-llama/Llama-3.2-3B-Instruct
- Google Gemma 4 模型卡 -- huggingface.co/google/gemma-4-e2b-it