2026年最佳小型本地LLM：最强4B模型与最小可运行模型

小型本地LLM通常是指参数量约40亿或更少的模型。 在4位量化下，这类模型的下载体积约为1-4 GB（Gemma 4的有效参数设计是例外，详见下文）——完全可以放进总内存只有4-8 GB的入门级笔记本。

小型模型适合摘要、简单问答、代码片段讲解、短文翻译、改写和分类。它们不适合冗长的多步推理链、大规模代码生成或连贯的长篇写作。

4B与7-9B模型之间的质量差距依然真实存在。如果你的机器有8 GB或以上内存且还有余量，Qwen3.5 9B这样的7-9B模型（Ollama下载6.6-7.6 GB）通常是更好的选择。7B模型推荐请参阅最佳入门本地LLM模型。

Qwen3.5 4B是本次对比中最强的4B级模型，其Qwen官方模型卡给出的成绩为MMLU-Pro 79.1、GPQA Diamond 76.2、LiveCodeBench v6 55.8。 它作为Qwen3.5 Small系列的一员于2026年初发布，采用Apache 2.0许可证，支持文本和图像输入、工具调用，原生上下文窗口为262,144个token。

有两点需要注意。第一，Qwen3.5模型默认开启思考模式，这能提升推理能力，但在CPU上较慢——简单任务请关闭思考。第二，模型卡并未说明主要基准分数采用哪种模式，而且Qwen的评测设置与Google、Microsoft不同，因此请把这些数字当作方向性参考，而不要逐点比较。

据Google模型卡，Google Gemma 4 E4B在MMLU-Pro上得分69.4%，LiveCodeBench v6为52.0%，GPQA Diamond为58.6%。 “E4B”表示有效参数量为45亿；算上逐层嵌入后，模型约有80亿参数，这就是为什么尽管名为“4B”，Ollama下载体积却达到6.6-9.5 GB。它支持文本和图像输入，上下文窗口为128K，采用Apache 2.0许可证。

如果你想要Google的生态、出色的多语言表现（MMMLU 76.6%）或42.2%的Tau2智能体得分，请选E4B。如果你想以大约一半的磁盘和内存占用获得同级别的质量，请选Qwen3.5 4B。

据其模型卡，Microsoft Phi-4 Mini在MMLU上得分67.3%，MMLU-Pro为52.8%，下载体积仅2.5 GB——是本文所列4B级模型中占用最小的。 它采用MIT许可证，上下文窗口为128K，并使用以推理为重点的精选合成数据训练。

在推理基准上它落后于Qwen3.5 4B和Gemma 4 E4B（GPQA 25.2，对比76.2和58.6），因此当内存是限制因素时（4-6 GB的机器），或者你看重宽松的MIT许可证时，再选择它。

当4B模型放不下时，Qwen3.5 2B是最佳选择。 Qwen模型卡给出的MMLU-Pro成绩在非思考模式下为55.3，思考模式下为66.5，思考模式下的GPQA为51.6。它在Ollama上的下载体积为2.7-3.1 GB，支持图像输入，上下文窗口为256K，采用Apache 2.0许可证。

与0.8B模型相比，它在遵循指令方面可靠得多（非思考模式下IFEval为61.2对52.1），也是本文所列模型中我们愿意用于实际摘要和问答工作的最小模型。

据Google模型卡，Google Gemma 4 E2B在MMLU Pro上得分60.0%，LiveCodeBench v6为44.0%，GPQA Diamond为43.4%。 有效参数量为23亿（含逐层嵌入为51亿）。有效参数量并不意味着文件只有2 GB：Ollama列出的下载体积为4.6-7.5 GB，因此在达到相近水平的结果时，它比Qwen3.5 2B需要更多内存。

它的上下文窗口为128K，支持图像输入，采用Apache 2.0许可证。CPU吞吐量因硬件和量化而异（Google报告在树莓派5上解码速度约为7.6 tok/sec；独立的x86报告则在8-48 tok/sec之间）。如果你想在边缘设备上使用Google的工具链，可以选它；否则Qwen3.5 2B更轻量。

Qwen3.5 0.8B是本次对比中最小的模型：在Ollama上下载体积为1.2-1.3 GB，上下文窗口为256K，采用Apache 2.0许可证。其厂商自报的MMLU-Pro为29.7（非思考模式）和42.3（思考模式），GPQA为11.9——足以完成分类、关键词提取和简短改写，但不适合多步推理或长篇回答。仅在内存确实是硬性限制时（可用内存不足3 GB）、在单板计算机上，或在流水线中作为快速预过滤器时使用它。

欧盟 / GDPR： 对于在受限硬件上运行AI的欧盟专业人士——外勤工作、物理隔离环境、较旧的企业笔记本——只要运行环境和应用已关闭遥测与同步，小型本地模型就可以完全在设备上完成推理，无需调用云端API。在普通企业笔记本上运行Qwen3.5 4B或Phi-4 Mini，可使所有处理的文本都留在设备上，这有助于实现GDPR第5条的数据最小化目标；但具体部署是否合规，仍取决于你的整体设置。许可证都很宽松：Phi-4 Mini为MIT，Gemma 4和Qwen3.5为Apache 2.0。这个规模上源自欧盟的选项有限；如果要求欧盟来源，请查看Mistral当前的产品线。

日本（METI）： 对于小型模型层级的日语任务，Qwen3.5和Gemma 4 E4B在各自模型卡上的MMMLU得分都在76左右。在受限的机器上，可以尝试用`ollama run qwen3.5:2b`或`ollama run qwen3.5:4b`做日语摘要或翻译。小型模型的速度优势对在标配办公硬件上使用的企业很有意义，不过实际速度取决于你的CPU和量化方式。

中国： Qwen3.5（阿里巴巴，Apache 2.0）是部署中文小型模型的自然之选。对于适用中国《数据安全法》（数据安全法）的物联网和边缘部署，`ollama run qwen3.5:2b`可在约4 GB内存的Linux设备上运行，在设备本地处理文本，无需调用任何外部API；如涉及个人信息，还需结合《个人信息保护法》（PIPL）等要求，请自行单独确认你的合规义务。