4 GB显存最佳Ollama模型？

4 GB显存能装什么

截至2026年5月，4 GB显存下您只能使用Q4量化的30亿参数或更少的模型。这排除了所有主流本地模型——Llama 3 8B、Mistral 7B、Qwen 14B。三款现代小型模型表现出色：Phi-4 Mini在指令执行上与GPT-3.5相当，Gemma 2 2B处理快速聊天，SmolLM 1.7B可在集成显卡上运行。

Phi-4 Mini是该层级的首选。尽管体积小，它能以约25 tok/s处理通用问答、轻度编程和文档摘要。Gemma 2 2B在单轮聊天中更快。SmolLM 1.7B是Phi-4 Mini也让显存太接近上限时的备选方案。

4 GB装不下的模型

以下模型经常被问到，但在所有量化级别下都需要超过4 GB显存：

升级到6 GB可解锁Llama 3 8B和Mistral 7B——两款最流行的本地模型。参阅6 GB显存最佳本地LLM。完整硬件比较请参阅低端PC最快本地LLM。

• ▸Llama 3 8B——Q4_K_M至少需要约5.5 GB
• ▸Mistral 7B——Q4_K_M需要约4.5 GB（勉强；带上下文开销在4 GB下有风险）
• ▸Phi-4（完整14B）——需要约9.8 GB
• ▸Qwen 14B——Q4_K_M需要约9.5 GB