跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。

4 GB显存最佳Ollama模型?

作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

关键要点

  • ✓Phi-4 Mini和Qwen3 4B(各2.5 GB)是4 GB显卡上仍留有余量的最大模型
  • ✓Ollama的大多数默认标签已是4位(Q4_K_M);应看下载大小,而不是参数量
  • ✓Llama 3.1 8B(4.9 GB)和Gemma 4 E2B(4.6 GB)放不下
  • ✓系统内存只有4 GB时,请控制在约1.5 GB以内:Qwen3 0.6B、Gemma 3 1B、Llama 3.2 1B
4 GB显存最佳Ollama模型?
Quantization & VRAM

4 GB显存能容纳的模型

在4 GB显卡上,4位量化下约40亿参数以内的模型可以放下,需要核对的数字是Ollama的下载大小。模型除文件大小外,还需要为上下文缓存(KV缓存)留出空间,缓存会随对话变长而增长。经验法则是文件不超过约3 GB,这样整个模型才能留在GPU上。

Phi-4 Mini和Qwen3 4B是表中仍能留出这一余量的最大模型,各2.5 GB。Qwen3.5 2B是最新系列,除文本外还支持图像。Gemma 3 1B和Qwen3 1.7B适合文件小、上下文长的需求。文件大小来自Ollama模型库;速度取决于你的GPU,因此这里不列出每秒token数。新一代模型在这个体量上也无法替代它们:Qwen3.6从27B(17 GB)起步,Gemma 4的下载都不小于4.3 GB。

模型Ollama标签文件大小说明
Phi-4 Miniphi4-mini2.5 GB38亿参数,128K上下文
Qwen3 4Bqwen3:4b2.5 GB40亿参数,思考模式
Llama 3.2 3Bllama3.2:3b2.0 GB30亿参数,Llama系列
Qwen3.5 2Bqwen3.5:2b-q4_K_M1.9 GB支持文本和图像输入
Qwen3 1.7Bqwen3:1.7b1.4 GB留出大部分显存
Gemma 3 1Bgemma3:1b0.8 GB本表中最小的选择

📍 简单一句话

4 GB显存可以运行4位的Phi-4 Mini(2.5 GB)、Qwen3 4B(2.5 GB)、Llama 3.2 3B(2.0 GB)、Qwen3.5 2B(1.9 GB)和Gemma 3 1B(0.8 GB);Llama 3.1 8B(4.9 GB)放不下。

💬 简单来说

如果你的GPU是4 GB,请选择下载约3 GB或更小的模型,先试phi4-mini或qwen3:4b。8B模型需要6 GB或更大的显卡。

4 GB放不下的模型

以下模型经常被问到,但它们的Ollama默认下载接近或超过4 GB:

6 GB显卡可让Llama 3.1 8B这类8B模型变得实用。参见6 GB显存的最佳本地LLM。完整硬件对比参见低端电脑上最快的本地LLM。

  • ▸Llama 3.1 8B(llama3.1:8b)— 下载4.9 GB,没有上下文空间
  • ▸Gemma 4 E2B(gemma4:e2b-it-q4_K_M)— 名称带“2B”,但下载达4.6 GB
  • ▸Gemma 4 E4B(gemma4:e4b-it-q4_K_M)— 下载6.6 GB
  • ▸Qwen3.5 4B(qwen3.5:4b-q4_K_M)和Gemma 3 4B(gemma3:4b)— 3.3 GB和3.4 GB;处于边缘,长上下文会把部分层挤到系统内存

哪些Ollama模型是4位的?

Ollama的大多数默认标签已是4位:phi4-mini、qwen3:1.7b、gemma3:4b和llama3.1:8b与q4_K_M条目的文件哈希相同,q4_K_M即4位量化。模型库页面通常不标明默认标签的量化方式,想确认可以拉取名称里带量化的标签,例如ollama run qwen3:4b-q4_K_M。

并非所有小模型默认都是4位,默认版本也可能比4位文件大得多:

  • ▸gemma2:2b — 默认是q4_0(1.6 GB)
  • ▸smollm2:1.7b — 默认是q8_0(1.8 GB);q4_K_M文件为1.1 GB
  • ▸qwen3.5:2b — 默认为2.7 GB;qwen3.5:2b-q4_K_M为1.9 GB
  • ▸llama3.2:1b — 默认对应q8_0(1.3 GB)

相关指南

关于4 GB显存模型的快速解答

4 GB显存够运行有用的LLM吗?▾
够用于基础任务。Phi-4 Mini或Qwen3 4B这类20亿至40亿参数的模型可以处理问答、简短摘要和轻量编程辅助。长文档、多步骤智能体和大上下文受上下文缓存限制,6 GB或更多会更从容。
哪个Ollama模型是4位量化?▾
大多数都是。phi4-mini和gemma3:4b等默认标签与q4_K_M(4位)条目的哈希相同。也有例外:smollm2默认是q8_0,gemma2:2b默认是q4_0。拉取名称里带q4_K_M的标签即可确保无误。
4 GB显存能运行Llama 3吗?▾
8B模型不行:llama3.1:8b下载大小为4.9 GB。如果一定要Llama系列,Llama 3.2 3B只需2.0 GB。参见完整的显存需求指南。
哪些GPU有4 GB显存?▾
RTX 3050和3050 Ti(笔记本版)、GTX 1650 Super以及AMD RX 6500 XT为4 GB。NVIDIA显卡需要compute capability 5.0或更高。RX 6500 XT不在Ollama的ROCm支持列表中,购买前请查看Ollama GPU文档。
纯CPU模式能绕过4 GB显存限制吗?▾
部分可以。模型大于显存时,Ollama会把层拆分到GPU和系统内存,仍能运行但更慢。没有GPU时完全在CPU上运行,速度取决于内存和处理器。
系统内存只有4 GB能运行什么?▾
经验法则是控制在约1.5 GB以内:qwen3:0.6b(0.5 GB)、gemma3:1b(0.8 GB)、llama3.2:1b(1.3 GB)或qwen3:1.7b(1.4 GB)。操作系统和Ollama会占用这4 GB的一部分,更大的模型会开始使用磁盘交换。
Ollama的最低配置要求是什么?▾
没有统一的最低要求:需求是模型文件大小加上上下文缓存。最小的模型(Gemma 3 270M为0.3 GB,Qwen3 0.6B为0.5 GB)几乎能在任何机器上运行;30亿至40亿参数的模型需要约3 GB的空闲显存或内存。
Gemma 4和Qwen3.5能放进4 GB吗?▾
Qwen3.5 0.8B和2B可以轻松放下,4B版本(q4_K_M,3.3 GB)处于边缘。Gemma 4 E2B放不下:其q4_K_M文件为4.6 GB。
MCP