4 GB显存最佳Ollama模型?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
关键要点
- ✓Phi-4 Mini和Qwen3 4B(各2.5 GB)是4 GB显卡上仍留有余量的最大模型
- ✓Ollama的大多数默认标签已是4位(Q4_K_M);应看下载大小,而不是参数量
- ✓Llama 3.1 8B(4.9 GB)和Gemma 4 E2B(4.6 GB)放不下
- ✓系统内存只有4 GB时,请控制在约1.5 GB以内:Qwen3 0.6B、Gemma 3 1B、Llama 3.2 1B

4 GB显存能容纳的模型
在4 GB显卡上,4位量化下约40亿参数以内的模型可以放下,需要核对的数字是Ollama的下载大小。模型除文件大小外,还需要为上下文缓存(KV缓存)留出空间,缓存会随对话变长而增长。经验法则是文件不超过约3 GB,这样整个模型才能留在GPU上。
Phi-4 Mini和Qwen3 4B是表中仍能留出这一余量的最大模型,各2.5 GB。Qwen3.5 2B是最新系列,除文本外还支持图像。Gemma 3 1B和Qwen3 1.7B适合文件小、上下文长的需求。文件大小来自Ollama模型库;速度取决于你的GPU,因此这里不列出每秒token数。新一代模型在这个体量上也无法替代它们:Qwen3.6从27B(17 GB)起步,Gemma 4的下载都不小于4.3 GB。
| 模型 | Ollama标签 | 文件大小 | 说明 |
|---|---|---|---|
| Phi-4 Mini | phi4-mini | 2.5 GB | 38亿参数,128K上下文 |
| Qwen3 4B | qwen3:4b | 2.5 GB | 40亿参数,思考模式 |
| Llama 3.2 3B | llama3.2:3b | 2.0 GB | 30亿参数,Llama系列 |
| Qwen3.5 2B | qwen3.5:2b-q4_K_M | 1.9 GB | 支持文本和图像输入 |
| Qwen3 1.7B | qwen3:1.7b | 1.4 GB | 留出大部分显存 |
| Gemma 3 1B | gemma3:1b | 0.8 GB | 本表中最小的选择 |
📍 简单一句话
4 GB显存可以运行4位的Phi-4 Mini(2.5 GB)、Qwen3 4B(2.5 GB)、Llama 3.2 3B(2.0 GB)、Qwen3.5 2B(1.9 GB)和Gemma 3 1B(0.8 GB);Llama 3.1 8B(4.9 GB)放不下。
💬 简单来说
如果你的GPU是4 GB,请选择下载约3 GB或更小的模型,先试phi4-mini或qwen3:4b。8B模型需要6 GB或更大的显卡。
4 GB放不下的模型
以下模型经常被问到,但它们的Ollama默认下载接近或超过4 GB:
6 GB显卡可让Llama 3.1 8B这类8B模型变得实用。参见6 GB显存的最佳本地LLM。完整硬件对比参见低端电脑上最快的本地LLM。
- ▸Llama 3.1 8B(llama3.1:8b)— 下载4.9 GB,没有上下文空间
- ▸Gemma 4 E2B(gemma4:e2b-it-q4_K_M)— 名称带“2B”,但下载达4.6 GB
- ▸Gemma 4 E4B(gemma4:e4b-it-q4_K_M)— 下载6.6 GB
- ▸Qwen3.5 4B(qwen3.5:4b-q4_K_M)和Gemma 3 4B(gemma3:4b)— 3.3 GB和3.4 GB;处于边缘,长上下文会把部分层挤到系统内存
哪些Ollama模型是4位的?
Ollama的大多数默认标签已是4位:phi4-mini、qwen3:1.7b、gemma3:4b和llama3.1:8b与q4_K_M条目的文件哈希相同,q4_K_M即4位量化。模型库页面通常不标明默认标签的量化方式,想确认可以拉取名称里带量化的标签,例如ollama run qwen3:4b-q4_K_M。
并非所有小模型默认都是4位,默认版本也可能比4位文件大得多:
- ▸gemma2:2b — 默认是q4_0(1.6 GB)
- ▸smollm2:1.7b — 默认是q8_0(1.8 GB);q4_K_M文件为1.1 GB
- ▸qwen3.5:2b — 默认为2.7 GB;qwen3.5:2b-q4_K_M为1.9 GB
- ▸llama3.2:1b — 默认对应q8_0(1.3 GB)