Ollama上哪些模型支持128K上下文？
快速回答
Llama 3.1 8B在Ollama上支持128K上下文。Qwen3-30B-A3B是一个混合专家（MoE）模型，可达256K上下文。注意：运行完整上下文会大幅增加VRAM——128K窗口比默认4K窗口需要多3–4倍VRAM。
- ▸Llama 3.1 8B：128K上下文，完整上下文约需16 GB VRAM
- ▸Qwen3-30B-A3B：256K上下文，完整上下文需24+ GB VRAM
- ▸日常使用设置--num-ctx 4096以节省VRAM
关键要点
- ✓大多数7B Ollama模型宣称支持128K上下文，但超过32K token后质量明显下降
- ✓Llama 3.1 8B和Qwen3-30B-A3B是能在Ollama上稳定提供128K以上上下文的两个模型
- ✓128K上下文窗口可能使VRAM用量增至近3倍——7B Q4模型在128K下需约15 GB，默认只需约5.5 GB
- ✓日常任务设置<code>--num-ctx 4096</code>；仅在需要时扩展上下文
真正能达到128K的模型
大多数Ollama模型宣称支持128K上下文，但在该长度下能提供有效输出质量的模型很少。问题在于"中间遗失"效应：在标准文档长度上训练的模型，难以关注到长上下文深处的信息。
在Ollama上能稳定提供128K以上上下文的模型有两个：Llama 3.1 8B（原生在128K下训练）和Qwen3-30B-A3B（一个混合专家模型，在Ollama官方库中支持256K上下文窗口，每个token仅激活300亿参数中的约30亿）。Qwen3较小的稠密尺寸在Ollama中默认上下文窗口为40K，对于大多数其他7B级模型，输出质量在超过32K token后也会明显下降。
如果您的任务涉及超过20,000字的文档，从Llama 3.1 8B开始。如果需要最大的上下文窗口且有20+ GB VRAM，Qwen3-30B-A3B是更好的选择。
📍 简单一句话
在Ollama上能稳定提供128K以上上下文的两个模型是Llama 3.1 8B（128K，原生训练）和Qwen3-30B-A3B（256K，混合专家模型）。
💬 简单来说
Llama 3.1 8B从一开始就针对128K token的上下文进行训练，因此在该长度下输出质量依然稳定。Qwen3-30B-A3B是一个混合专家模型——每个token仅激活300亿参数中的约30亿——Ollama将其列为256K上下文窗口。大多数其他7B级模型宣称支持128K，但输出质量在超过32K token后会明显下降。
长上下文的VRAM成本
扩展上下文窗口会显著增加VRAM使用量。KV-Cache存储上下文中所有token的注意力状态，在128K上下文下可能占用与模型权重相当的VRAM。
下表显示Q4_K_M的7B模型KV-Cache VRAM的扩展情况。这些数值假设模型使用分组查询注意力（GQA）——不使用GQA的模型会消耗更多KV-Cache。
日常任务中节省VRAM，请在运行Ollama时设置--num-ctx 4096。仅在特定任务需要时扩展至32K或128K。长上下文本地LLM的完整指南（包括模型选择和RAM分割），请参阅长上下文本地LLM指南。
| 上下文长度 | KV-Cache (7B) | 总VRAM (7B Q4) |
|---|---|---|
| 4K（默认） | ~0.5 GB | ~5.5 GB |
| 16K | ~1.5 GB | ~6.5 GB |
| 32K | ~3 GB | ~8 GB |
| 128K | ~10 GB | ~15 GB |
相关指南
- ▸长上下文本地LLM指南 -- 模型选择与内存分配
- ▸可以在Ollama上运行Qwen 3吗？ -- 安装与VRAM需求
- ▸哪些Ollama模型支持视觉功能？ -- Ollama上的多模态模型
长上下文模型常见问题
如何在Ollama中启用128K上下文？▾
--num-ctx 131072：ollama run llama3.1:8b --num-ctx 131072。不使用该参数时，Ollama的Modelfile规范默认num_ctx为2048，即使是按VRAM分级的运行时默认值(24 GiB以下为4K，24–48 GiB为32K，以上为256K)也可能达不到模型的最大能力——请显式设置num_ctx以确保达到该能力。