按用途分类的2026年最佳本地LLM堆栈：写作、编程、RAG、智能体

硬件分级决策表（2026年4月）

1. 1
   24 GB显存：`ollama pull llama3.3:70b` — 质量最高，写作基准测试相当GPT-4（2023）。
2. 2
   16 GB显存：`ollama pull mistral-small3.1` — 128K上下文，24 GB以下最高质量。
3. 3
   8 GB显存：`ollama pull llama3.2:8b` — 写作质量良好，消费级硬件上运行流畅。
4. 4
   通过Docker安装OpenWebUI：`docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:latest`
5. 5
   在OpenWebUI设置中按文档长度配置上下文窗口（8K–32K Token）。

1. 1
   安装vLLM：`pip install vllm`
2. 2
   启动Qwen2.5-Coder-7B服务：`python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-Coder-7B-Instruct --port 8000`
3. 3
   16+ GB显存可使用更大的14B模型：`--model Qwen/Qwen2.5-Coder-14B-Instruct`
4. 4
   将IDE插件（VS Code Continue.dev、Cursor等）连接至`http://localhost:8000/v1`。
5. 5
   开启批量代码审查：单次API调用并行处理最多10个文件（`vllm`默认支持batch=10）。

# Review 10 files in parallel using vLLM batch processing
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")

code_files = [
    ("utils.py", open("utils.py").read()),
    ("models.py", open("models.py").read()),
    # ... up to 10 files
]

# vLLM processes all 10 in parallel (1 batch request)
reviews = []
for filename, code in code_files:
    prompt = f"Review this code for bugs, style, and performance:

{code}"
    response = client.chat.completions.create(
        model="Qwen2.5-Coder-7B-Instruct",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,  # Deterministic for review tasks
    )
    reviews.append((filename, response.choices[0].message.content))

for filename, review in reviews:
    print(f"=== {filename} ===
{review}
")

1. 1
   安装LlamaIndex：`pip install llama-index`
2. 2
   将文档（PDF、TXT、Markdown）加载到LlamaIndex。
3. 3
   将文档分块（1024 Token默认），用本地模型生成Embedding。
4. 4
   将Embedding存入Qdrant向量数据库（通过Docker本地运行）。
5. 5
   通过LlamaIndex查询：检索最相似K个文档，带上上下文提示 LLM。
6. 6
   包装成FastAPI端点，支持Web UI或IDE集成。

1. 1
   安装LangGraph：`pip install langchain langgraph`
2. 2
   将工具（搜索、计算器、文件I/O）定义为函数签名。
3. 3
   创建LLM为决策节点、工具为动作节点的智能体图。
4. 4
   在紧密循环中使用vLLM后端实现低延迟 LLM调用。
5. 5
   执行智能体循环：LLM → 工具选择 → 执行 → 循环直到完成。

1. 1
   将vLLM部署到固定端口，参数`--served-model-name model-name`。
2. 2
   配置nginx对2+个vLLM实例做负载均衡（多卡时每卡一个实例）。
3. 3
   使用OpenAI兼容`/v1/chat/completions`端点保证客户端兼容性。
4. 4
   通过Prometheus端点监控（vLLM导出请求延迟、吸吐量指标）。
5. 5
   为每个用户设置Token桶算法限流。

1. 1
   使用`peft`库（LoRA）减少显存占用。
2. 2
   训练阶段需要模型显存的4倍（优化器状态、梯度），与推理分开运行。
3. 3
   将LoRA适配器导出到HuggingFace Hub或本地文件系统。
4. 4
   将微调后模型加载到Ollama：`ollama create mymodel -f Modelfile`
5. 5
   或使用HuggingFace TRL进行RLHF训练。

1. 1
   Ollama：调用`/api/generate`并设置`stream: true`，Token以换行符分隔的JSON返回。
2. 2
   vLLM：使用`/v1/chat/completions`并设置`stream: true`，返回OpenAI兼容SSE流。
3. 3
   前端：使用EventSource API（JavaScript）消费流，每个Token更新UI。
4. 4
   禁用批量处理（batch=1）实现最低延迟。

相关阅读

• 编程最佳本地LLM 2026 — Qwen2.5-Coder vs DeepSeek-Coder HumanEval排名。
• 本地RAG配置 2026 — LlamaIndex + Qdrant + Ollama完整实现指南。
• LangGraph本地LLM智能体 — 逐步示例的智能体工作流框架。
• Ollama vs LM Studio — 后端对比：CLI vs GUI、速度、批量处理。
• Open WebUI vs SillyTavern — 聊天界面对比：专业与角色扮演。
• 本地LLM需要多少显存？ — 按模型大小和用途划分硬件需求。

选择LLM堆栈时的常见错误

• 未配备vLLM就用Ollama作为生产API： Ollama上限<10 req/s。服务10+并发用户的生产环必须vLLM。部署前务必进行负载测试。
• 未配备vLLM后端就运行LangGraph： LangGraph智能体需褵10+次连续LLM调用。Ollama引入延迟瓶颈。亚秒级响应必须LangGraph + vLLM组合。
• 未管理内存在同一GPU混跑Ollama + vLLM： 两个工具均将权重加载到显存。两个70B模型实例占用5632 GB显存。建议使用独立GPU或Q2量化失空间。
• 写作时上下文窗口选择不当： 默认4K上下文限制头脑风暴。长文写作应在OpenWebUI设置中配置16K–32K Token窗口。代价：每个Token推理慢2–3倍。
• 误以为所有后端速度相同： vLLM与Ollama使用不同的内核。同硬件上vLLM推理速度快2–3倍。速度差异源于后端，不是前端（OpenWebUI、LM Studio仅是UI）。

参考资料

• Ollama GitHub — 官方文档、流式API规范、模型库。
• vLLM GitHub — OpenAI API兼容性、批量处理、连续批处理文档。
• Qwen2.5-Coder技术报告 — 阿里巴巴通义千问。HumanEval 82%，代码专用。Apache 2.0许可。
• LlamaIndex文档 — 文档索引、分块、RAG检索框架。
• LangGraph文档 — 智能体工作流、状态机、工具调用模式。
• Qdrant文档 — 本地Embedding存储用向量数据库，Docker就绪，Apache 2.0。
• Continue.dev文档 — 使用本地LLM后端的VS Code / JetBrains IDE插件。