2026年如何在本地运行Qwen 3：Ollama + LM Studio完整设置指南

2026年为何在本地运行Qwen

选择您的Qwen模型

硬件要求

• 最低配置（Qwen 3.6 27B）：16 GB显存的GPU——RTX 4080、RTX 4070 Ti Super或RTX 3090
• 推荐GPU：RTX 4090（24 GB显存）——以35令牌/秒运行Q4_K_M，余留8 GB缓冲
• Apple Silicon M3/M4（现行）：48 GB统一内存的M3 Max或M4 Pro——静音、节能，通过MLX实现40+令牌/秒
• Mac Mini M4 Pro（48 GB）：约€1,599，紧凑型设计，欧盟办公室部署的最佳TCO
• Apple Silicon M5 Pro（64 GB）：下一代，307 GB/s内存带宽——预计以50+令牌/秒运行Qwen 3.6 27B。Apple宣称LLM提示词处理速度比M4快4倍。
• Apple Silicon M5 Max（128 GB）：460–614 GB/s内存带宽——可轻松运行Qwen 3 72B Q4_K_M并留有余量。预计2026年中期在Mac Studio上推出；现行Mac Mini搭载M4 Pro。
• 内存：GPU推理旁边至少32 GB系统内存；完整开发环境建议64 GB
• 存储：Qwen 3.6 27B Q4_K_M需要20 GB可用磁盘空间（GGUF文件约17 GB）

使用Ollama设置

1. 1
   安装Ollama
   Why it matters: Ollama管理模型下载、GGUF格式，并提供OpenAI兼容的本地API。
2. 2
   使用显式标签拉取Qwen 3.6 27B
   Why it matters: 明确使用qwen3:27b。不带标签的`qwen3`默认下载8B模型——不是本指南目标的27B模型。
3. 3
   创建包含正确上下文长度的Modelfile
   Why it matters: 默认的num_ctx 2048 token对于实际代码任务太小。32768 token可处理大多数文件和对话。
4. 4
   构建自定义模型并运行
   Why it matters: 创建具有扩展上下文窗口的Qwen 3.6 27B实例。使用测试提示词验证。
5. 5
   测试API端点
   Why it matters: Ollama在localhost:11434/v1暴露OpenAI兼容API。使用此端点连接LLM客户端、IDE和PromptQuorum。

# Step 1 — Install Ollama
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download

# Step 2 — Pull Qwen 3.6 27B (explicit tag required)
ollama pull qwen3:27b
# Downloads Qwen 3.6 27B Q4_K_M (~17 GB)
# Note: 'ollama pull qwen3' without a tag downloads the 8B model

# Step 3 — Create Modelfile with correct num_ctx
cat > Modelfile <<'EOF'
FROM qwen3:27b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
EOF

# Step 4 — Build and run
ollama create qwen3-32k -f Modelfile
ollama run qwen3-32k

# Expected output (Qwen working correctly):
# >>> Write a Python function to reverse a string.
# def reverse_string(s: str) -> str:
#     return s[::-1]
#
# This function takes a string s as input and returns the reversed
# string using Python slice notation with step -1.

# Step 5 — Test API
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-32k",
    "messages": [{"role": "user", "content": "Write a Python function to reverse a string."}]
  }'

使用LM Studio设置

1. 1
   下载并安装LM Studio
   Why it matters: 免费的跨平台本地LLM推理GUI。无需CLI。
2. 2
   搜索并下载Qwen 3 27B
   Why it matters: LM Studio的模型浏览器搜索Hugging Face。搜索"Qwen 3 27B"并选择16 GB显存的Q4_K_M GGUF变体。
3. 3
   在LM Studio设置中配置上下文长度
   Why it matters: 与Ollama相同的num_ctx问题——在加载前将模型参数中的上下文长度更改为32768。
4. 4
   启动本地服务器
   Why it matters: LM Studio的"启动服务器"在localhost:1234创建OpenAI兼容API。在客户端和PromptQuorum中使用此URL。

// LM Studio local server config (exported JSON)
{
  "model": "qwen3-27b-q4_k_m",
  "server": {
    "host": "localhost",
    "port": 1234,
    "cors": true
  },
  "inference": {
    "context_length": 32768,
    "temperature": 0.7,
    "gpu_layers": -1
  }
}

连接到PromptQuorum

# PromptQuorum dispatch config — local Qwen via Ollama
# Set in your .env or PromptQuorum settings panel

OLLAMA_BASE_URL=http://localhost:11434/v1
LOCAL_LLM_MODEL=qwen3:27b

# Example routing rules (PromptQuorum dispatch):
# - task_type: code       → model: qwen3:27b  (local Ollama, GDPR-safe)
# - task_type: analysis   → model: claude-sonnet-4-6 (Anthropic API, separate config)
# - task_type: private    → model: qwen3:27b  (local Ollama, no cloud egress)

故障排除

• 模型响应在句子中间被截断：num_ctx太低。用`PARAMETER num_ctx 32768`重建Modelfile，并用`ollama create`重新创建模型。
• CUDA内存不足错误：模型不适合您的显存。切换到Qwen 3 14B Q4_K_M（约9 GB显存）或尝试27B的Q3_K_S量化。
• Ollama API返回404：确认模型名称完全匹配。运行`ollama list`查看可用模型。使用显示的确切名称（例如`qwen3-32k`）。
• 生成缓慢（<5令牌/秒）：GPU层未完全卸载。运行`ollama run qwen3-32k`并检查`num_gpu_layers`已最大化。确保没有其他GPU密集型进程在运行。
• LM Studio显示"加载模型失败"：显存不足。将Q4_K_M上下文长度减少到16384或切换到Qwen 3 14B。
• PromptQuorum返回认证错误：在PromptQuorum的本地LLM设置中设置`OLLAMA_BASE_URL=http://localhost:11434/v1`。如果表单需要密钥，输入任意非空字符串——Ollama不需要API密钥认证。
• Ollama使用CPU而非GPU：NVIDIA：确认已安装CUDA驱动（`nvidia-smi`应显示GPU）。Mac：Ollama自动使用Metal——无需配置。如果Metal未激活，从ollama.com重新安装Ollama。
• 模型下载停滞或失败：大型模型（Qwen 3.6 27B约17 GB）在慢速连接上可能超时。再次运行`ollama pull qwen3:27b`——Ollama从中断处继续。或者，直接从Hugging Face下载GGUF，并在Modelfile的FROM子句中使用本地路径运行`ollama create`。

功耗与TCO

相关阅读

• Qwen 3 vs Claude Sonnet 4.6 vs DeepSeek R2 — 2026年全面对比
• 欧盟企业为何转向本地Qwen
• Qwen Coder vs DeepSeek vs Mistral — 代码基准测试2026
• 所有本地LLM指南
• 加入PromptQuorum候补名单

常见问题