跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
提示词速答

本地LLM问题的快速解答

127篇简答指南。显存要求、Ollama推荐、硬件对比和设置技巧,60秒内解答。

一句话说明
Prompt Bites 是针对一个本地 LLM 问题的简答指南,例如需要多少显存,或该运行哪个 Ollama 模型。
通俗地说
每个页面都先给出答案,用时60秒内。在下方选择主题,打开您关心的问题。
02

按主题浏览

10个主题,127条简答。点击即可就地展开主题。

03

为什么要简答

每篇 Prompt Bite 都先给出答案。请在60秒内读完,想看完整版本时再点开深度链接。

量化与显存
所需内存量、选择哪种量化格式以及VRAM决策树。
Ollama
最新版本、最佳模型、上下文窗口、视觉和纯CPU使用。
工具比较
双向对比:Ollama vs LM Studio、Jan vs LM Studio、Qwen vs DeepSeek。
特定硬件
硬件选择和购买指南:按预算推荐GPU、迷你PC、SSD、云GPU和eGPU。

简而言之:Prompt Bites 先在60秒内回答一个本地 LLM 问题,需要更多时再指向更深入的指南。

07

常见问题

运行本地LLM需要多少显存?

4 GB显存可安全运行Llama 3.2 3B和Phi-3.5-mini并具有上下文扩展足够余量。6 GB可Q4运行Llama 3.1 8B。12 GB有效容纳Qwen3 14B Q4。70B模型Q4需16+ GB。

  • 4 GB:Llama 3.2 3B Q4,Phi-3.5-mini Q4
  • 6 GB:Llama 3.1 8B Q4_K_M
  • 8–12 GB:Llama 3.1 8B Q5_K_M,Qwen3 14B Q4
Q4_K_M量化是什么?

Q4_K_M表示使用K-Quant(K)压缩的4位量化,品质为中等(M)。这是大多数模型常用的默认选择:困惑度低于Q4_0,文件大小小于Q8_0。

  • Q=量化,4=4位,K=K-Quant,M=中等
  • 困惑度低于Q4_0(Llama 3 8B上为6.41对6.70),文件大0.24 GiB
  • 将Q4_K_M作为默认量化格式使用
Ollama vs LM Studio:应该选哪个?

如果您使用终端并通过 API 开发,选 Ollama。如果您更喜欢图形界面,只想与模型聊天,使用 LM Studio。两者均免费且在本地运行模型。

  • Ollama:CLI 优先并带桌面应用,OpenAI 兼容 API,可选云端模型
  • LM Studio:带模型浏览器的桌面图形界面,另有 `lms` CLI 和无界面的 `llmster`
  • 两者均支持 Mac、Windows 和 Linux
目前最佳的Ollama模型是什么?

通用场景下,qwen3.5:9b(下载 6.6 GB)是目前最有力的选择。代码方面,qwen2.5-coder:7b 仅 4.7 GB,所需硬件远低于多数指南的说法。轻量场景可用 llama3.2:3b,只需 2.0 GB。所有体积均于 2026 年 8 月 28 日从 Ollama 模型库读取。

  • 最佳通用:qwen3.5:9b — 6.6 GB
  • 最佳代码:qwen2.5-coder:7b — 4.7 GB
  • 最佳轻量:llama3.2:3b — 2.0 GB
本地 LLM 最佳迷你电脑是什么?

三款迷你电脑在本地 LLM 推理中表现突出:Mac Mini M4(最快,~18 tok/s)、Minisforum UM790 Pro(最大内存,64 GB DDR5)和 Beelink SER8(最佳性价比,Ryzen 9 8845HS CPU)。三者均可无独立 GPU 运行 7–13B Q4 模型。

  • Mac Mini M4:LLM 速度最快,Llama 3 8B 约 18 tok/s,节能
  • Minisforum UM790 Pro:AMD Radeon 780M iGPU,最高 64 GB 统一内存
  • Beelink SER8:Ryzen 9 8845HS,~8 tok/s,经济实惠替代
Ollama上哪些模型支持128K上下文?

Llama 3.1 8B在Ollama上支持128K上下文。Qwen3-30B-A3B是一个混合专家(MoE)模型,可达256K上下文。注意:运行完整上下文会大幅增加VRAM——128K窗口比默认4K窗口需要多3–4倍VRAM。

  • Llama 3.1 8B:128K上下文,完整上下文约需16 GB VRAM
  • Qwen3-30B-A3B:256K上下文,完整上下文需24+ GB VRAM
  • 日常使用设置num_ctx 4096以节省VRAM
MCP