按主题浏览
10个主题,127条简答。点击即可就地展开主题。
量化与显存 13 条解答
所需内存量、选择哪种量化格式以及VRAM决策树。
Ollama 7 条解答
最新版本、最佳模型、上下文窗口、视觉和纯CPU使用。
工具比较 17 条解答
双向对比:Ollama vs LM Studio、Jan vs LM Studio、Qwen vs DeepSeek。
模型比较 19 条解答
最佳14B模型、MoE模型、迷你PC及正面对决模型比较。
特定硬件 29 条解答
硬件选择和购买指南:按预算推荐GPU、迷你PC、SSD、云GPU和eGPU。
快速解答 10 条解答
是/否和单数字答案:RAM限制、笔记本推荐。
提示词工程 2 条解答
提示词工程概念的快速定义和最佳列表。
隐私与合规 7 条解答
GDPR合规性、数据主权以及隐私安全的本地AI部署。
美国阳台光伏法规 8 条解答
美国插电式太阳能的各州法律状态、功率上限和认证要求。
更多解答 15 条解答
尚未归入上述主题的简答。
为什么要简答
每篇 Prompt Bite 都先给出答案。请在60秒内读完,想看完整版本时再点开深度链接。
简而言之:Prompt Bites 先在60秒内回答一个本地 LLM 问题,需要更多时再指向更深入的指南。
最近更新
最近有改动的三个页面。
常见问题
运行本地LLM需要多少显存?
4 GB显存可安全运行Llama 3.2 3B和Phi-3.5-mini并具有上下文扩展足够余量。6 GB可Q4运行Llama 3.1 8B。12 GB有效容纳Qwen3 14B Q4。70B模型Q4需16+ GB。
- 4 GB:Llama 3.2 3B Q4,Phi-3.5-mini Q4
- 6 GB:Llama 3.1 8B Q4_K_M
- 8–12 GB:Llama 3.1 8B Q5_K_M,Qwen3 14B Q4
Q4_K_M量化是什么?
Q4_K_M表示使用K-Quant(K)压缩的4位量化,品质为中等(M)。这是大多数模型常用的默认选择:困惑度低于Q4_0,文件大小小于Q8_0。
- Q=量化,4=4位,K=K-Quant,M=中等
- 困惑度低于Q4_0(Llama 3 8B上为6.41对6.70),文件大0.24 GiB
- 将Q4_K_M作为默认量化格式使用
Ollama vs LM Studio:应该选哪个?
如果您使用终端并通过 API 开发,选 Ollama。如果您更喜欢图形界面,只想与模型聊天,使用 LM Studio。两者均免费且在本地运行模型。
- Ollama:CLI 优先并带桌面应用,OpenAI 兼容 API,可选云端模型
- LM Studio:带模型浏览器的桌面图形界面,另有 `lms` CLI 和无界面的 `llmster`
- 两者均支持 Mac、Windows 和 Linux
目前最佳的Ollama模型是什么?
通用场景下,qwen3.5:9b(下载 6.6 GB)是目前最有力的选择。代码方面,qwen2.5-coder:7b 仅 4.7 GB,所需硬件远低于多数指南的说法。轻量场景可用 llama3.2:3b,只需 2.0 GB。所有体积均于 2026 年 8 月 28 日从 Ollama 模型库读取。
- 最佳通用:qwen3.5:9b — 6.6 GB
- 最佳代码:qwen2.5-coder:7b — 4.7 GB
- 最佳轻量:llama3.2:3b — 2.0 GB
本地 LLM 最佳迷你电脑是什么?
三款迷你电脑在本地 LLM 推理中表现突出:Mac Mini M4(最快,~18 tok/s)、Minisforum UM790 Pro(最大内存,64 GB DDR5)和 Beelink SER8(最佳性价比,Ryzen 9 8845HS CPU)。三者均可无独立 GPU 运行 7–13B Q4 模型。
- Mac Mini M4:LLM 速度最快,Llama 3 8B 约 18 tok/s,节能
- Minisforum UM790 Pro:AMD Radeon 780M iGPU,最高 64 GB 统一内存
- Beelink SER8:Ryzen 9 8845HS,~8 tok/s,经济实惠替代
Ollama上哪些模型支持128K上下文?
Llama 3.1 8B在Ollama上支持128K上下文。Qwen3-30B-A3B是一个混合专家(MoE)模型,可达256K上下文。注意:运行完整上下文会大幅增加VRAM——128K窗口比默认4K窗口需要多3–4倍VRAM。
- Llama 3.1 8B:128K上下文,完整上下文约需16 GB VRAM
- Qwen3-30B-A3B:256K上下文,完整上下文需24+ GB VRAM
- 日常使用设置num_ctx 4096以节省VRAM