ローカルLLMの質問への迅速な回答
127の短答ガイド。VRAM要件、Ollamaのおすすめ、ハードウェア比較、セットアップのヒントに、60秒以内で答えます。
トピックから探す
10トピック、短答127本。クリックすると、その場でトピックが開きます。
量子化 & VRAM 13 回答
必要なメモリ量、選ぶべき量子化形式、VRAMの意思決定ツリー。
Ollama 7 回答
最新バージョン、おすすめモデル、コンテキストウィンドウ、ビジョン、CPUのみの使用。
ツール比較 17 回答
二者比較:Ollama vs LM Studio、Jan vs LM Studio、Qwen vs DeepSeek。
モデル比較 19 回答
最高の14Bモデル、MoEモデル、ミニPC、直接対決のモデル比較。
ハードウェア別 29 回答
ハードウェアの選び方と購入ガイド:予算別GPU推奨、ミニPC、SSD、クラウドGPU、eGPU。
クイック回答 10 回答
はい/いいえと1つの数字の回答:RAMの制限、ノートPC推奨。
プロンプトエンジニアリング 2 回答
プロンプトエンジニアリングの概念の簡単な定義とベストリスト。
プライバシーとコンプライアンス 7 回答
GDPRへの準拠、データ主権、プライバシーを守るローカルAIの展開。
米国バルコニーソーラー規制 8 回答
米国のプラグイン式ソーラーの州別の法的状況、出力上限、認証要件。
その他の回答 15 回答
上のトピックにまだ分類されていない短答です。
なぜ短答なのか
どのPrompt Bitesも答えから始まります。60秒以内で読み、詳しく知りたければ詳細ガイドへのリンクをたどってください。
要点:Prompt Bitesは、ローカルLLMの質問にまず60秒以内で答え、さらに知りたいときは詳しいガイドへ案内します。
最近の更新
最も新しく変更された3ページ。
よくある質問
ローカルLLMにはどれくらいのVRAMが必要ですか?
4 GB VRAMでLlama 3.2 3BとPhi-3.5-miniがコンテキスト拡張用安全余裕で動作します。6 GBではQ4でLlama 3.1 8Bが動作します。12 GBでQwen3 14B Q4を効率的に収納できます。70BモデルのQ4には16+ GBが必要です。
- 4 GB: Llama 3.2 3B Q4, Phi-3.5-mini Q4
- 6 GB: Llama 3.1 8B Q4_K_M
- 8–12 GB: Llama 3.1 8B Q5_K_M, Qwen3 14B Q4
Q4_K_M量子化とは何ですか?
Q4_K_MはK-Quant(K)圧縮を使用した4ビット量子化で、品質は中程度(M)です。ほとんどのモデルで一般的なデフォルトです:Q4_0よりパープレキシティが低く、Q8_0より小さいです。
- Q=量子化済み、4=4ビット、K=K-Quant、M=中程度
- Q4_0よりパープレキシティが低い(Llama 3 8Bで6.41対6.70)、ファイルは0.24 GiB大きい
- Q4_K_Mをデフォルトの量子化として使用する
Ollama vs LM Studio:どちらを選ぶべきですか?
ターミナルを使用してAPIで開発する場合はOllamaを選んでください。GUIを好み、モデルとチャットしたいだけならLM Studioを使用してください。両方とも無料でモデルをローカルで実行します。
- Ollama:CLIファーストでデスクトップアプリ付き、OpenAI互換API、オプションのクラウドモデル
- LM Studio:モデルブラウザ付きデスクトップGUI、さらに`lms` CLIとヘッドレスの`llmster`
- 両方ともMac、Windows、Linuxで動作
今おすすめのOllamaモデルは?
汎用ではqwen3.5:9b(ダウンロード6.6 GB)が現時点で最も有力です。コーディングにはqwen2.5-coder:7b(4.7 GB)があり、多くの記事が主張するよりずっと控えめなハードウェアで足ります。軽量構成ならllama3.2:3bが2.0 GBで動きます。サイズはすべて2026年8月28日にOllamaライブラリから読み取ったものです。
- 汎用最良: qwen3.5:9b — 6.6 GB
- コーディング最良: qwen2.5-coder:7b — 4.7 GB
- 軽量最良: llama3.2:3b — 2.0 GB
ローカルLLMに最適なミニPCは?
ローカルLLM推論で3つのミニPCが目立ちます:Mac Mini M4(最速、~18 tok/s)、Minisforum UM790 Pro(最大RAM、64 GB DDR5)、Beelink SER8(最高コスパ、Ryzen 9 8845HS CPU)。3つすべて専用GPUなしで7–13B Q4モデルを実行可能です。
- Mac Mini M4:LLMに最速、Llama 3 8Bで~18 tok/s、省電力
- Minisforum UM790 Pro:AMD Radeon 780M iGPU、最大64 GBユニファイドRAM
- Beelink SER8:Ryzen 9 8845HS、~8 tok/s、予算に優しい代替
Ollamaで128Kコンテキストに対応するモデルは?
Llama 3.1 8BはOllamaで128Kコンテキストに対応。Qwen3-30B-A3B(Mixture of Expertsモデル)は256Kコンテキストに到達。注意:フルコンテキストの実行はVRAMを大幅に増加させます——128Kウィンドウはデフォルトの4Kウィンドウの3〜4倍のVRAMが必要です。
- Llama 3.1 8B:128Kコンテキスト、フルコンテキストで~16 GB VRAM
- Qwen3-30B-A3B:256Kコンテキスト、フルコンテキストで24+ GB VRAM
- 通常使用時はVRAMを節約するためnum_ctx 4096を設定