メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。
ホーム/ローカルLLM
Best Models

CPU のみで動く最適なローカル LLM 2026：GPU 不要の 5 モデル

·8分で読める 著 · PromptQuorum創設者 · オープンウェイト／オープンソースAIの発見エンジン

CPU専用の推論は、8～32 GB RAMを搭載した最新のPCで3～8Bモデルに実用的です。ここで比較したモデルのうち、Phi-4 Mini（3.8B、ファイル2.5 GB）が総合的な最有力候補で、デュアルチャネルRAMで推定15～25 tok/s（PromptQuorumの推定値であり、実験室での測定値ではありません）。

重要なポイント

  • CPU のみの推論は、8～32 GB RAM を搭載した最近の PC 上で 3～8B モデルに対応します。
  • ここでの CPU 向けおすすめ：Phi-4 Mini（3.8B、ファイル 2.5 GB、推定 15～25 トークン/秒）、Llama 3.2 3B（2.0 GB、推定 18～30 トークン/秒）、Qwen3 8B（5.2 GB、推定 8～15 トークン/秒）。速度はすべて、デュアルチャネル DDR4-3200 から DDR5-5600 の RAM を想定した PromptQuorum の推定値であり、実験室での測定値ではありません。
  • 速度の目安：トークン/秒の上限は「メモリ帯域 ÷ モデルのファイルサイズ」です。デュアルチャネル DDR4-3200 は 51.2 GB/s、デュアルチャネル DDR5-5600 は 89.6 GB/s で、シングルチャネル RAM では半分になります。
  • 単体 GPU のメモリ帯域は、デュアルチャネル DDR4-3200 の 7～20 倍あります（RTX 3060：360 GB/s、RTX 4090：1,008 GB/s）。そのため通常 5～10 倍以上高速ですが、CPU 推論に VRAM は不要で、必要なのはシステム RAM だけです。
  • CPU のみの実行は、Ollama では `CUDA_VISIBLE_DEVICES=-1` または `OLLAMA_VULKAN=0`、llama.cpp では `--n-gpu-layers 0` で強制できます。
  • CPU 推論はオフライン作業、バッチ処理、プロトタイプ、エッジデバイスに向いていますが、ファインチューニングには遅すぎます。

📍 一文で説明

Phi-4 Mini（3.8B、ファイル 2.5 GB）はデュアルチャネルの CPU のみの PC で推定 15～25 トークン/秒で動作し、2026 年にここで比較する 5 モデルのうち、CPU のみで使える総合的な最有力候補です。

💬 簡潔に説明

CPU のみの LLM とは、グラフィックスカードを使わず、コンピューターのプロセッサと通常の RAM だけで動く AI モデルのことです。古い PC、GPU のないノート PC、Raspberry Pi クラスの機器に向いています。速度は主に RAM がモデルにデータを送る速さで決まるため、ファイルの小さいモデルほど速く生成します。

言語を選択:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

CPU のみの推論は、8～32 GB RAM を搭載した最近の PC 上で 3～8B モデルなら実用的です。ここで比較する 5 モデルのうち、Phi-4 Mini（3.8B、ファイル 2.5 GB）はデュアルチャネル RAM で推定 15～25 トークン/秒、Llama 3.2 3B（2.0 GB）は推定 18～30 トークン/秒、Qwen3 8B（5.2 GB）は推定 8～15 トークン/秒で動作します。これらは PromptQuorum がメモリ帯域から導いた推定値であり、実験室での測定値ではありません。Ollama、LM Studio、llama.cpp のいずれかを使えば、GPU なしで実行できます。

CPU のみで動く最適なローカル LLM 2026：GPU 不要の 5 モデル

CPU で LLM は動きますか？

はい。最近の CPU（たとえば Intel Core 第 10 世代以降、AMD Ryzen 5000 以降、Apple M シリーズ）は、デュアルチャネル RAM で 3～8B モデルを推定 8～30 トークン/秒で実行できます。 単体 GPU より通常 5～10 倍以上遅くなりますが、VRAM は不要です。8～32 GB のシステム RAM を搭載した PC なら、本来は専用のグラフィックスカードが必要なモデルも動かせます。

CPU 推論は速度を犠牲にして手軽さを得る方法です。GPU ドライバーの設定も VRAM の制限もなく、必要なのはシステム RAM だけです。1 人用のチャットボットやオフラインでの文書処理といった気軽な用途なら、CPU のみで実用的です。

速度を決めるのはクロック周波数ではなくメモリ帯域です。トークンを 1 つ生成するたびにモデルファイル全体を RAM から 1 回読み出すため、トークン/秒 ≈ メモリ帯域 ÷ ファイルサイズ となります（これは上限で、実際の速度はそれより低くなります）。Ollama の基盤である llama.cpp は、プロセッサが対応していれば AVX2 や ARM NEON などの CPU ベクター命令も利用します。

📍 一文で説明

最近の CPU は、Q4_K_M 量子化と llama.cpp または Ollama を使えば、RAM の速度とモデルサイズに応じて、3B～8B の LLM を推定 8～30 トークン/秒で実行できます。

💬 簡潔に説明

はい。十分な RAM を備えた一般的なノート PC やデスクトップ PC なら、GPU なしで小さな AI モデルをローカルで実行できます。GPU より遅くなりますが、リアルタイムで待つ必要のない作業には十分な速さです。

CPU のみで動く最適な LLM は？（2026）

ここで比較する 5 モデルのうち、Phi-4 Mini（3.8B、Q4_K_M）は 2026 年の CPU のみで使える総合的な最有力候補で、2.5 GB のファイルからデュアルチャネル RAM で推定 15～25 トークン/秒です。 表は 5 モデルを、ファイルサイズ、必要 RAM、推定速度の順に並べています。速度は PromptQuorum 独自の推定値で、メモリ帯域の上限（デュアルチャネル DDR4-3200 = 51.2 GB/s、DDR5-5600 = 89.6 GB/s を Ollama のファイルサイズで割った値）から、16 GB のデュアルチャネル デスクトップ PC を想定して導いたものであり、実験室での測定値ではありません。シングルチャネル RAM では半分になります。Gemma 4 E2B は 4.6 GB のファイルの一部が埋め込みテーブルであるため、推定の確度が最も低くなります。実際の速度は `ollama run <model> --verbose` でご自身の環境で確認してください。

モデル
パラメータ数
ファイル（Ollama）
最小 RAM
推定トークン/秒
用途
Phi-4 Mini3.8B2.5 GB3 GB15～25一般チャット、コード支援
Llama 3.2 3B3B2.0 GB2.5～3 GB18～30最小ファイル、バランス型
Gemma 4 E2B実効 2.3B / 総計 5.1B4.6 GB5～6 GB8～14128K コンテキスト、画像入力
Qwen3 8B8B5.2 GB6 GB8～15高品質、16 GB RAM 向け
DeepSeek-R1 7B7B（Qwen 蒸留）4.7 GB6 GB8～14推論、数学
CPU専用ローカルLLMおすすめ2026：ファイルサイズ別の推定tok/s
CPU専用ローカルLLMおすすめ2026：ファイルサイズ別の推定tok/s

CPU 推論と GPU 推論の速度差は？

CPU 推論は単体 GPU より通常 5～10 倍以上遅くなります。GPU のメモリ帯域が 7～20 倍あるためで、デュアルチャネル DDR4-3200 は 51.2 GB/s、RTX 3060 12 GB は 360 GB/s、RTX 4090 は 1,008 GB/s です。 表では、この帯域の法則（上限 = 帯域 ÷ ファイルサイズ）を 2.5 GB の Phi-4 Mini ファイルに当てはめています。上限はあくまで理論上の最大値で、推定速度は PromptQuorum の近似値（正常な環境で上限のおよそ 75～100%）であり、実験室での測定値ではありません。GPU の帯域の数値は NVIDIA の公開仕様によります。Apple Silicon は、Mac では Ollama が既定で GPU を使うため CPU のみの法則が同じようには当てはまらず、表には載せていません。

ハードウェア
帯域
モデル
上限トークン/秒
推定トークン/秒
デュアルチャネル DDR4-3200 デスクトップ（CPU）51.2 GB/sPhi-4 Mini 2.5 GB約 2015～20
デュアルチャネル DDR5-5600 デスクトップ（CPU）89.6 GB/sPhi-4 Mini 2.5 GB約 3625～32
シングルチャネル DDR4-3200 ノート PC（CPU）25.6 GB/sPhi-4 Mini 2.5 GB約 107～10
RTX 3060 12 GB（GPU）360 GB/sPhi-4 Mini 2.5 GB約 144通常 CPU の 5～10 倍
RTX 4090 24 GB（GPU）1,008 GB/sPhi-4 Mini 2.5 GB約 403DDR4 の上限の最大約 20 倍
CPU専用LLMとGPUの速度：メモリ帯域51.2 GB/s（DDR4）対360 GB/s（RTX 3060）
CPU専用LLMとGPUの速度：メモリ帯域51.2 GB/s（DDR4）対360 GB/s（RTX 3060）

CPU のみで動くモデルごとの必要 RAM は？

経験則：モデルのファイルサイズ + 約 500 MB のオーバーヘッド = 最小 RAM。長いコンテキストを使う場合はさらに必要です。 2.0 GB のファイルなら、空きシステム RAM は約 2.5～3 GB 必要です。ファイルサイズは ollama.com で確認した Ollama のダウンロードサイズです。コンテキスト長は Ollama に記載された最大値で、Ollama の既定のコンテキストは `OLLAMA_CONTEXT_LENGTH` を設定しない限り 4096 トークンです。

モデル
ファイル（Ollama）
最小 RAM
快適な RAM
コンテキスト長
Llama 3.2 3B2.0 GB2.5～3 GB6 GB128K
Phi-4 Mini 3.8B2.5 GB3 GB6 GB128K
Gemma 4 E2B4.6 GB5～6 GB8 GB128K
DeepSeek-R1 7B4.7 GB6 GB8 GB128K
Qwen3 8B5.2 GB6 GB8～16 GB40K

CPU のみの推論を有効にするには？

Ollama（最も簡単）： `ollama run phi4-mini` を実行します。対応する GPU が見つからない場合、Ollama は CPU を使います。GPU を搭載したマシンで CPU を強制するには、Ollama を起動する前に `CUDA_VISIBLE_DEVICES=-1`（NVIDIA）または `OLLAMA_VULKAN=0`（統合 GPU を含む Vulkan 対応 GPU）を設定し、`ollama ps` の PROCESSOR 列を確認します。LM Studio： モデルの読み込み時に、GPU オフロードのスライダーを 0 レイヤーにします。llama.cpp： `--n-gpu-layers 0` を使うと GPU オフロードが無効になります。

bash
ollama run phi4-mini
# in a second terminal, while the model is loaded:
ollama ps   # PROCESSOR column should read 100% CPU

CPU 推論の速度を最大限に引き出すには？

CPU の速度はメモリ帯域とファイルサイズで決まるため、デュアルチャネル RAM と Q4_K_M のファイルが最も効果的です。 具体的なヒントは次のとおりです。

  • 両方のメモリチャネルを使う — 同じ規格の RAM を 2 枚挿すと、1 枚の場合に比べてピークのメモリ帯域が 2 倍になります。CPU のみの PC では、これが最も効果の大きい高速化です。
  • Q4_K_M 量子化を使う — ファイルは FP16 より約 70% 小さくなり、品質の低下はわずかです。CPU のデコードは帯域に制約されるため、ファイルが小さいほどほぼ同じ割合で速く生成します。
  • コンテキストウィンドウを小さくする — コンテキストが長いと KV キャッシュが大きくなり、プロンプト処理が遅くなります。`OLLAMA_CONTEXT_LENGTH=2048`（Ollama の既定は 4096）を設定するか、`ollama run` の中で `/set parameter num_ctx 2048` を使います。
  • KV キャッシュを量子化する — `OLLAMA_FLASH_ATTENTION=1` と `OLLAMA_KV_CACHE_TYPE=q8_0` を併用すると、既定の f16 に比べて KV キャッシュのメモリが約半分になり、特に 8 GB のマシンで効果があります。
  • モデルを読み込んだままにする — Ollama は既定で 5 分後にモデルをアンロードします。`OLLAMA_KEEP_ALIVE=30m` にすると、セッションのたびにファイルを読み込み直す必要がなくなります。
  • スレッド数を確認する — Ollama はスレッド数を自動で選びます。llama.cpp では `-t` に物理コア数を指定してください。メモリを大量に使うアプリは閉じ、モデルがスワップしないようにします。

GPU ではなく CPU を使うのはどんなときですか？

ユースケース
CPU
GPU
リアルタイムチャット（遅延 1 秒未満）⚠️ 推定 15 トークン/秒以上なら実用的、1 チャネルでは遅い✅ 通常 5～10 倍高速
バッチ処理（文書、ログ）✅ 問題なし（速度は重要でない）⚠️ 過剰
本番 API（コスト重視）✅ 既存のハードウェアを活用⚠️ GPU の追加費用と電力
エッジデバイス（Raspberry Pi）✅ 唯一の選択肢であることが多い❌ GPU の選択肢が限られる
開発・ローカルでの動作確認✅ 低消費電力で静か⚠️ 過剰
LLM のファインチューニング❌ 非現実的（はるかに遅い）✅ 大幅に高速

CPU のみの LLM に関するよくある質問

CPU のみの推論は GPU と比べてどのくらい速いですか？

Phi-4 Mini（ファイル 2.5 GB）の場合、CPU の上限はデュアルチャネル DDR4-3200（51.2 GB/s）で約 20 トークン/秒、デュアルチャネル DDR5-5600（89.6 GB/s）で約 36 トークン/秒です。PromptQuorum の実際の推定値は 15～25 トークン/秒です。単体 GPU はメモリ帯域がはるかに大きく（RTX 3060：360 GB/s、RTX 4090：1,008 GB/s）、通常 5～10 倍以上高速です。これらは推定値であり、実験室での測定値ではありません。

CPU で一貫した出力を出せる最小のモデルは何ですか？

パラメータ数がおよそ 2B を下回ると、品質は急速に低下します。このガイドで最小の候補は Llama 3.2 3B（ファイル 2.0 GB）と Phi-4 Mini（3.8B、2.5 GB）で、8 GB RAM でも実用的なチャットができます。さらに小さいファイルについては、低スペック PC 向け最速ローカル LLM のガイドをご覧ください。

13B モデルを CPU で実行できますか？

はい、ただし遅くなります。Q4_K_M の 13B モデルはファイルが約 8 GB で、12 GB 以上のシステム RAM が必要です。帯域の上限は、デュアルチャネル DDR4-3200 で約 6 トークン/秒（51.2 ÷ 8）、DDR5-5600 で約 11 トークン/秒で、実際の速度はそれより低くなります。リアルタイムのチャットよりもバッチ処理向きです。

CPU 推論で GPU はまったく使われませんか？

無効にすれば使われません。`CUDA_VISIBLE_DEVICES=-1`（NVIDIA）、`OLLAMA_VULKAN=0`（Vulkan 対応 GPU）、または llama.cpp の `--n-gpu-layers 0` を設定すると、推論は CPU とシステム RAM だけで行われます。`ollama ps` の PROCESSOR 列で確認できます。

CPU のみの推論は安定していますか？

ドライバーのクラッシュや GPU のメモリ不足エラーなど、GPU 特有の障害を避けられます。残る主なリスクはシステム RAM の不足で、モデルがスワップに入ると生成が大幅に遅くなります。これはモデルの選択とコンテキスト長で調整できます。

Apple Silicon の CPU では設定を調整する必要がありますか？

通常は不要です。Ollama は既定で Metal 経由の Apple GPU とチップのユニファイドメモリを使うため、Mac は CPU のみの事例ではありません。メモリ帯域はチップによって異なりますが、法則は同じで、トークン/秒 ≈ メモリ帯域 ÷ モデルのファイルサイズ です。

CPU のみのモードで 7B モデルに必要な VRAM はどのくらいですか？

専用 VRAM は不要です。Q4_K_M の 7B モデル（Ollama の deepseek-r1:7b のファイルは 4.7 GB）を快適に動かすには、システム RAM が約 6 GB 必要です。GPU も VRAM も不要であることが、CPU のみの推論の大きな利点です。

CPU で LLM をファインチューニングできますか？

技術的には可能ですが、非現実的です。CPU での学習は GPU よりはるかに遅くなります。CPU のみのモードは推論に使い、ファインチューニングや学習の作業には GPU に切り替えてください。

複数のモデルを CPU で同時に実行できますか？

RAM に余裕があれば技術的には可能ですが、実用的ではありません。同時に読み込んだモデルは同じメモリ帯域を奪い合うため、それぞれの生成が遅くなります。最高の速度を得るには、一度に 1 つのモデルを実行してください。複数のリクエストを処理する場合は、Ollama FAQ の `OLLAMA_NUM_PARALLEL` と `OLLAMA_KEEP_ALIVE` を参照してください。

CPU のみの推論にセキュリティ上のリスクはありますか？

ローカルで実行すれば、プロンプトがマシンの外に出る必要はなく、クラウド API のような送信時のリスクがなくなります。残るリスクは、あらゆるローカルソフトウェアと同じです。機密データが暗号化されないままディスクに残ることがあるため、OS を最新に保ち、マシンを物理的に保護してください。

CPU 推論で Ollama と llama.cpp に速度差はありますか？

PromptQuorum では計測していません。Ollama は llama.cpp を基盤としており、どちらも同じ種類の CPU 最適化に依存するため、差が出るとしても主にスレッドの扱いと既定の設定によるものです。まず Ollama の既定値で始め、`-t` のような細かいフラグが必要なら llama.cpp を使ってください。2 つの比較は、ご自身のマシンで `ollama run <model> --verbose` を使って行えます。

RAM が 8～10 GB の古いノート PC でも CPU のみの推論は実用的ですか？

はい、小さいモデルなら実用的です。Llama 3.2 3B（2.0 GB）や Phi-4 Mini（2.5 GB）は 8～10 GB の RAM に収まります。シングルチャネル DDR4-3200 のノート PC では Phi-4 Mini の上限が約 10 トークン/秒のため、推定 5～10 トークン/秒を見込んでください。軽量なチャットボットやバッチ処理には十分ですが、テンポの速い対話には遅く感じます。

CPU で LLM は動きますか？

はい。最近の CPU（たとえば Intel Core 第 10 世代以降、AMD Ryzen 5000 以降）は、モデルサイズに応じて、デュアルチャネル RAM で 3～8B モデルを推定 8～30 トークン/秒で実行できます。単体 GPU より通常 5～10 倍以上遅くなりますが、専用 VRAM は不要です。

CPU のみで動く最適な LLM は何ですか？

ここで比較したモデルのうち、Phi-4 Mini（3.8B、ファイル 2.5 GB）が推定 15～25 トークン/秒の総合的な最有力候補です。最小のファイルなら Llama 3.2 3B（2.0 GB、推定 18～30 トークン/秒）、16 GB RAM での品質なら Qwen3 8B（5.2 GB、推定 8～15 トークン/秒）です。Gemma 4 E2B はダウンロードが 4.6 GB あるため、速度重視の選択肢ではありません。

CPU のみの推論にはどのくらいの RAM が必要ですか？

「モデルのファイルサイズ + 約 500 MB のオーバーヘッド」を目安にし、長いコンテキストを使う場合はさらに加えてください。Phi-4 Mini（2.5 GB）は約 3 GB、Llama 3.2 3B（2.0 GB）は約 2.5～3 GB、Gemma 4 E2B（4.6 GB）は約 5～6 GB、Qwen3 8B（5.2 GB）は約 6 GB です。

CPU のみのモードを有効にするにはどうすればよいですか？

Ollama では `ollama run phi4-mini` を実行します。対応する GPU が見つからない場合は CPU を使います。GPU のあるマシンで CPU を強制するには、`CUDA_VISIBLE_DEVICES=-1` または `OLLAMA_VULKAN=0` を設定します。llama.cpp では `--n-gpu-layers 0` を使い、LM Studio では GPU オフロードを 0 レイヤーにします。`ollama ps` で確認してください。

CPU 推論は本番環境で実用的ですか？

はい、リアルタイムの遅延が不要であれば実用的です。バッチ処理、非同期 API、オフラインのワークフローは CPU で動作します。CPU は 1 人のユーザーに低速で応答するため、遅延 1 秒未満の対話型チャットや多数の同時ユーザーには GPU を使ってください。

長いコンテキストを最もうまく扱える CPU 向けモデルはどれですか？

Ollama では、Gemma 4 E2B、Phi-4 Mini、Llama 3.2 3B、DeepSeek-R1 7B が 128K のコンテキストウィンドウ、Qwen3 8B が 40K と記載されています。Ollama の既定のコンテキストは、`OLLAMA_CONTEXT_LENGTH` を設定しない限り 4096 トークンにすぎません。CPU では長いコンテキストにコストがかかります。プロンプト処理は読み込むトークン数に比例して増え、KV キャッシュも大きくなるため、非常に長いウィンドウでは最初のトークンが出るまでに数分かかることがあります。ウィンドウ全体が不要なら、`OLLAMA_CONTEXT_LENGTH` で上限を設定すると、応答が目に見えて速くなります。

次のステップ

プライバシーが重要な運用で CPU のみの LLM が役立つ理由

EU / GDPR： モデルを自分の CPU でオフライン実行すれば、プロンプトや文書が端末の外に出る必要はありません。多くの小規模チームにとって、これは GDPR 第 44 条に基づく第三国移転の問題を避けるための、技術的に分かりやすい方法です。GDPR、EU AI 法、その他の義務が適用されるかどうかは、システムを誰が何の目的で運用するかによります。このガイドは法的助言ではなく、全体としての法令遵守は、推論の構成だけでなくセットアップ全体に左右されます。

オフライン環境と低接続環境： CPU モデルは安定したインターネット接続がなくても動作します。Phi-4 Mini のようなモデルファイルを一度ダウンロードしておけば、その後はネットワークにアクセスせずに実行できるため、接続が不安定な地域や通信量に制限のある環境で役立ちます。

CPU 推論でよくある間違いは？

  • Q4_K_M ではなく FP16 を使ってしまう。 FP16 の Phi-4 Mini のファイルは約 7.6 GB で、Q4_K_M の 2.5 GB と比べると、デュアルチャネル DDR4-3200 での帯域の上限は約 20 トークン/秒から約 7 トークン/秒に下がります。CPU 推論には量子化した GGUF モデルを使ってください。
  • llama.cpp で CPU のみを強制し忘れる。 明示的なフラグがないと、GPU 対応ビルドはレイヤーをオフロードすることがあります。純粋な CPU モードにするには `--n-gpu-layers 0` を設定してください。
  • RAM を 1 枚だけで使う。 メモリチャネルが 1 つだと、ピーク帯域が半分になり、同じモデルでも生成速度がおよそ半分になります。速い CPU を買う前に、同じ規格の RAM を 2 枚挿してください。
  • 大きすぎるモデルを選ぶ。 Phi-4 Mini（2.5 GB、デュアルチャネル DDR4-3200 での上限は約 20 トークン/秒）は、DeepSeek-R1 7B（4.7 GB、上限は約 11 トークン/秒）よりも対話用途でずっと快適です。モデルのサイズは、空き RAM だけでなくメモリ帯域に合わせて選んでください。
  • Ollama のタグを間違える。 `ollama run phi` が読み込むのは Phi-2 であり、Phi-4 Mini ではありません。`ollama run phi4-mini` を使い、正確なモデルタグは ollama.com/library で確認してください。

サードパーティの情報に関する注意

この記事はサードパーティのAIモデル、ベンチマーク、価格、ライセンスを参照しています。AIの状況は急速に変化しています。ベンチマークスコア、ライセンス条件、モデル名、API価格は執筆時とお読みになる時の間で変わる可能性があります。この記事に基づいてデプロイやコンプライアンスに関する決定を下す前に、各プロバイダーの公式ソース（ライセンスとベンチマークはHugging Faceのモデルカード、API価格はプロバイダーのウェブサイト、現在のGDPRとEU AI法のテキストはEUR-Lex）で最新の数値を確認してください。

ローカルLLM、独自のAPIキー、またはその両方でPromptQuorumを使用できます — バックエンドはあなたが選択します。

PromptQuorumベータ版をダウンロード →

← ローカルLLMに戻る

MCP