2026年版 最高の小型ローカルLLM：4Bモデル比較と最小で動かせるモデル

小型ローカルLLMとは、一般にパラメータ数がおよそ40億以下のモデルを指します。 4ビット量子化すると、ダウンロードサイズはおよそ1〜4 GBです（Gemma 4の実効パラメータ設計は例外で、後述します）。メモリが合計4〜8 GBのエントリークラスのノートPCでも十分に収まる大きさです。

小型モデルは、要約、簡単なQ&A、コードスニペットの解説、短い翻訳、書き換え、分類に向いています。一方で、長く複数の手順を踏む推論、大規模なコード生成、長文で一貫した文章作成には向きません。

4Bと7〜9Bモデルの品質差は、依然として明確にあります。マシンのメモリが8 GB以上で余裕があるなら、Qwen3.5 9B（Ollamaで6.6〜7.6 GB）のような7〜9Bモデルのほうが通常は良い選択です。7Bの推奨については最高の初心者向けローカルLLMモデルをご覧ください。

Qwen3.5 4Bは、この比較で最も強い4Bクラスのモデルです。Qwen自身のモデルカードでは、MMLU-Pro 79.1、GPQA Diamond 76.2、LiveCodeBench v6 55.8と報告されています。 2026年初頭にQwen3.5 Smallシリーズの一つとしてApache 2.0で公開されました。テキストと画像を扱え、ツール呼び出しに対応し、ネイティブのコンテキストウィンドウは262,144トークンです。

知っておくべき点が2つあります。1つ目は、Qwen3.5モデルが既定で思考することです。推論は向上しますがCPUでは遅いため、単純なタスクでは思考をオフにしてください。2つ目は、モデルカードが代表的なベンチマークをどのモードで測定したかを明記しておらず、Qwenの評価条件はGoogleやMicrosoftのものと異なることです。数値は一点一点を厳密に比べるのではなく、目安として比較してください。

Google Gemma 4 E4Bは、Googleのモデルカードによると、MMLU-Pro 69.4%、LiveCodeBench v6 52.0%、GPQA Diamond 58.6%を記録しています。 「E4B」は実効パラメータ4.5Bを意味し、レイヤーごとの埋め込みを含めると約8Bパラメータになります。そのため「4B」という名称にもかかわらず、Ollamaのダウンロードは6.6〜9.5 GBです。テキストと画像を扱え、128Kのコンテキストウィンドウを備え、Apache 2.0で公開されています。

Googleのエコシステムを使いたい場合、強力な多言語性能（MMMLU 76.6%）がほしい場合、あるいはTau2エージェントスコア42.2%を重視する場合は、Qwen3.5 4BよりE4Bを選んでください。同クラスの品質をおよそ半分のディスク容量とメモリで得たいなら、Qwen3.5 4Bを選んでください。

Microsoft Phi-4 Miniは、モデルカードによるとMMLU 67.3%、MMLU-Pro 52.8%を記録しながら、ダウンロードは2.5 GBです。ここで紹介する4Bクラスのモデルの中で最小の容量です。 MITライセンスで、128Kのコンテキストウィンドウを備え、推論に重点を置いた厳選された合成データで学習されています。

推論ベンチマークではQwen3.5 4BやGemma 4 E4Bに及びません（GPQA 25.2に対して76.2と58.6）。そのため、メモリが制約となる4〜6 GBのマシンや、寛容なMITライセンスを重視する場合に選んでください。

4Bモデルが収まらないときは、Qwen3.5 2Bが最良の選択です。 Qwenのモデルカードでは、MMLU-Proは非思考モードで55.3、思考モードで66.5、GPQAは思考モードで51.6と報告されています。Ollamaでのダウンロードは2.7〜3.1 GBで、画像を扱え、256Kのコンテキストウィンドウを備え、Apache 2.0です。

0.8Bモデルと比べると、指示追従の信頼性がはるかに高く（IFEvalは非思考モードで61.2対52.1）、この比較の中で、実際の要約やQ&Aの作業に使える最小のモデルです。

Google Gemma 4 E2Bは、Googleのモデルカードによると、MMLU Pro 60.0%、LiveCodeBench v6 44.0%、GPQA Diamond 43.4%を記録しています。 実効パラメータは2.3B（レイヤーごとの埋め込みを含めると5.1B）です。実効パラメータ数は2 GBのファイルサイズを意味しません。Ollamaのダウンロードは4.6〜7.5 GBと掲載されており、同クラスの結果を得るのにQwen3.5 2Bより多くのメモリが必要です。

128Kのコンテキストウィンドウを備え、画像を扱え、Apache 2.0です。CPUのスループットはハードウェアと量子化によって異なります（Googleの報告ではRaspberry Pi 5のデコード速度は約7.6トークン/秒、独立したx86の報告では8〜48トークン/秒）。Googleのツールを使いたいエッジデバイスにはこちらを選んでください。それ以外では、Qwen3.5 2Bのほうが軽量です。

Qwen3.5 0.8Bはこの比較で最小のモデルで、Ollamaでのダウンロードは1.2〜1.3 GB、256Kのコンテキストウィンドウを備え、ライセンスはApache 2.0です。ベンダー報告のMMLU-Proは29.7（非思考モード）、42.3（思考モード）、GPQAは11.9で、分類、キーワード抽出、短い書き換えには十分ですが、複数手順の推論や長い回答には向きません。RAMが本当に最大の制約である場合（利用可能なメモリが3 GB未満）、シングルボードコンピュータ上、またはパイプラインの高速な事前フィルタとしてのみ使ってください。

日本（METI・APPI）： 小型モデルの日本語タスクでは、Qwen3.5とGemma 4 E4Bのどちらも、モデルカード上でMMMLUスコアが76前後です。制約のあるマシンで日本語の要約や翻訳を行う場合は、`ollama run qwen3.5:2b`または`ollama run qwen3.5:4b`を試してください。標準的なオフィス用PCで企業が使う場合、小型モデルの速度面の利点は大きいものの、実際の速度はCPUと量子化によって決まります。経済産業省（METI）のAI事業者ガイドラインや個人情報保護法（APPI）への対応を検討する企業では、Ollamaによるローカル実行により処理対象のテキストを端末内にとどめられます。ただし、個々の導入が要件を満たすかどうかは、システム全体の構成と社内ルールで別途確認が必要です。

中国・東アジア： Qwen3.5（Alibaba、Apache 2.0）は、中国語の小型モデル運用の自然な選択肢です。中国のデータセキュリティ法（数据安全法）の下でのIoTやエッジ展開では、`ollama run qwen3.5:2b`が約4 GBのRAMを備えたLinuxデバイスで動作し、外部APIを呼び出さずにテキストを端末内で処理します。自社の法令遵守義務は別途ご確認ください。韓国語を含む東アジア言語の処理にも、同じく2Bと4Bのモデルが現実的な出発点になります。

その他の地域（EU・GDPRなど）： 現場作業、エアギャップ環境、古い業務用ノートPCなど、限られたハードウェアでAIを動かすEUの専門家にとって、小型ローカルモデルは、ランタイムやアプリのテレメトリーと同期を無効にしていれば、クラウドAPIを呼び出さずに端末内だけで推論を実行できます。標準的な社用ノートPCでQwen3.5 4BやPhi-4 Miniを動かせば、処理するテキストはすべて端末内にとどまり、GDPR第5条のデータ最小化の目標に資しますが、個々の導入が適合するかどうかは構成全体によって決まります。ライセンスは寛容で、Phi-4 MiniはMIT、Gemma 4とQwen3.5はApache 2.0です。このサイズでEU発の選択肢は限られるため、EU産であることが要件なら、Mistralの最新ラインナップをご確認ください。