Mistral Small 24B・Qwen 2.5 14B・Llama 3.1 8B：ローカルでどれを動かすべきか？

VRAM要件：どのカードがどのモデルを動かせるか

この3モデルの選択は主にVRAMの問題です。Q4_K_M量子化で：Llama 3.1 8Bは4.9 GB、Qwen 2.5 14Bは9.3 GB、Mistral Small 3.1 24Bは14.4 GBを使用します。これは3つのGPUティアに直接対応します：6〜8 GBカード（Llama 3.1 8Bのみ）、10〜12 GBカード（Qwen 2.5 14B）、16 GB以上のカード（Mistral Small 24B）。

RTX 4090でのQ4_K_M速度：Llama 3.1 8Bは約45 tok/s、Qwen 2.5 14Bは~28 tok/s、Mistral Small 3.1 24Bは~20 tok/sで動作します。RTX 3060 12 GBではLlama 3.1 8BとQwen 2.5 14Bのみ収まります — Mistral Small 24BはCPU RAMへのスピルを避けるため最低でも16 GBカードが必要です。

ベンチマークの差は意味があります：Mistral Small 24BのMMLU 81%はLlama 3.1 8Bより14ポイント、Qwen 2.5 14Bより6ポイント高いです。複雑な多段階推論や指示遵守タスクでは、この差は実際に体感できます。

品質対VRAM：各モデルが勝つ場面

Llama 3.1 8BはVRAM効率で勝ります。 Q4_K_Mで4.9 GBと、4kトークンのコンテキストウィンドウ用の余裕を持って6 GBカードに収まる唯一のモデルです。MMLUで66.6%を記録し、素早いインタラクティブな応答（RTX 4090で~45 tok/s）を提供します。制限されたハードウェアでのチャット、クイックコーディングクエリ、日常使用に最適です。

Qwen 2.5 14Bは12 GB VRAMで勝ります。 MMLU 74.8%で推論とコーディングにおいてLlama 3.1 8Bを大きく上回り、最も一般的なプロシューマーGPUティア内に収まります。Qwen Coder 14Bバリアント（同サイズ、コード最適化）はHumanEvalで約78%を記録します。主にコーディングに使用し12 GBカードをお持ちの場合、Qwen 2.5 14Bが答えです。

Mistral Small 3.1 24BはVRAMが許す場合に品質で勝ります。 MMLU 81%と優れた多言語性能により、16 GBカードのトップ選択肢となります。14Bクラスのモデルより信頼性高く、長文推論、構造化出力タスク、複雑な指示セットを処理します。RTX 4090 24 GBではQ5_K_Mでさらに高い品質が得られます。

14Bクラスの直接比較については、コーディングベンチマーク詳細を含むQwen 14B対Llama 8Bの比較をご覧ください。