70B LLMをローカルで動かす2026年版：ハード別のRAM・VRAM・速度

70Bモデルとは、約700億個のパラメータ（ネットワークを構成する学習済みの重み）を持つ大規模言語モデルのことです。「B」はbillion（10億）を表します。Llama 3.3 70Bのパラメータ数は706億、Qwen2.5 72Bは727億です。

メモリ量は「パラメータ数×1重みあたりのバイト数」で決まります。16ビットの重みは1つあたり2バイト（約141GB）、8ビット（Q8_0）は約1バイト（75GB）、4ビットのQ4_K_Mは約0.6バイト（43GB）です。7B～14Bのモデルは普通のノートPCに収まるのに対し、70Bは、コンシューマー向けハードウェアで初めて40GB以上の高速メモリが必要になるサイズです。

モデルに約43GB、コンテキストに3～10GBの高速メモリが必要です。置き場所はGPUのVRAM、Appleの統合メモリ、システムRAMのいずれかで、メモリが速いほどモデルの生成も速くなります。

以下の速度は、短いコンテキストで1人がチャットする場合の推定値で、メモリ帯域幅から算出しています（「メモリ帯域幅が速度を決める理由」を参照）。上限値を一般的な効率60～80%に割り引いたもので、PromptQuorumが実施したベンチマークではありません。例外はDGX Sparkの数値で、第三者が計測したものです。

以下のサイズは、OllamaライブラリにあるLlama 3.3 70Bのファイルのものです。ほかの70Bモデルでは数%異なります。数値は重みのみなので、次のセクションのコンテキスト用メモリを加えてください。

コンテキストは重みとは別にメモリを消費します。Llama 3.3 70Bは、FP16でトークンあたり約0.33MBのKVキャッシュを保持し、これは8Kトークンで約2.7GB、32Kで10.7GB、128Kで43GBに相当します。この値はモデルのアーキテクチャから求められます。80層×8個のキー・バリューヘッド×128次元×2（キーとバリュー）×2バイト＝トークンあたり327,680バイトです。

同時セッションはそれぞれ独自のKVキャッシュを持ち、重みは共有されます。32Kトークンのエージェント4つからなるマルチエージェントシステムは、重みの約43GBに加えて、キャッシュ約43GBが必要です。Ollamaでフラッシュアテンションと8ビットKVキャッシュを有効にする（OLLAMA_FLASH_ATTENTION=1とOLLAMA_KV_CACHE_TYPE=q8_0）と、キャッシュはおよそ半分になります。

生成する各トークンで、モデルの重み全体を1回ずつ読み出すため、デコード速度の上限は「メモリ帯域幅÷モデルサイズ」で決まります。帯域幅614GB/sで43GBのQ4_K_Mモデルを動かす場合、上限は約14トークン/秒で、実際の速度は通常その上限の60～80%です。

同じ法則から、メモリが大きいことと速いことは別だとわかります。128GBのDGX Sparkは273GB/sで、Q4_K_Mでの上限は約6トークン/秒です。LMSYSは、Llama 3.1 70BのFP8（約70GB、上限3.9）で2.7トークン/秒を計測しました。容量はモデルが動くかどうかを決め、帯域幅は速度を決めます。プロンプト処理（プリフィル）は計算律速で、挙動が異なります。

Apple Siliconは、CPUとGPUが1つの統合メモリプールを共有するため、70Bモデル全体をGPUがアクセスできるメモリに載せる最も簡単な方法です。64GB以上のMacなら、層のオフロードなしでQ4_K_Mが動き、速度はチップの帯域幅で決まります。目安は、M5 Maxでおよそ9～11トークン/秒、中古のM2 Ultraで12～15トークン/秒です（推定値）。M5チップでの70Bのベンチマークは、まだ公開されたものを見つけられていません。

Appleは2026年8月25日にM5 MaxとM5 Ultraを搭載したMac Studioを発表し、どちらも2026年9月22日に発売されました。M5 Maxは36GBの$2,499から、最大128GB・最大614GB/sまで構成でき、70B向けには64GB以上に構成してください。M5 Ultraは96GBの$5,499から、最大512GB・最大1.2TB/sまで構成でき、Q8_0も余裕で動かせます。512GB構成は10月下旬の到着と案内されていました。

Mac mini M5 Proは$1,699からですが、メモリは64GBではなく24GBです。64GBの受注生産構成（307GB/s、Thunderbolt 5）ならQ4_K_Mの70Bモデルを保持できますが、生成は約4～5トークン/秒にとどまり、レビューではCPUやストレージにより約$2,700～$3,200とされています。標準のMac mini M6（$899）は最大32GB・170GB/sで、どの量子化でも70Bモデルは動きません。

macOSは既定で、GPUがアクセスできるメモリをRAMのおよそ75%（64GBのMacで約48GB）に制限します。Q5_K_M（50GB）を動かすには上限を引き上げます。たとえば64GBのMacでsudo sysctl iogpu.wired_limit_mb=57344を実行します。この設定は再起動でリセットされ、OSに残るのは約8GBだけになります。

NVIDIA DGX Sparkは、GB10 Grace Blackwell Superchipを搭載し、CUDAに対応した、128GBの統合LPDDR5xメモリ（273GB/s）を備えるコンパクトなデスクトップAIコンピューターです。Q8_0（75GB）でも70Bモデルを読み込めますが、生成は帯域幅に制限されます。LMSYSはLlama 3.1 70BのFP8でデコード2.7トークン/秒を計測しており、コミュニティによるQ4_K_Mでのllama.cppの実行は4～5トークン/秒の範囲と報告されています。

価格は大きく変動しています。NVIDIAは2026年2月、メモリの供給制約を理由にFounders Editionを$3,999から$4,699に引き上げ、2026年10月には$6,950という価格が報じられました。あわせて、2026年10月23日からパートナー経由で64GB版が$4,999で販売されると報じられています。購入前に最新の価格を確認してください。

AMD Ryzen AI Max+ 395（「Strix Halo」）搭載のミニPCやノートPCは、256GB/sの128GB LPDDR5Xを備えており、帯域幅は同クラスです。Dense 70Bモデルの推定速度も同程度の約4～5トークン/秒です。どちらのプラットフォームも、Dense 70Bのチャットよりも、MoEモデル（後述）やCUDA・ファインチューニング用途に向いています。

Ollamaとllama.cppは、モデルをGPUのVRAMとシステムRAMに分割します。VRAMにある層はGPUの速度で、RAMにある層はCPUのメモリ速度で動き、遅いほうが全体の速度を支配します。RTX 4090（24GB）にはQ4_K_Mの70Bモデルの約55%が載り、残りは約90GB/sのDDR5から読み出されるため、生成は約2～4トークン/秒に制限されます。RTX 5090（32GB）には約70%が載り、推定4～6トークン/秒に達します。

Ollamaは自動的にオフロードするため、フラグは不要です。ollama psを実行すると分割状況を確認できます（PROCESSOR列。例：45%/55% CPU/GPU）。llama.cppでは、-nglで層の数を指定します。

1人で使うなら、層分割を使うOllamaまたはllama.cppが最も簡単なマルチGPUの方法です。複数のユーザーやエージェントが同時に使う場合は、テンソル並列を使うvLLMまたはSGLangのほうが、総スループットがはるかに高くなります。24GBカード（RTX 3090または4090）2枚で48GBになり、Q4_K_Mと短いコンテキストには十分です。

層分割は、トークンごとに1回だけカード間で活性化値を受け渡し、通常のPCIeで動作するため、異なるカードやコンシューマー向けカードの組み合わせに向いています。テンソル並列は各層を複数のGPUに分割するため、高速な接続の恩恵を受けます。RTX 3090はNVLinkブリッジに対応していますが、RTX 4090と5090は対応していません。

CPUのみの70B推論は、メモリ帯域幅で制限されます。デュアルチャネルのデスクトップ用DDR5（約90GB/s）ではQ4_K_Mで約1～2トークン/秒で、RAM容量を増やしても速くなりません。1.5トークン/秒では、200語の返答（約270トークン）に約3分かかります。

256GBのRAMで変わるのは、何が載るかであり、速度ではありません。長いコンテキストでもQ8_0（75GB）やFP16（141GB）を保持できます。速度はメモリチャネル数で決まり、8チャネルのThreadripper PROや12チャネルのEPYCサーバーは、デスクトップの3～5倍の帯域幅があります。大容量DIMMを4枚挿したデスクトップ用ボードは、2枚のときよりメモリ速度が下がることが多くあります。CPUでのプロンプト処理も、長い入力では遅くなります。

以下の推定値は、帯域幅の法則を効率70%で適用したもので、実測のベンチマークではありません。

Mixture-of-Experts（MoE）モデルは、全パラメータ分のメモリが必要ですが、トークンごとに読み出すのはアクティブなエキスパートだけです。そのため、同じメモリ使用量のDense 70Bモデルよりはるかに高速に生成できます。OpenAIのgpt-oss-120bは約1,170億パラメータのうち約51億がアクティブで、MetaのLlama 4 Scoutは1,090億のうち170億がアクティブです。

帯域幅の法則はアクティブな重みに適用されるため、MoEモデルは、DGX Spark、Ryzen AI Max+ 395搭載PC、64GBのMac mini M5 Proのような、大容量で帯域幅は中程度のマシンを最も有効に活用できます。そのハードウェアでDense 70Bモデルを動かす場合は、4～5トークン/秒が目安です。ダウンロードする前に、各MoEモデルのファイルサイズが手元のメモリに収まるか確認してください。

Llama 3.3 70Bは標準的なDense 70Bモデルで、Metaの報告ではMMLU（CoT）が86.0、HumanEvalが88.4、コンテキストウィンドウは128Kです。Qwen2.5 72Bは、多言語やコーディング用途の主な代替候補です。Qwen3 72Bは存在せず（Qwen3のDenseモデルは32Bまで）、「Qwen3 72B」という言及は、Qwen2.5 72Bを指しています。

コマンド：ollama run llama3.3:70b、ollama run qwen2.5:72b、ollama run deepseek-r1:70b。

70BモデルのQLoRAファインチューニングには、1回の実行あたりおよそ35～48GBのGPUメモリが必要です。FSDP＋QLoRAなら24GBのGPU2枚、または48～80GBのGPU1枚が目安です。QLoRAはベースモデルを4ビット（約35GB）で保持し、小さなアダプターを学習します。Answer.AIは、24GBのゲーミングGPU2枚でこれを実証しました。

16ビットの完全なファインチューニングでは、重み・勾配・オプティマイザの状態に1パラメータあたり約16バイトが必要で、合計は1TB規模になり、マルチGPUサーバーの領域です。たまに実行する程度なら、ハードウェアを組むより80GBのクラウドGPUを借りるほうが通常は現実的です。

EU・GDPR：70Bのローカルモデルは、多くの組織にとって、プライベートに動かせるAI品質の現実的な上限です。法務・医療・金融の文書をオンプレミスで処理すれば、プロンプトと出力が自社のインフラ内にとどまり、データ最小化と域外移転リスクの管理に役立ちます。ただし、それだけでGDPRに準拠した運用になるわけではないため、処理活動全体を評価してください。

EUのサプライチェーンのハードウェアを求める組織にとって、Apple（米国）とNVIDIA（米国）はEU域外のベンダーです。Dell、HP、Lenovoは、現地サポート付きでGB10搭載システムを販売しています。モデル側では、Mistral Large 2はEUの開発元によるものですが、商用利用を認めない研究用ライセンスで公開されています。

日本：日本語のテキストにはQwen2.5 72Bがよく選ばれます：`ollama run qwen2.5:72b`。ハードウェアとモデルのバージョンを記録しておく（読み込まれているモデルは`ollama ps`の出力で特定できます）と、日本のAI事業者ガイドラインに沿った社内ガバナンスの助けになります。

中国：Qwen2.5 72Bを自社でホストすれば、データを自社のインフラ内にとどめられ、これは中国のデータセキュリティ法（数据安全法）に関係します。社内で提供するモデルがCAC（国家インターネット情報弁公室）の生成AI規則の対象になるかは、一般公衆に提供するかどうかで決まります。資格を持つ弁護士に確認してください。