Skip to main content
PromptQuorumPromptQuorum
ホーム/Power Local LLM/ローカルLLM向けGPUの選び方：完全購入ガイド2026
Overview & Reference

ローカルLLM向けGPUの選び方：完全購入ガイド2026

·14分で読める·Hans Kuepper 著 · PromptQuorumの創設者、マルチモデルAIディスパッチツール · PromptQuorum
Read in:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh

ローカルLLMにとって最良のGPUは、最速のカードではなく、VRAMが自分のモデルに合うカードです。RTX 3060 12 GBはあらゆる7Bモデルを動かし、RTX 4090 24 GBは33Bモデルを扱い、RTX 5090 32 GBは70B作業を1枚でこなせる唯一のコンシューマーカードです。

ローカルLLM向けのGPUアドバイスの多くは、見るべきでない数値を最適化しています。トークン毎秒の速度はモデルが答える速さを決めますが、VRAMはそもそもモデルが動くかどうかを決めます。そして収まらないモデルは、収まるモデルよりも無限に遅いのです。本ガイドは、購入を実際に左右する数値、つまりVRAM容量・実測した推論速度・消費電力・価格で、4つの価格帯にわたり8枚のコンシューマーGPUを比較します。価格について1点注意があります。GPU価格はメモリ不足により2026年に急騰し、カードは現在、当初のメーカー希望小売価格の1.5～2倍で売られています。本記事の価格はすべて2026年5月時点のスナップショットですので、購入前に最新価格を確認してください。

このページには参考用の第三者製品へのリンクが含まれています。PromptQuorumはいかなるアフィリエイトプログラムにも参加しておらず、これらはコミッションを得ない単なる参照リンクです。

重要なポイント

  • VRAMが決定的な制約です。 VRAMに収まらないモデルは読み込みに失敗するか、システムRAMにあふれて対話用途には遅すぎる状態になります。対象モデルにVRAMが合う価格帯を選び、その帯の中で速度を最適化してください。
  • 価格は2026年に急騰しました。 メモリ不足がすべての市場でGPU価格をメーカー希望小売価格の1.5～2倍に押し上げました。RTX 5090は当初の発売価格ではなく約¥659,800です。本記事の価格はすべて2026年5月時点のスナップショットとして扱い、中古市場を活用してください。
  • 低予算の選択：NVIDIA RTX 3060 12 GB（新品¥40,000前後、中古はさらに安い） — あらゆる7Bモデルを15～20 tok/sで動かし、ほとんどの13BモデルをQ4で動かします。2026年にローカルLLMを始める入口として最良のコストパフォーマンスです。
  • 中位の選択：NVIDIA RTX 4060 Ti 16 GB（¥69,800前後） — 16 GBのVRAMはコンテキストの余裕を残して14Bモデルをこなし、メーカー希望小売価格に最も近いGPUであり、急騰の影響を最も受けていません。
  • 上位の選択：NVIDIA RTX 4080 Super 16 GB（約¥290,000） — 最速の16 GBカードで、2026年の価格変動後はより遅いRTX 4070 Ti Superとほぼ同価格です。
  • エンスージアストの選択：NVIDIA RTX 4090 24 GB / RTX 5090 32 GB — RTX 4090（新品¥375,000）は33Bモデルを動かし、RTX 5090（¥659,800）はデュアルGPU構成なしで70BモデルをQ4で収められる唯一のコンシューマーカードです。
  • AMDは選択肢になりますが手間が増えます。 RX 6700 XT（12 GB）とRX 7800 XT（16 GB）は1円あたりのVRAMで競争力がありますが、ROCmのセットアップはNVIDIA CUDAに比べて数時間の作業が加わります。
  • 消費電力は価格帯に比例します。 RTX 3060は170 W、RTX 5090は575 Wを消費し、850～1000 Wの電源が必要です。電源はカードと一緒に予算に入れてください。

クイックファクト

  • 低予算帯： RTX 3060 12 GBまたはRX 6700 XT 12 GB — 7Bとほとんどの13Bモデルを動かす。
  • 中位帯： RTX 4060 Ti 16 GBまたはRX 7800 XT 16 GB — 14Bモデルを余裕をもって動かす。
  • 上位帯： RTX 4080 Super 16 GBまたはRTX 4070 Ti Super 16 GB — 高速な14B推論、軽めの22B作業。
  • エンスージアスト帯： RTX 4090 24 GBまたはRTX 5090 32 GB — 33Bモデル、5090ではQ4で70B。
  • Q4_K_MでのVRAMの目安： パラメータ10億あたり約0.6 GB、加えてコンテキストとツールに2～4 GB。
  • 消費電力の範囲： RTX 3060 170 W、RTX 4060 Ti 165 W、RTX 4070 Ti Super 285 W、RTX 4080 Super 320 W、RTX 4090 450 W、RTX 5090 575 W。
  • 2026年の価格の実情： メモリ不足が価格をメーカー希望小売価格の1.5～2倍に押し上げ、中古市場のほうがコストパフォーマンスで優れることが多い。

2026年のローカルLLMで8枚のGPUを比較

VRAMと消費電力の数値はメーカー仕様です。RTX 3060、RTX 4080 Super、RTX 4090、RTX 5090の推論速度はPromptQuorumのハードウェアテストによる実測7B Q4の値で、RTX 4060 Ti 16 GB、RX 7800 XT、RTX 4070 Ti Superの数値はファミリー単位の推定値です。価格は2026年5月時点の日本のスナップショット（税込）です — 2026年のメモリ不足がメーカー希望小売価格の1.5～2倍に押し上げているため、購入前に再確認してください。

📍 一文で説明

ローカルLLMでは、GPUのVRAMが動かせるモデルを決め、トークン毎秒が答える速さを決めます — まず前者で選び、次に後者を最適化してください。

💬 簡潔に説明

VRAMを机の広さ、モデルをその上に置くものと考えてください。速いGPUは机を早く片付けますが、モデルがそもそも机に乗らなければ、速度は問題になりません。まず机が十分に大きい価格帯を選んでください。

GPUVRAM速度（7B Q4）消費電力価格（2026年5月）最適な用途
RTX 3060 12 GB12 GB15～20 tok/s170 W新品¥40,000前後 / 中古はさらに安い低予算の入口 — あらゆる7Bモデル
RX 6700 XT12 GB10～14 tok/s230 W新品¥44,000前後最も安いVRAM、AMDのセットアップを許容
RTX 4060 Ti 16 GB16 GB約20～25 tok/s165 W¥69,800前後中位帯 — 14Bモデル、低消費電力
RX 7800 XT16 GB約18～24 tok/s（推定）263 W新品¥56,000～75,000AMDで16 GB、ROCmのセットアップを許容
RTX 4070 Ti Super16 GB約80～90 tok/s（推定）285 W約¥300,000高速な14B、低めの消費電力
RTX 4080 Super16 GB約120 tok/s320 W約¥290,000（新品）編集部の選択 — 最速の16 GB
RTX 409024 GB約150 tok/s450 W新品¥375,000 / 中古約¥290,00033Bモデル、70B用のデュアルGPU
RTX 509032 GB約160 tok/s575 W新品¥659,8001枚のGPUでQ4の70B
ローカルLLM向けの8枚のコンシューマーGPUを、VRAM、7B Q4推論速度、消費電力、2026年5月の価格で4つの予算帯にわたり比較。VRAMは12 GB（RTX 3060）から32 GB（RTX 5090）まで上がります。速度を最適化する前に、必要なモデルサイズで選んでください。
ローカルLLM向けの8枚のコンシューマーGPUを、VRAM、7B Q4推論速度、消費電力、2026年5月の価格で4つの予算帯にわたり比較。VRAMは12 GB（RTX 3060）から32 GB（RTX 5090）まで上がります。速度を最適化する前に、必要なモデルサイズで選んでください。

どのGPUを買うべきか？

対象とする最大のモデルが価格帯を決め、その帯の中では予算がNVIDIAかAMDかを決めます。 自分の状況に合う行を見つけてください。

あなたの状況これを買う
予算は¥60,000未満で7Bモデルを動かしたいRTX 3060 12 GB（中古）
LLMを動かせる最も安いカードがほしく、セットアップ作業を許容するRX 6700 XT（中古）
電力予算が厳しい中で14Bモデルを動かしたいRTX 4060 Ti 16 GB
14Bを高速に動かし数年もつカードがほしいRTX 4070 Ti Super 16 GB
最速の16 GBカードがほしく価格は二の次RTX 4080 Super 16 GB
33Bモデルが必要、または将来のデュアルGPU 70B構成を計画しているRTX 4090 24 GB
70BモデルをQ4で動かす1枚のカードが必要RTX 5090 32 GB
迷っていて最も無難な最初のGPUがほしいRTX 3060 12 GB — 物足りなくなったら後で買い替える

低予算帯：RTX 3060 12 GBとRX 6700 XT

低予算帯はあらゆる7Bモデルとほとんどの13Bモデルを動かします。そして初めてローカルLLMを使う多くの人にとって、それが必要なすべての能力です。 RTX 3060 12 GBが推奨の選択肢で、AMDのセットアップの手間を許容できるならRX 6700 XTがより安い代替です。この帯では中古市場が最も重要です — 新品価格は2026年の急騰で大きく上がりました。

  • RTX 3060 12 GB（新品¥40,000前後、中古はさらに安い）： 12 GB VRAM、170 W、7BモデルをQ4で15～20 tok/s。Mistral 7B、Qwen3 8B、DeepSeek-R1 7B、ほとんどの13Bモデルを動かします。買うべきは12 GB版です — 3Bモデルに限られる6 GB版は避けてください。中古で買ってください — 新品在庫は生産終了で価格も高騰しています。
  • RX 6700 XT（新品¥44,000前後）： 12 GB VRAM、230 W、7Bモデルで10～14 tok/s。ローカルLLMへの最も安い入口ですが、RTX 3060より遅く、AMD ROCmに依存するためセットアップ時間が加わります。
  • この帯を買う理由： 最も低い導入コスト、RTX 3060の低消費電力、そして一般的なチャット・コーディング支援・要約をカバーする7B～13Bモデルに十分なVRAM。
  • この帯を避ける理由： 14B以上のモデルがほしいとすでに分かっているなら、低予算帯は数週間で物足りなくなります — 代わりに中位帯から始めてください。

💡Tip: RTX 3060は必ず12 GB版を買ってください。6 GB版のRTX 3060は出品では似て見えますが3Bモデルしか収まりません — パラメータ数が半分というのは、使えるアシスタントとおもちゃの違いです。

⚠️Warning: RX 6700 XTはここで最も安いカードですが、LinuxでのROCmセットアップに3～5時間を見込んでください。中古RTX 3060に対して節約できる金額より自分の時間のほうが価値があるなら、NVIDIAのカードを買ってください。

AmazonでRTX 3060 12GBの価格を確認AmazonでRX 6700 XTの価格を確認

中位帯：RTX 4060 Ti 16 GBとRX 7800 XT

中位帯はひとつの理由のために存在します。16 GBのVRAMは、12 GBカードでは実用的なコンテキストとともに収められない14Bモデルをこなします。 14Bクラスのモデルが対象なら、これがそれらを適切に動かす最も安い帯です — そしてRTX 4060 Ti 16 GBは、2026年の急騰を通じてもメーカー希望小売価格に近いままという点で注目に値します。

  • RTX 4060 Ti 16 GB（¥69,800前後）： 16 GB VRAM、165 W、7Bモデルで約20～25 tok/s。8 GB版RTX 4060 Tiと同じGPUダイを使うため、トークンあたりの速度は同等です — 16 GB版は速度ではなく容量を買うものです。165 Wという消費電力は、能力に対して本ガイドで最も低く、急騰の影響も最も小さいGPUです。
  • RX 7800 XT（新品¥56,000～75,000）： 16 GB VRAM、263 W。本ガイドでは個別に計測していません。速度はRTX 4060 Tiの範囲を見込み、AMD ROCmのセットアップが引き換えになります。
  • この帯を買う理由： 14Bモデルがほしい、低消費電力がほしい（RTX 4060 Ti）、または可能な限り安く16 GBがほしい。
  • この帯を避ける理由： 7Bモデルで足りるなら低予算帯が¥30,000ほど節約でき、高速な14B推論がほしいなら上位帯のほうが明確に速いです。

📌Note: RTX 4060 Ti 16 GBは8 GB版に対する容量のアップグレードであり、速度のアップグレードではありません。トークン毎秒の増加を期待してではなく、14Bモデルを収める必要があるから買ってください。

AmazonでRTX 4060 Ti 16GBの価格を確認AmazonでRX 7800 XTの価格を確認

上位帯：RTX 4080 SuperとRTX 4070 Ti Super

上位帯は16 GBのVRAMを保ちつつ、7B～14Bモデルを瞬時に感じさせ22Bモデルを実用的にする速度を加えます。 両カードとも中位帯と同じモデルを収めます — 容量ではなくトークン毎秒に対して支払っているのです。2026年の急騰はこの帯と中位帯の差を大きく広げました。

  • RTX 4080 Super 16 GB（約¥290,000）： 16 GB VRAM、320 W、7Bモデルで約120 tok/s。編集部の選択 — 最速の16 GBカードで、2026年の価格変動後はより遅いRTX 4070 Ti Superとほぼ同価格です。
  • RTX 4070 Ti Super 16 GB（約¥300,000）： 16 GB VRAM、285 W。ほぼ同じ新品価格でRTX 4080 Superよりわずかに遅いです — 285 Wという低めの消費電力のために選ぶか、最も安い高速16 GBカードとして中古で買ってください。
  • この帯を買う理由： 14Bモデルを常に動かし瞬時の応答がほしい、または軽めの22B作業をして余裕がほしい。
  • この帯を避ける理由： 33Bや70Bモデルが必要なら、どの16 GBカードもそれらを収められません — ここで使いすぎる代わりにエンスージアスト帯へ移ってください。

💡Tip: この帯では既定でRTX 4080 Superを選んでください — ほぼ同じ新品価格で、RTX 4070 Ti Superより明確に速いです。約35 Wの消費電力を節約したい場合、または中古で割安に買える場合に限り4070 Ti Superを選んでください。

AmazonでRTX 4080 Superの価格を確認AmazonでRTX 4070 Ti Superの価格を確認

エンスージアスト帯：RTX 4090とRTX 5090

エンスージアスト帯は22Bを超えるモデルを動かせる唯一の帯であり、RTX 5090 32 GBは70BモデルをQ4で収められる唯一のコンシューマーカードです。 ここでは速度ではなくVRAM容量のために買ってください。速度は副産物です。2026年の急騰はこの帯を最も激しく直撃したため、価格は週ごとに動きます。

  • RTX 4090 24 GB（新品¥375,000 / 中古約¥290,000）： 24 GB VRAM、450 W、7Bモデルで約150 tok/s、70B Q4モデルで36 tok/s。33Bモデルを余裕をもって動かします。なお、急騰により中古RTX 4090の価格は新品RTX 5090に近づいています。
  • RTX 5090 32 GB（新品¥659,800）： 32 GB GDDR7 VRAM、575 W、7Bで約160 tok/s、70B Q4で45 tok/s。32 GBの容量が目玉です — 2枚目のGPUなしで70BモデルをQ4で動かせる唯一のコンシューマーカードです。
  • この帯を買う理由： 33Bや70Bモデルが必要、バッチ推論を行う、または何年も買い替え不要のカードがほしい。
  • この帯を避ける理由： 7B～14Bモデルには過剰です — 上位帯はそれらのサイズで、価格と消費電力の半分以下で瞬時の応答を提供します。

⚠️Warning: RTX 5090は単体で575 Wを消費します。850～1000 Wの電源と組み合わせてください — 750 Wのユニットは負荷時にへたります。電源のアップグレードは後回しではなく購入に組み込んで予算化してください。

📌Note: 2026年の急騰前は、中古RTX 4090を2枚買うほうがRTX 5090 1枚より安価でした。それが逆転しました。1枚あたり約¥290,000～375,000のため、RTX 4090を2枚揃えると今ではRTX 5090 1枚をかなり上回ります。新規の70B構成では、RTX 5090 1枚のほうが今や簡単で安価です。

AmazonでRTX 4090の価格を確認AmazonでRTX 5090の価格を確認

VRAMはどれくらい必要か？

Q4_K_M量子化では、モデルはパラメータ10億あたり約0.6 GBのVRAMに加え、コンテキストとツールのオーバーヘッドに2～4 GBを必要とします。 この式は4つの価格帯に直接対応します。

  • 7Bモデル — 8～9 GB： どの帯にも収まります。12 GBカードなら余裕があります。
  • 13～14Bモデル — 11～13 GB： コンテキストとツールを数えると実際には16 GBが必要です。中位帯以上。
  • 22Bモデル — 14～16 GB： 16 GBカードでは厳しく、上位帯以上で余裕があります。
  • 33Bモデル — 19～22 GB： 24 GBカードが必要です。RTX 4090の領域です。
  • 70Bモデル — Q4で39～42 GB： RTX 5090 32 GBを限界まで使うか、デュアルGPU構成が必要です。1枚の24 GBカードでは70BモデルをQ4で収められません。

💡Tip: コンテキスト長は隠れたVRAMコストです — 長いプロンプトや大きなコンテキストウィンドウは、モデルの重みに加えてVRAMを消費します。常に2～4 GBの余裕を残してください。完全な方法は関連記事にあるVRAM要件ガイドを参照してください。

なぜGPU価格は2026年に急騰したか

GPU価格はメモリ不足のため2026年に急騰し、コンシューマーカードを当初のメーカー希望小売価格の1.5～2倍に押し上げました。 これは購入の計算を変えるため、発売価格ではなくこれを前提に計画してください。

📍 一文で説明

2026年のGPU価格はメモリチップ不足のためメーカー希望小売価格の1.5～2倍であり、ローカルLLMの購入者は中古市場と、対象モデルに合う最小のカードを優先すべきです。

💬 簡潔に説明

カードが良くなったわけではありません — その中のメモリが希少で高価になったのです。これが緩和するまで、メーカー希望小売価格は過去の数字として扱い、可能なら中古で買い、モデルが実際に必要とする以上のVRAMにお金を払わないでください。

  • 原因はGPUではなくメモリです。 GDDRとHBMの供給不足が、高速メモリを積むあらゆるカードのコストを上げました — そしてLLM対応GPUは、まさに最も影響を受ける高VRAMカードです。
  • RTX 5090が最も明確な例です： 発売価格は1,999ドルでしたが、2026年5月の店頭では約¥659,800 — ほぼ倍です。
  • 下位のカードはより持ちこたえました。 RTX 4060 Ti 16 GBはメーカー希望小売価格に近い水準にあります。急騰はカードが積む高速メモリの量に比例します。
  • 今や中古市場がコストパフォーマンスの選択です。 中古のRTX 3060 12 GBやRX 6700 XTは急騰の大半を免れます — 中古価格は新品価格よりはるかに上昇が小さいです。
  • 判断： 待てるなら不足の緩和を見守り、待てないなら可能な限り中古で買い、対象モデルに合う最小のカードを買ってください。

判断フローチャート：4つの質問でGPUを選ぶ

4つの質問を順に答えると、ほとんどの購入者は1枚のカードに行き着きます。

📍 一文で説明

ローカルLLM向けのGPUは、最初に最大のモデルサイズ、次に予算の上限、次にNVIDIA対AMD、最後に電源の余裕を答えることで選んでください。

💬 簡潔に説明

実際に動かしたい最大のモデルから始め、それに価格帯を決めさせてください。価格・ブランド・電源がカードに対応できるかを見るのは、その後だけです。逆の順序で進めるのが、使いすぎたり、自分のモデルを動かせないカードを買ったりする原因です。

  • 1. 動かしたい最大のモデルは何ですか？ 7B：低予算帯。14B：中位帯。22B：上位帯。33B：RTX 4090。70B：RTX 5090またはデュアルGPU。
  • 2. 動かせない予算の上限はいくらですか？ 約¥40,000未満（中古）：RTX 3060 12 GB。¥90,000未満：RTX 4060 Ti 16 GB。約¥290,000～300,000：RTX 4080 SuperまたはRTX 4070 Ti Super。¥375,000以上：RTX 4090またはRTX 5090。
  • 3. NVIDIAかAMDか？ すでにAMDのハードウェアを持っているか、RX 7800 XTの大幅な値引きを見つけた場合を除き、NVIDIAを選んでください — CUDAは数時間のROCmセットアップを省きます。
  • 4. 電源に余裕がありますか？ 中位帯を超えるカードは285～575 Wを必要とします。エンスージアスト帯のハードウェアを買う前に、電源とケースの冷却を確認してください。
ローカルLLM向けGPUを選ぶための4つの質問による判断フロー：対象とする最大のモデルサイズが価格帯を決め、予算の上限が選択を絞り、NVIDIA対AMDがブランドを決め、電源の余裕がエンスージアスト帯の選択を確定します。
ローカルLLM向けGPUを選ぶための4つの質問による判断フロー：対象とする最大のモデルサイズが価格帯を決め、予算の上限が選択を絞り、NVIDIA対AMDがブランドを決め、電源の余裕がエンスージアスト帯の選択を確定します。

地域別価格と購入先

GPU価格は地域によって異なります — ここでの価格は2026年5月時点の日本のスナップショット（消費税込）であり、2026年の急騰はあらゆる市場を直撃しました。 以下のリンクは単なる製品検索リンクで、アフィリエイトタグは付いておらず、手数料を生みません。

  • 日本： Amazon.co.jpとドスパラ・パソコン工房・TSUKUMOがグラフィックカードの主な購入先です。
  • 価格比較： Kakaku.com（価格.com）は日本で新品価格を比較する標準であり、現在最も安い購入先をそこで確認してください。
  • 自作系ショップ： アーク（ark）やArkなどの自作PC専門店は、ハイエンドGPUの在庫がオンライン小売より早く入ることがあります。
  • 中古： メルカリやヤフオク！は日本のGPUの主な中古市場です — 特にRTX 3060のような古いカードでは大幅に安い選択肢になることが多いです。
  • 在庫状況： ハイエンドカード（RTX 4090、RTX 5090）は2026年には時折品薄で、価格は変動し、為替の影響も受けます。複数の小売店を確認してください。

⚠️Warning: 2026年の急騰のため、本ガイドのすべての価格は変動の速い2026年5月時点のスナップショットです。購入前に必ず現在の小売店の出品を開いてください — 価格は週ごとに動いています。

Amazon USでGPUを探すAmazon.deでGPUを探すAmazon.frでGPUを探すAmazon.co.jpでGPUを探す

ローカルLLM向けGPU購入でよくある間違い

  • VRAMではなくトークン毎秒で買う。 モデルを収められない速いカードは役に立ちません。まずモデルが2～4 GBの余裕とともにVRAMに収まることを確認し、その帯の中で速度を比較してください。
  • 12 GB版ではなく6 GB版のRTX 3060を買う。 名前は共通でも用途は別です — 6 GBカードは3Bモデルが上限です。出品では必ず12 GB版であることを確認してください。
  • RTX 4060 Ti 16 GBが8 GB版より速いと思い込む。 速くありません — メモリが多いだけの同じGPUダイです。速度ではなく容量（14Bモデル）のために買ってください。
  • 現在価格ではなくメーカー希望小売価格を基準にする。 2026年の急騰により、発売価格はもはや実態を反映しません。小売店のリアルタイム価格で予算を組み、急騰を免れる中古市場を優先してください。
  • 電源要件を無視する。 RTX 5090は575 Wを消費し、850～1000 Wの電源が必要です。負荷時に電圧が落ちるカードは、安定して動く遅いカードより劣ります。
  • セットアップ時間を見込まずにAMDを選ぶ。 RX 6700 XTとRX 7800 XTはコストパフォーマンスが良いですが、ROCmのセットアップに数時間かかります。その時間をNVIDIAカードに対して節約できる金額と比べてください。
  • 7Bモデルのために過剰投資する。 7Bモデルで用途が足りるなら、RTX 4090はお金と電力の無駄です。たまたまある予算ではなく、モデルに価格帯を合わせてください。
ローカルLLM向けGPU購入でよくある7つの間違い：VRAMより速度で買う、6 GBと12 GBのRTX 3060を混同する、16 GBのRTX 4060 Tiが速いと期待する、メーカー希望小売価格を基準にする、電源要件を無視する、AMDのセットアップ時間を過小評価する、7Bモデルのために過剰投資する。
ローカルLLM向けGPU購入でよくある7つの間違い：VRAMより速度で買う、6 GBと12 GBのRTX 3060を混同する、16 GBのRTX 4060 Tiが速いと期待する、メーカー希望小売価格を基準にする、電源要件を無視する、AMDのセットアップ時間を過小評価する、7Bモデルのために過剰投資する。

出典

FAQ

ローカルLLMをうまく動かせる最も安いGPUは何ですか？

中古のNVIDIA RTX 3060 12 GBが、ローカルLLMをうまく動かせる最も安いGPUです。12 GBのVRAMはあらゆる7Bモデルとほとんどの13BモデルをQ4量子化で、15～20トークン毎秒で収めます。より安いRX 6700 XTでも動きますが、より遅く、AMD ROCmのセットアップが必要です。中古で買ってください — 新品価格は2026年の急騰でおよそ倍になりました。

なぜ2026年のGPU価格はこれほど高いのですか？

メモリチップ不足が2026年のGPU価格急騰を引き起こしました。GDDRとHBMの供給が逼迫し、高速メモリを積むあらゆるグラフィックカードのコストが上がり、高VRAMでLLM対応のカードが最も激しく直撃されました。2026年5月時点で、ほとんどのカードは当初のメーカー希望小売価格の1.5～2倍で売られています — RTX 5090は1,999ドルで発売されましたが約¥659,800で取引されています。中古市場は値上がりの大半を免れました。

ローカルLLMにはどれくらいのVRAMが必要ですか？

Q4_K_M量子化では、パラメータ10億あたり約0.6 GBのVRAMに2～4 GBのオーバーヘッドを加えて見積もってください。これは7Bモデルで8～9 GB、14Bで11～13 GB、33Bで19～22 GB、70Bで39～42 GBを意味します。12 GBカードは7Bを余裕でカバーし、70BにはRTX 5090 32 GBかデュアルGPU構成が必要です。

RTX 4060 Ti 16 GBは8 GB版より速いですか？

いいえ。RTX 4060 Ti 16 GBと8 GB版は同じGPUダイを使うため、トークンあたりの推論速度は同等です — 7Bモデルで約20～25トークン毎秒です。16 GB版は容量を買うもので、8 GBに収まらない14Bモデルを動かせるようにします。速度ではなくVRAMのために買ってください。

ローカルLLMにはNVIDIAとAMDのどちらを買うべきですか？

すでにAMDのハードウェアを持っているか、大幅な値引きを見つけた場合を除き、NVIDIAを買ってください。NVIDIA CUDAはOllama、LM Studio、llama.cppですぐに動きます。RX 6700 XTやRX 7800 XTといったAMDカードは1円あたりのVRAMで競争力がありますが、ROCmのセットアップはLinuxで通常数時間かかります。

1枚のGPUで70Bモデルを動かせますか？

RTX 5090 32 GBのみで、しかも70Bモデルが約39～42 GBを必要とするQ4量子化でのみです — つまり積極的な量子化または部分的なオフロードを意味します。24 GBのRTX 4090は70BモデルをQ4で単独では収められません。一般的な解決策はVRAMを合算するためのRTX 4090 2枚ですが、2026年の価格急騰によりこのペアはRTX 5090 1枚より高くなっています。

ローカルLLMでRTX 5090はRTX 4090に対して価値がありますか？

70Bモデルを1枚のカードで動かす必要が特にある場合に限ります。RTX 5090はRTX 4090の24 GBに対して32 GBのVRAMを持ち、これが決め手です。7B～33BモデルではRTX 4090も同じモデルを収めます。2026年の急騰後は両者の価格が近いため、予算が許すなら5090の追加8 GBとわずかに高い速度が新規購入としてより良い選択になります。

これらのGPUにはどの電源が必要ですか？

電源を価格帯に合わせてください：550 WのユニットはRTX 3060に、650～750 WはRTX 4060 Tiと4070 Ti Superに、850 WはRTX 4090に適し、単体で575 Wを消費するRTX 5090には850～1000 Wが必要です。容量不足の電源は負荷時に不安定を引き起こします。

← Power Local LLM に戻る

ローカルLLM向けベストGPU 2026：低予算からRTX 5090まで | PromptQuorum