重要なポイント
- エッジ展開は熱設計基準点に対するジュール/トークンを最適化する——デスクトップの指標であるVRAMに対するトークン/秒ではない。
- 専用シリコン（Hailo-10H、Hailo公表データ）で2.1W、9.45 tok/sを出す1.5Bモデルは、デスクトップでは平凡でも組み込みでは優れた結果。
- ほとんどの製品はSBC＋NPU HAT、専用M.2アクセラレータ、統合エッジSoC、組み込みGPUモジュールの4クラスでカバーできる。基準は電力予算であり、モデルサイズそのものではない。
- NVIDIA Jetson AGX Thor（T5000）はNVIDIAデータシートによるとスパースFP4で2,070 TFLOPS、40～130W、128GB LPDDR5X（273GB/s）——組み込みGPUクラスの最上位。
- トークン生成速度を決めるのはメモリ容量ではなくメモリ帯域幅。GB/sが同じなら、DRAMが多いボードでも生成は速くならない。
- 産業用温度範囲と部品ライフサイクルは、モデル選定より前に確認すべきもの。調達寿命3年の部品は、サービス寿命10年の製品には使えない。
- 多くのNPUツールチェーンは固定された一部の量子化方式しか受け付けない。量子化計画は対象ハードウェアのコンパイラ制約に従うべきで、逆ではない。
エッジAIハードウェアの4クラスとは何か？
エッジLLM展開のほとんどは4つのハードウェアクラスでカバーでき、クラス選定を誤ると、モデル選定を誤るよりも多くの工数を無駄にします。 各クラスは電力と柔軟性のトレードオフ曲線上の異なる位置にあります。クラス内の個々のチップを比較する前に、製品の電力予算とサービス寿命要件にクラスを合わせることが先決です。
📍 一文で説明
エッジAIハードウェアはSBC＋NPU HAT、専用M.2アクセラレータ、統合エッジSoC、組み込みGPUモジュールの4クラスに分かれ、モデルサイズそのものではなく製品の電力予算に合わせて選ぶ。
💬 簡潔に説明
SBC＋NPU HATは安価で柔軟だが密閉筐体では発熱しやすい。専用M.2アクセラレータは極低電力で一つの仕事だけをこなす。統合SoCはロボティクスやカメラ向けに設計された一チップ完結のコンピュータ。組み込みGPUモジュールはデスクトップ級の性能を製品サイズに凝縮したもの。
- SBC＋NPU HAT — 汎用シングルボードコンピュータ（Raspberry Pi 5クラス）に後付けNPUアクセラレータカードを組み合わせた構成。BOMコストは最安、ソフトウェアスタックは最も柔軟ですが、通気のない密閉筐体では持続熱性能が最弱です。
- 専用アクセラレータモジュール（M.2） — Hailo-10Hのような固定機能推論チップを、既存のキャリアボードにM.2/PCIeスロット経由で追加する構成。量子化推論という一つの仕事を極めて低消費電力で実行しますが、汎用演算プラットフォームではなく、OSを実行できません。
- 統合エッジSoC — CPU、GPUまたはNPU、I/Oを1つのダイに統合したチップで、特定の電力枠に合わせて設計されています。NVIDIA Jetson Orinファミリー（Orin Nano Super、Orin NX、AGX Orin）とRockchip RK3588が、量産ロボティクス・カメラ製品の既定選択肢です。
- 組み込みGPUモジュール — ディスクリート級GPUをモジュール形状に縮小し、エッジ演算の最上位を担う構成。NVIDIA Jetson AGX Thor（T5000）が該当します。マルチカメラ知覚やヒューマノイドロボティクスなど、組み込みの電力・熱枠内で本当にデスクトップ級のスループットが必要な製品で使われます。
デスクトップ向けハードウェアガイドが無視する3つの制約とは？
デスクトップ向けローカルLLMガイドはVRAM容量とピークのトークン/秒を最適化しますが、組み込み製品はデスクトップベンチマークが考慮する必要のない3つの異なる制約に縛られます。
- 熱設計基準点であり、ピーク仕様ではない。 データシート記載のTOPS値は、多くの密閉・ファンレス筐体にはない通気を前提としています。重要なのは実際の筐体内、周囲温度70℃での持続スループットです。サーマルスロットリング下では、実スループットがデータシートのピーク値を大きく下回ることがあります。
- メモリ帯域幅であり、メモリ容量ではなく生成速度を決める。 トークン生成（デコード段階）は帯域幅律速です。デコードのスループットは、おおよそメモリ帯域幅（GB/s）をトークンあたりの読み出しバイト数で割った値に制限されます。DRAMが多くても帯域幅（GB/s）が同じならトークン生成は速くなりません。Hailo-10Hの1.2GBのメモリ使用量と2,048トークンのKVキャッシュが平均2.1Wで動作する点は、デスクトップGPUのVRAM余裕とは全く異なる設計上の立ち位置です。
- 産業用温度範囲と部品ライフサイクルであり、ベンチマーク表ではない。 コンシューマ向けSoCは一般に2～3年の設計サイクルで調達されます。10年のサービス寿命を約束する製品には、対応する供給保証と拡張動作範囲を持つ部品が必要です。4年目に調達できなくなる部品を使えば、初日にどれほど良く目標モデルを動かせていたかにかかわらず、寿命途中でのハードウェア再設計が確実になります。
製品向けエッジ演算はどう選定すべきか？
特定のチップを評価する前に、電力予算とサービス寿命要件を定義してください。 以下の手順は、最もよくある手戻り——先にモデルを選び、後になって電力やライフサイクル制約に収まらないと気づく——を避ける順序です。
- 1モデルより先に電力予算を定義する
Why it matters: 組み込み製品には固定の熱・電力枠——バッテリー容量、共有PoEライン、パッシブ冷却の限界——があり、モデルはセンサー・無線・アクチュエータが消費した残りに収まる必要があります。 - 2トークン/秒ではなくジュール/トークンの目標を定める
Why it matters: 電力の文脈を伴わないトークン/秒の数値は、アクセラレータクラス間で比較できません。ジュール/トークンこそが、完成品のバッテリー寿命や熱的余裕を実際に決める数値です。 - 3仕様書でメモリ帯域幅とメモリ容量を分けて記載する
Why it matters: 生成速度は重みとKVキャッシュへのGB/sで制限され、ボード上のDRAM量では決まりません。速く読み出せない大きなバッファはデコードスループットを上げません。 - 4モデル選定より前に産業用温度範囲と調達ライフサイクルを確認する
Why it matters: 調達保証が3年の部品は、サービス保証が10年の製品には使えません。ラボで目標モデルをどれほど良く動かせても関係ありません。 - 5NPUツールチェーンが実際に受け付ける量子化方式を確認する
Why it matters: 多くの組み込みNPUコンパイラは、重み・活性化・KVキャッシュの量子化方式について固定された限定セットしかサポートしません。コンパイル失敗の後ではなく、モデルを確定する前にコンパイラで検証してください。 - 6下の対話型セレクタで候補を絞り込み、実シリコンで検証する
Why it matters: 電力・モデルサイズ・映像・温度範囲によるフィルタは、数分で候補を絞り込みます。製品固有のジュール/トークンを確認できるのは、実際の筐体内、実際のアクセラレータで測定したベンチデータだけです。
製品に適したエッジハードウェアを探す
電力予算と目標モデルサイズを候補リストに変換する最も速い方法です。電力枠、モデルサイズ（10億パラメータ単位）、映像入力や産業用温度範囲が必要かどうかを設定すると、下の表がベンチマークする価値のあるプラットフォームクラスを更新表示します。
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
エッジAIチップは電力と演算性能でどう比較されるか？
本ガイドで挙げるプラットフォームの仕様はベンダー公表資料に基づき、2026年9月2日時点で一次資料と照合済みです。 「参考値」と付記した数値は一次データシートではなく二次情報源に基づくため、その旨を明記しています——自社の仕入先窓口で確認するまでは概算値として扱ってください。
プラットフォーム | クラス | ピークAI性能 | 電力（TDP） | メモリ／帯域 |
|---|---|---|---|---|
| Jetson AGX Thor（T5000） | 組み込みGPUモジュール | スパースFP4で2,070 TFLOPS | 40～130W | 128GB LPDDR5X、273GB/s |
| Jetson AGX Orin 64GB | 統合エッジSoC | 275 TOPS | 15～60W | 64GB LPDDR5 |
| Jetson Orin NX | 統合エッジSoC | 約157 TOPS（参考値） | 10～40W | 8/16GB LPDDR5 |
| Jetson Orin Nano Super | 統合エッジSoC | 約67 TOPS（参考値） | 7～25W | 8GB LPDDR5 |
| Hailo-10H | 専用アクセラレータ（M.2） | 固定機能推論 | 5W未満（M.2形状） | 1.2GBメモリ使用量（実測） |
| Rockchip RK3588 | SBC＋NPU | 6 TOPS（3コアNPU） | ボードレベルで一桁W台 | ホストSBCと共有 |
| Ambarella Nシリーズ | 統合ビジョンSoC | 非公開 | 非公開 | CES 2026発表、マルチセンサー＋エッジ生成AI |
| Qualcomm QRBシリーズ | 統合エッジSoC | プラットフォーム依存 | プラットフォーム依存 | ドローンで主流——姉妹記事参照 |
Jetson AGX ThorはQSFP 4×25GbEポートも備え、最大32台のMIPI CSI-2カメラをサポートします。NVIDIAはJetson AGX Orin比で最大7.5倍のAI性能、3.5倍のエネルギー効率を謳っています。両数値ともNVIDIA自身による比較であり、本記事のための独自ベンチマークではありません。
専用シリコン上の1.5Bモデルは実際どう見えるか？
Hailoは、本ガイドの主旨をそのまま示す実測結果——Qwen2-1.5B-InstructをHailo-10Hで動かした際、平均電力2.1Wで9.45トークン/秒——を公表しています。 デスクトップの物差しでは、1.5Bモデルの9.45 tok/sは平凡です。組み込みの物差しでは——スマートフォン充電器の待機電力をわずかに上回る程度の5W未満のM.2モジュール——それは小型バッテリーで動く製品と、大きな筐体とファンが必要な製品との差になります。
以下の数値はHailo自身が公表したベンチマークデータであり、本記事のための独自測定ではありません。仕様書で引用する際はベンダー公表値として明記してください。
指標 | 値 |
|---|---|
| モデル | Qwen2-1.5B-Instruct |
| スループット | 9.45 tok/s |
| TTFT（入力96トークン） | 289ms |
| 平均電力 | 2.1W |
| メモリ使用量 | 1.2GB |
| KVキャッシュ | 2,048トークン（約1,536語） |
| 重み量子化 | 4bit対称・グループ単位 |
| 活性化量子化 | 8bit非対称・テンソル単位 |
| KVキャッシュ量子化 | 8bit非対称・テンソル単位 |
| ランタイム／OS対応 | HailoRT——Linux、Windows、Android |
HailoRTはLinux、Windows、Androidに対応し、モジュール自体は5W未満のM.2形状です——バッテリーやPoEに制約のある製品にとって意味のある比較点であり、デスクトップのトークン/秒ランキングではありません。
組み込みNPUターゲット向けにモデルをどう量子化すべきか？
組み込みNPUツールチェーンは、デスクトップ推論スタックよりも固定的で限定的な量子化方式しか受け付けないのが一般的です。量子化計画はターゲットハードウェアのコンパイラが決めるべきで、その逆ではありません。 コンパイル失敗の後ではなく、モデルを選ぶ前に受け付けられる方式を確認してください。
静的量子化は、キャリブレーションデータセットを使って重みと活性化のスケール／ゼロ点を事前に固定します。ほとんどの固定機能NPUコンパイラがこれを要求するのは、量子化パラメータを実行時に計算するコストをチップが避けられるためです。動的量子化は推論時にこれらのパラメータを計算し、より柔軟ですが、対応する組み込みNPUコンパイラは少数です。固定機能パイプラインがまさに避けようとしているレイテンシを追加してしまうためです。
テンソル単位の活性化量子化（活性化テンソル全体に対して1つのスケール係数を使う方式。Hailo公表のQwen2-1.5B構成では8bit非対称で使用）は、組み込みでよく使われる既定方式です。チャネル単位の方式よりNPUにとって適用コストが低く、組み込み製品に典型的な短くタスク特化的なプロンプトであれば通常許容できる程度の精度低下で済みます。
量子化されたKVキャッシュ（上記Hailo-10Hの例では8bit非対称・テンソル単位）は、生成トークンごとにアクセラレータが保持・読み戻す必要のあるメモリを縮小し、上記のメモリ帯域幅の制約で説明したトークン/秒の上限を直接引き上げます。重み・活性化・KVキャッシュ量子化の基礎的な仕組みはLLM量子化の仕組みと各方式が実際に変えるものを参照してください。これはデスクトップと組み込みの両ターゲットに共通するメカニズムです。
エッジAI製品のプロトタイピングには何を買うべきか？
量産で使う予定と同じハードウェアクラスの開発キットでプロトタイプを作ってください。デスクトップGPU機ではありません——量産クラスの熱・電力挙動こそ、デスクトップ機では決してわからないものだからです。
- NVIDIA Jetson開発者キット — 量産用キャリアボードを確定する前に、統合エッジSoCおよび組み込みGPUモジュールのクラスをプロトタイピングする標準的な方法です。現在の型番の入手性と価格はNVIDIAまたは正規代理店に直接確認してください。具体的な型番と価格は変動が激しく、ここで確実に述べることはできません。
- Hailo M.2アクセラレータモジュール — 空きM.2/PCIeスロットを持つ既存のキャリアボード上で、専用アクセラレータクラスをプロトタイピングする標準的な方法です。現在の入手性はHailoまたは正規代理店に直接確認してください。
- Raspberry Pi AI HAT+ — 製品がそもそもより高い演算クラスを必要とするかどうかを判断する前に、SBC＋NPU HATクラスを安価にプロトタイピングする標準的な方法です。現在の価格と入手性はRaspberry Piまたは正規販売店に直接確認してください。
- 産業用キャリアボードと筐体 — プロトタイプが実験室のベンチから、量産製品が要求する拡張温度範囲や耐振動性へと移行する段階で必要になります。製品計画がそれを要求する段階になったら、コンシューマ向けキャリアボードではなく産業用組み込みベンダーから調達してください。
エッジ推論が適さないのはどんな場合か？
エッジ推論は3つの典型的な製品状況では既定として適しません。無理に採用すると、レイテンシやプライバシーで節約できる以上のエンジニアリング工数を消費するのが通例です。
- アイドル期間が長く、バースト的な負荷。 製品が時折しか推論を必要とせず、それ以外の時間は信頼できる接続がある場合、専用エッジシリコンの固定的な電力・BOM予算は、めったに使われない能力の維持に費やされることになります。稼働ウィンドウ中にクラウド呼び出しを行う方が、製品寿命全体で見て通常は安上がりです。
- 本当にフロンティア級の推論を必要とするタスク。 エッジの電力予算に収まるほど小さいモデルは、オープンエンドな推論、多段階の計画立案、幅広い世界知識では大規模なホスト型モデルに及びません。エッジシリコンは、汎用アシスタントではなく、狭く明確に規定されたタスクにこそ適した選択です。
- 信頼できる接続があり、プライバシーやレイテンシの制約がない製品。 データを機器内に留める必要も、ネットワーク往復なしで100ms未満の応答を必要とする理由も製品側に何もないなら、エッジシリコンの電力・コスト予算を払う根拠はかなり弱まります。それを前提に設計する前に、その制約が本当に実在するか確認してください。
2026年、AI駆動の機械にはどんな規制が適用されるか？
2027年1月から適用されるEU機械規則（2023/1230）は、機械内のAI駆動安全機能を高リスクと位置づけており、LLMやVLMの出力が物理的な安全機能に影響し得るエッジ製品では、EU AI Actと直接交差します。 これは一般的な背景情報であり、法的助言ではありません。出荷前に、対象製品への適用可否を有資格の規制法務担当者に確認してください。
実務上のトリガーは狭いものの重要です。エッジ推論の結果（物体分類、計画判断、映像解析アラート）が機械の安全関連制御機能に入力される場合、機械規則の基本的な健康・安全要件とAI Actの高リスク分類が同時に適用され得ます。安全機能に関わらない用途（音声インターフェース、分析ダッシュボードなど）だけにエッジ推論を使う製品は、この特定の交差からは外れますが、用途によっては他のAI Act上の義務が別途適用される場合があります。
これはデスクトップ向けローカルLLMガイドが扱う必要のない適合性の側面です。デスクトップアプリケーションは定義上、安全機能を持つ機械ではないからです。対象となる製品にとっての実務上の教訓は、設計が固まった後に後付けするのではなく、早期にハードウェア仕様へ組み込んでおくことです。
日本市場向けの参考情報として、経済産業省（METI）のAIガバナンスに関する取り組みや関連する認証・規格団体の動向も、機械安全に関わるエッジAI製品の仕様検討段階で確認しておく価値があります。ただし具体的な適用要件は製品ごとに専門家へ確認してください。
よくある質問
デスクトップ向けとエッジ向けのLLMハードウェア選定の本質的な違いは何ですか？
デスクトップ向け選定は、利用可能なVRAMに対してトークン/秒を最適化します。エッジ向け選定は、固定の熱設計基準点と電力予算に対してジュール/トークンを最適化します。モデルは製品に残された電力に収まる必要があり、その逆ではありません。
専用NPU上の小さなモデルは、本当にGPU上の大きなモデルより優れているのですか？
電力予算が固定されている場合、多くのケースでそうです。Hailo公表のベンチマークによると、Hailo-10H上で2.1W、9.45 tok/sを出す1.5Bモデルは、デスクトップでは平凡ですが組み込みでは優れた結果です。電力制約を固定して初めて、この比較は意味を持ちます。
熱設計基準点とは何であり、なぜエッジLLMにとって重要なのですか？
チップが定格性能を発揮すべき持続的な動作条件——典型的には密閉された、しばしばファンレスの筐体内の周囲温度——のことです。多くの製品にはない通気を前提に測定されたデータシートのピーク値とは対照的です。サーマルスロットリング下の実スループットは、そのピーク値を大きく下回ることがあります。
トークン生成にとって、なぜメモリ容量よりメモリ帯域幅が重要なのですか？
トークン生成は帯域幅律速です。デコード速度は、おおよそメモリ帯域幅（GB/s）をトークンあたりの読み出しバイト数で割った値に制限されます。GB/sが同じであれば、DRAMが多いボードでもトークン生成は速くなりません。上限を決めるのは容量ではなく帯域幅です。
産業用温度範囲とは何であり、なぜ製品ライフサイクルにとって重要なのですか？
一般的なコンシューマ規格（0～40℃程度）を大きく超える拡張動作範囲のことで、複数年にわたる保証のもとで部品が規定・調達されます。一般に2～3年サイクルで調達されるコンシューマ向け部品は、寿命途中でのハードウェア再設計を強いることなく10年のサービス寿命の製品には使えません。
Hailo-10Hが小型LLMを動かす際の消費電力はどれくらいですか？
Hailo公表データによると、Hailo-10HはQwen2-1.5B-Instructを9.45 tok/sで実行する際、平均2.1Wを消費し、メモリ使用量1.2GB、2,048トークンのKVキャッシュを、5W未満のM.2形状で実現します。
NVIDIA Jetson AGX Thorはどれほどの演算性能を発揮しますか？
NVIDIAのデータシートによると、Jetson AGX Thor（T5000）はスパースFP4で2,070 TFLOPS（密なFP4で1,035 TFLOPS、密なFP8で517 TFLOPS）を、40～130Wで発揮し、256bitバス経由で273GB/sの128GB LPDDR5Xメモリを搭載します。
エッジNPU向けに重み、活性化、KVキャッシュのどれを量子化すべきですか？
対象NPUのコンパイラが受け付ける方式の範囲内で、通常は三つとも量子化します。静的でテンソル単位の活性化量子化と、量子化されたKVキャッシュが組み込みの一般的な既定です。ほとんどの固定機能NPUツールチェーンは限定的で固定された方式しかサポートしないため、モデルを選ぶ前に受け付けられる方式を確認してください。
そもそもエッジ推論を使うべきでないのはどんな場合ですか？
接続が信頼できるバースト的で稀な負荷、エッジサイズのモデルでは到底届かない本当にフロンティア級の推論を必要とするタスク、そしてデータを機器内に留める本当のプライバシー制約やレイテンシ制約がない製品では、エッジ推論を避けてください。
新製品向けにエッジ演算の選定をどう始めればよいですか？
特定のチップを評価する前に電力予算と要求サービス寿命を定義し、トークン/秒ではなくジュール/トークンの目標を定め、製品の制約に対してメモリ帯域幅と産業用温度範囲を確認したうえで、このページの対話型セレクタで候補を絞り込んでから、実シリコンでベンチマークしてください。