Raspberry Pi 5でローカルLLMを動かせますか?

予算重視の構成: Raspberry Pi 5単体

素のRaspberry Pi 5(8GB)は、Ollamaやllama.cpp経由でQ4量子化の1B-3Bパラメータモデル — Llama 3.2 1B、Llama 3.2 3B、Qwen3 1.7Bなど — を動かせます。すべてクアッドコアCPUで実行されます。Pi 5の統合VideoCore GPUは実用的なllama.cppアクセラレータではないため、素のボードでは意味のあるGPU高速化はありません。

コミュニティのベンチマークでは、小さいQ4モデルはPi 5のCPUでモデルとランタイムによりおよそ毎秒4-9トークンとされています — デスクトップGPU推論より明らかに遅いですが、短いクエリや気軽な実験には使えます。

最適な用途: 簡単なクエリ向けオフラインアシスタント、Home Assistant実験、自動化スクリプト、ローカル推論の仕組みを学ぶこと。8GB構成を購入してください — 4GBモデルはモデル+Raspberry Pi OS用の余裕が不足します。

より良い選択: Pi 5 + Raspberry Pi AI HAT+ 2

公式のRaspberry Pi AI HAT+ 2は、Hailo-10H NPUと8GBの専用メモリを追加することで、Pi 5を専用設計のエッジAIシステムに変えます。Raspberry Pi自身のドキュメントは、Hailo GenAI Model Zooを通じたGenAI/LLMサポートを確認しており、ネットワーク経由またはブラウザベースのチャットUIで問い合わせできるHailo Ollamaサーバーも含まれます。

Hailo-10Hは40 TOPSのINT4推論性能を提供し、すぐに使えるいくつかの小さいモデル(Qwen2やLlama 3.2のバリアントを含む、およそ1B-1.5Bパラメータ)が付属します — 趣味の実験ではなく本物のエッジAIデバイスを求める人にとって、CPUのみの推論とは明確に異なる、より速い経路です。

専用のGenAIアクセラレーションを望み、まだ成熟途上のソフトウェアスタックでも構わない場合はこの構成を購入してください — Raspberry Piは2026年1月にAI HAT+ 2を発売しましたが、文書化されたパッケージバージョンはHailo自身のリリースサイクルより遅れることがあります。

Pi 5 vs Pi 5 + AI HAT+ 2 vs GPU PC

AI HAT+ 2を追加するとGPUとの差の一部は縮まりますが、モデルサイズと生の速度では依然として単体GPUやGPU PCが勝ります。

持続的な推論のための冷却

持続的なCPUまたはNPU負荷の高い推論は、気軽な利用よりもデバイスを熱くします — 公式のRaspberry Piアクティブクーラー(温度制御ファン付きの取り付け式ヒートシンク)は、短時間のテストではなく長時間の推論を計画している場合に安価でよく文書化された追加投資です。

常時稼働サーバー向けNVMeストレージ

Piが常時稼働のローカルAIサーバーになる場合、Pi 5のPCIeインターフェースを使う公式のRaspberry Pi M.2 HAT+によるNVMeストレージは、持続的な読み書き負荷の下ではmicroSDカードより信頼性が高くなります — 気軽なテストの段階を超えたら追加する価値があります。

実際に何が作れるか?

Pi 5のローカルLLM構成は、プライベートなホームアシスタント実験、家庭内自動化との連携(Pi級ハードウェアでの現実的な遅延を知るにはローカル音声アシスタントの構築ガイドを参照)、簡単な文書分類、高速な応答を必要としない常時稼働のオフラインサービスに適しています。

結論

最も安い: 1B-3Bモデルと実験用の素のPi 5 8GB。最良のPiベースAI構成: 専用のHailo-10Hアクセラレーションを得られる、公式AI HAT+ 2を搭載したPi 5。総合的な最高性能: GPU PCまたはローカルLLM向けミニPC — 7B以上のモデルでは、どのPi構成も及びません。

関連記事

• ▸6GB VRAMに最適なローカルLLM — 本当に実用的な低予算GPU代替案
• ▸7Bモデルにはどれだけのメモリが必要? — 7BがPi 5のCPUには手が届かない理由
• ▸常時稼働Ollamaサーバーに最適なミニPC — より実用的な常時稼働の代替案
• ▸ローカル音声アシスタントを構築する — Pi・ミニPC・GPUの各ハードウェア階層での現実的な遅延