2 GB RAMでRAGを実行できますか?
Hans Kuepper 著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン

クイック回答
はい — ただし小規模な個人ドキュメントセット限定です。2 GB RAMでは、Llama 3.2 1B(~810 MB)にMiniLM-L6-v2 Embeddings(~80 MB)とインメモリベクターストアを組み合わせた実用的なRAGパイプラインが可能です。合計~1.3–1.5 GBは2 GBデバイスに収まります。大型モデル(7B+)や大きなドキュメントセット(200ページ以上)には最低8 GBが必要です。
- ▸Llama 3.2 1B Q4_K_M(~810 MB)+ MiniLM-L6-v2 Embeddings(~80 MB)が2 GBに収まる
- ▸ドキュメントセットはRAM内に収めるために~200ページ未満に制限する必要がある
- ▸7B+モデルや大きなコーパスには最低8 GB RAMが必要
はい — ただし最小限のセットアップのみ機能します
2 GB RAMでは、唯一実用的なRAGパイプラインは1BクラスのLLM(Llama 3.2 1BまたはQwen3 0.6B)と軽量な埋め込みモデル(MiniLM-L6-v2、~80 MB)とフラットファイルまたはインメモリベクターストアを組み合わせたものです。これは機能します — ただし小規模な個人ドキュメントセット(~200ページ未満)限定です。
以下の表は最小限の設定における各RAGコンポーネントのRAM使用量を示しています。
| コンポーネント | メモリ使用量 | 備考 |
|---|---|---|
| LLM(Llama 3.2 1B Q4_K_M) | ~810 MB | 最小の実用的なinstruction-tunedモデル |
| 埋め込みモデル(MiniLM-L6-v2) | ~80 MB | CPU上で動作;GPU不要 |
| ベクターストア(Chroma in-memory) | ~150 MB | コーパスサイズに合わせてスケール |
| Pythonランタイム + フレームワークオーバーヘッド | ~300 MB | LangChainまたは最小限のllama-index |
| 合計最小値 | ~1.3–1.5 GB | 2 GBデバイスのOSに~500 MBを残す |
2 GBで失敗するもの
最も一般的な失敗は、コンテキストウィンドウ拡張時にLLMが利用可能なRAMを超えることです。 2 GBではコンテキストを2k〜4kトークンに制限してください(llama.cpp:-c 2048)。Llama 3.2 1BのKVキャッシュはfp16で1トークンあたり約32 KB(4kで約128 MB)で、空きRAMを超えるとOSがスワップを始めます。7B以上のモデルのロードは即座に失敗します — Llama 3 8B Q4_K_Mだけで~5 GBが必要です。
2番目の失敗パターンはベクターストアの成長です。500ページのPDF用のChromaデータベースはチャンクサイズによって約400–600 MBを使用します。LLMと埋め込みモデルと合わせると、合計RAMが2 GBを超えます。解決策:インジェストを150ページ未満に制限し、256トークンチャンクを使用し、各セッション後にストアをプルーニングします。
2 GB RAMのノートPC:OSが残すメモリ
2 GBのノートPCでは、RAGスタックではなくOSが収まるかどうかを決めます。 Windows 11は公式に4 GB以上のRAMを要求するため、2 GBのノートPCでは通常、軽量Linuxディストリビューションか古いWindowsを使います。ターミナルのみのLinuxなら2 GBの大半が空き、ブラウザを開いたデスクトップでは1 GB未満になることがあります。
llama.cppでコマンドラインからパイプラインを実行し、ブラウザを閉じ、保険としてzramまたはスワップを有効にしてください。スワップはクラッシュを防ぎますが、生成は非常に遅くなります。
| ノートPCの構成 | RAG用の空きRAM | 収まる? |
|---|---|---|
| Linux(ターミナルのみ) | 2 GBの大半 | 可:1Bモデル + MiniLM |
| 軽量Linuxデスクトップ | 多くは~1 GB | 厳しい:Qwen3 0.6Bのみ |
| Windows 10/11 | 1 GB未満 | 不可:4 GB以上の端末へ |