重要なポイント
- 2026年6月の主要ローカルLLM——Qwen3、Gemma 3、Llama 3.1、Mistral Small 3.1——はすべて128Kトークンをネイティブサポートする。長コンテキストは標準機能になった。
- ほとんどのユーザーへの推奨：Qwen3 14B（Q4_K_M）。 Apple M5 Proで約12 GB RAM使用、128Kを15-25トークン/秒で処理。Qwen3はネイティブ日本語トークナイザーでLlamaより30-40%効率的。 8 GBマシンにはQwen3 4B。
- RAMはコンテキスト長とモデルサイズ両方に比例して増加。7BモデルQ4_K_Mは4Kで~6 GB、128Kで~14 GB必要。Apple M5 Proの統合メモリ（36-64 GB、307 GB/s）は128K推論に最適。
- "中間迷子"問題は依然として存在：LLMはコンテキスト中間の詳細を見落とす。対策：重要情報をプロンプト冒頭に置き、検索にはRAGを使用する。
- 長いコンテキストは完全なドキュメントの総合分析に優れる。RAGは多数のドキュメントの検索タスクに優れる。タスク種別で選択する。
- Ollamaのデフォルトは2048トークン——128Kではない。ModelfileでPARAMETER num_ctx 32768を明示的に設定すること。
📍 一文で説明
2026年の主要なローカルLLMはすべて128Kトークンをネイティブでサポート。Qwen3 14B Q4_K_Mは~12 GB RAMで15〜25トークン/秒 — ただしOllamaのデフォルトは2048トークンなので、Modelfileで必ずnum_ctxを明示的に設定すること。
💬 簡潔に説明
コンテキスト長とは、AIが一度に「見ることができる」テキストの量です。128Kトークン ≈ 96,000語 — 小説1冊分に相当します。落とし穴：非常に長い入力の中間に埋め込まれた情報に対してモデルの精度が低下します（「Lost in the Middle」と呼ばれる現象）。最も重要な情報をプロンプトの冒頭に置くようにしましょう。
コンテキスト長とは何か、なぜローカルLLMにとって重要なのか？
コンテキスト長は、モデルが1回の推論呼び出しで処理できる最大トークン数です。入力（ドキュメント、会話履歴、システムプロンプト）と出力（モデルの応答）の合計サイズです。 1トークン ≈ 0.75英単語；128Kトークン ≈ 96,000語。
ローカルLLMのユースケースでは、長いコンテキストにより：本全体の要約、コードベース全体を1つのプロンプトで分析、数時間の会議文字起こし処理、以前のコンテキストを失わずに長い会話履歴を維持することが可能になります。
重要な区別は、広告されたコンテキスト長（アーキテクチャがサポートするもの）と実用的なコンテキスト長（品質が維持される範囲）の差です。技術的に128Kをサポートするモデルでも、100Kトークン付近では品質が低下する場合があります。
2026年に128KトークンのコンテキストをサポートするローカルLLMは？
| モデル | コンテキストウィンドウ | 実用的な上限 | Ollamaコマンド |
|---|---|---|---|
| Qwen3 14B Q4_K_M | 128K | ~32-64K 信頼性あり | ollama run qwen3:14b |
| Qwen3 4B Q4_K_M | 128K | ~16-32K 信頼性あり | ollama run qwen3:4b |
| Gemma 3 12B Q4_K_M | 128K | ~32K 信頼性あり | ollama run gemma3:12b |
| Llama 3.1 8B Q4_K_M | 128K | ~32K 信頼性あり | ollama run llama3.1:8b |
| Llama 3.2 3B | 128K | ~16K 信頼性あり | ollama run llama3.2:3b |
| Mistral Small 3.1 24B | 128K | ~32K 信頼性あり | ollama run mistral-small3.1 |
| Qwen3 8B Q4_K_M | 128K | ~32K 信頼性あり | ollama run qwen3:8b |
| DeepSeek-R1 14B Q4_K_M | 128K | ~32K 信頼性あり | ollama run deepseek-r1:14b |
長いコンテキストの処理にはどれくらいのRAMが必要か？
RAMの使用量はモデルサイズとコンテキスト長の両方に比例して増加します。 KVキャッシュはすべての処理済みトークンのAttention状態を格納し、コンテキスト長に線形に増加します。
Q4_K_Mの7Bモデルで4Kコンテキストは~6 GB RAMを使用。同じモデルで32Kコンテキストは~8-9 GB。128Kコンテキストでは~12-16 GB。
| モデル | 4Kコンテキスト | 32Kコンテキスト | 128Kコンテキスト |
|---|---|---|---|
| Llama 3.3 8B Q4_K_M | ~6 GB | ~9 GB | ~14 GB |
| Qwen3 14B Q4_K_M | ~9 GB | ~12 GB | ~18 GB |
| Mistral Small 3.1 24B Q4_K_M | ~14 GB | ~17 GB | ~24 GB |
| Llama 3.3 70B Q4_K_M | ~40 GB | ~45 GB | ~55 GB |
なぜ実用的なコンテキストは宣伝されている最大値より短いのか？
RoPE位置エンコーディング（Llama、Qwen、Mistralが使用）で訓練されたLLMは技術的には最大コンテキスト長までトークンを処理できますが、"中間迷子"効果として知られるパターンで品質が低下します。
LLMはコンテキストウィンドウの最初と最後の情報を最もよく活用します。中間に置かれた情報は信頼性が低くなります。128Kモデルは最初の32Kと最後の16Kトークンに対して信頼性高く回答できますが、40K-80K範囲の詳細は見落とす可能性があります。
実用的な信頼性の上限はモデルサイズに比例：3Bモデル ≈ 8K-16K；7B-8Bモデル ≈ 16K-32K；70Bモデル ≈ 64K信頼性あり。
長いコンテキストウィンドウはより多くの入力を可能にしますが、効果的な利用にはプロンプト構造が重要です。RAG、プロンプトチェーニングについてはプロンプトエンジニアリングガイドを参照してください。
Ollamaでコンテキスト長を設定するには？
Ollamaは設定されていない限り、デフォルトで2048トークンのコンテキストを使用します。完全なコンテキストウィンドウを使用するには：
モデルが以前の入力を忘れる理由と軽減策についてはコンテキストウィンドウ解説を参照してください。
# Set context length at runtime
ollama run llama3.2 --ctx 32768
# Or create a custom model with a Modelfile
cat << EOF > Modelfile
FROM llama3.1:8b
PARAMETER num_ctx 32768
EOF
ollama create llama3.1-32k -f Modelfile
ollama run llama3.1-32k
長コンテキストローカルLLM：地域別コンテキスト
EU / GDPRとAI法： EU AI法（2025年2月施行）は個人データを大規模に処理するAIシステムを潜在的に高リスクとして分類します。法的文書分析、医療記録要約、人事文書処理のためのローカル長コンテキスト推論はこのリスク層に位置します。ローカル実行はGDPR第28条に基づくサードパーティリスクを排除します。
ドイツBSIコンプライアンス：Q4_K_Mの7Bモデルと32Kコンテキスト（標準ワークステーションで~9-10 GB）が推奨構成です。Llama 3.3 8BとMistral Small 3.1がEUコンプライアンスに推奨されます。
フランスCNILガイドライン：外部API呼び出しなしのOllama経由のローカル推論は、個人データがサードパーティAIプロバイダーによって処理されないという要件を満たします。
日本（METI）： 日本語文書はトークナイザーの違いにより、同等の英語文書より1.5-2倍多くのトークンを必要とします。50ページの日本語レポートは25K-35Kトークンを消費する可能性があります。Ollamaで明示的なコンテキスト設定（PARAMETER num_ctx 32768）が必要です。Qwen3のネイティブ日本語トークナイザーはLlamaより30-40%効率的で、日本の法務・金融文書にはQwen3 14B（Q4_K_M、32Kコンテキスト）が最高の品質/RAM比を提供します。
中国： 中国のデータセキュリティ法（数据安全法）の下、クラウドAPIを通じたセンシティブ文書処理には追加のコンプライアンスが必要です。Qwen3（Alibaba）経由のローカル推論はすべての文書内容をオンプレミスに保持します。Qwen3のネイティブ中国語トークナイザーは中国語文書に30-40%トークン効率が高いです。
長コンテキストローカルLLMでよくある間違い
- 128Kコンテキストが4Kと同様に機能すると思い込む： "中間迷子"効果により、30K-80K前の情報は先頭や末尾の情報よりも信頼性低く取得されます。重要な文書分析では、長い文書を16K-32Kセクションに分割して処理してください。
- Ollamaのデフォルトコンテキストサイズを増やさない： Ollamaはデフォルトで2048トークンを使用します。常にnum_ctxを明示的に設定してください：ModelfileにPARAMETER num_ctx 32768を追加するか、実行時に--ctxを使用してください。
- 不十分なRAMで長いコンテキストを実行する： 合計8 GB RAMで128Kコンテキストの7Bモデルは深刻なスワップを引き起こします。モデル重み（~4.5 GB）と128K KVキャッシュ（~8+ GB）が8 GBを超えます。
- TTFTが長いコンテキストでスケールすることを忘れる： 32Kコンテキストでは、初回トークンまでの時間（TTFT）がコンシューマーハードウェアで5-15秒になる場合があります。
- RAGとコンテキストを混同する： RAGは多数のドキュメントにわたる検索に優れています。長いコンテキストは完全で一貫した文書（契約書、コードベース）の分析に優れています。
よくある質問
ローカルLLMで本全体を要約できますか？
典型的な300ページの本は90,000-120,000語、約120K-160Kトークンです。これはほとんどの7Bモデルの実用的な信頼性コンテキストを超えています。7Bモデルでは：本を20K語の章に分割し、各章を要約してから章の要約をまとめてください。
32Kトークンに何ページのテキストが入りますか？
標準的な英語テキスト（1ページ250語）で約50-70ページです。32Kトークンには短編小説、付録付きの完全な研究論文、または完全な技術仕様書が入ります。
コンテキスト長を増やすと推論が遅くなりますか？
はい。同じハードウェアで32Kコンテキストの処理は4Kより約3-4倍時間がかかります（アテンション計算の二次スケーリングのため）。生成速度は大きく影響しませんが、初回トークンまでの時間は入力長に比例します。
どのローカルLLMが長いコンテキストよりRAGを上手く処理しますか？
ドキュメントの検索と取得タスクでは、RAGの方が効果的な場合が多いです。RAGは3-5個の関連チャンク（合計4K-8Kトークン）を取得し、"中間迷子"問題を回避します。
KVキャッシュとは何か、なぜコンテキスト長とともに増加するのか？
KVキャッシュはコンテキストウィンドウで処理されたすべてのトークンのAttention状態を格納します。32Kコンテキストは4Kより8倍多くのKVキャッシュメモリが必要です。モデルの重みは変わらず、KVキャッシュのみが増加します。
ローカルモデルはGemini 3.1 Proのような1Mトークンのコンテキストを処理できますか？
2026年6月の主要ローカルモデル——Qwen3、Gemma 3、Llama 3.1、Mistral Small 3.1——はすべて128Kトークンをネイティブサポートし、大半の長文書使用ケースをカバーする。Qwen3はネイティブ日本語トークナイザーにより、日本語文書をLlamaより30-40%効率的に処理できる。 1Mトークンのローカル推論には専用ハードウェア（150+ GB VRAM）が必要。ほとんどのユーザーにはQwen3 14Bと128Kコンテキストが実用的な最適解。
"中間迷子"問題とは何か、どう回避するか？
LLMはコンテキストの最初と最後の情報を確実に取得しますが、中間の詳細を見落とします。128Kコンテキストでは40K-80Kトークン付近が最も無視されやすいです。重要情報はプロンプトの先頭に配置し、RAGを使うか、重複する16K-32Kセクションで処理してください。
Ollamaが使用しているコンテキスト長を確認するには？
`ollama show <モデル>` を実行してください -- 出力にnum_ctxが表示されます。2048と表示された場合、Ollamaはデフォルトを使用しています。永続的に変更するには：PARAMETER num_ctx 32768のModelfileを作成し、`ollama create <名前> -f Modelfile` を実行。`ollama ps` でアクティブなセッションを確認してください。
ドキュメントQ&Aには長いコンテキストとRAGのどちらが優れていますか？
RAGは通常、ドキュメントQ&AにおいてRAMも効率的で効果的です。RAGは3-5個の関連チャンク（合計4K-8Kトークン）を取得し、"中間迷子"問題を回避します。長いコンテキストはドキュメント全体の構造を理解する必要がある場合や、セクション間の関係が重要な場合に優れています。
出典
- Lost in the Middle: How Language Models Use Long Contexts -- Liu et al., 2023
- Ollama Context Length Configuration -- Ollamaドキュメント
- Llama 3.3 Technical Report -- Meta AI, 2024
- EU AI Act Official Text -- 欧州議会、2024年