AI制限：2026年にLLMができないこと

LLMには8つの構造的な制限があり、プロンプト、ファインチューン、またはモデルサイズの増加では完全に克服できません — それらはアーキテクチャの追加が必要です。 これらの制限は、実装の不備ではなく、トランスフォーマーアーキテクチャとトレーニングプロセス自体から生じます。

プロンプトエンジニアリングにとって重要な区別は：制限は*システム設計の変更*が必要です（検索ツール、メモリレイヤー、検証ステップ）。一方、低い品質のプロンプトは別の、修正可能な問題です。この2つを混同すると、実際の制約がアーキテクチャにあるときに、プロンプトの過度なエンジニアリングが生じます。

8つの制限は：知識カットオフ、幻覚、弱い複数ステップの推論、コンテキストウィンドウの上限、永続的なメモリなし、実世界のアクション、トレーニングデータバイアス、および出力の自己検証ができない。

詳細に進む前に、一目でわかるクイックルックアップテーブル。

よく聞かれる質問：LLMに依頼される一般的なタスクと、現在のアーキテクチャが実際に対応できるかどうか。

8つの構造的制限はすべてのモデルに共通ですが、重大度と利用可能な回避策はモデルによって異なります。

すべてのLLMはトレーニングカットオフ日を持ち、外部検索が追加されない限り、モデルはその日付の後にリリースされたイベント、価格、論文、または製品バージョンについての知識を持ちません。 OpenAI GPT-4oは2024年10月のカットオフを持っています。Anthropic Claude Opus 4.7とGoogle Gemini 3.1 Proは2025年初頭のカットオフを持っています。

モデルはまた、カットオフに*近い*イベントについて希薄な知識を持っています。トレーニングデータの収集と処理にはイベントの発生から数週間から数か月かかるため。2024年10月までトレーニングされたモデルは、2024年9月から10月のイベントについてのカバレッジが薄い可能性があります。

主要な回避方法は、検索拡張生成（RAG）で、クエリ時にプロンプトにライブまたは最近のドキュメントを注入します。二次的な回避方法はプロンプトの接地です：関連する現在の事実をプロンプトに直接貼り付けて、モデルにそのコンテキストからのみ答えるよう指示する。

LLMは検証された事実ではなく、統計的にもっともらしいトークンを生成します — 特定の事実のトレーニング信号が薄いとき、モデルは確信を持った虚偽を生成します。 これはGPT-4o、Claude Opus 4.7、Gemini 3.1 Proを含むすべてのモデルに適用されます。詳細については、AI幻覚 — AIが物事を作り出す理由を参照してください。

幻覚は最も頻繁に発生します：特定の数値（価格、日付、統計）、引用と論文参考文献、ニッチな技術仕様、およびトレーニングカットオフに近いまたは後のイベント。モデルが幻覚を起こしているときは、ほとんど信号を送りません。

回避方法：ソース資料をプロンプトに提供し、モデルにそれからのみ回答するよう指示する；モデルに提供されたコンテキストから確認できない主張にフラグを立てるよう指示する；RAGを使用して、確認されたドキュメントに回答を結合する；公開前にすべての重要な数字を一次資料に対して検証する。

LLMは、明示的なchain-of-thoughtプロンプトまたは外部計算機ツールなしでは、複数ステップのロジックまたは数学的推論タスクで低い結果を生成します。 単一の応答で10ステップの算術問題を解くよう求められたモデルは、確信を持った不正確な答えを頻繁に生成します。

根本原因：LLMはステートを維持することではなく、可能性が最も高い次のトークンを生成するようにトレーニングされています。生成された各トークンは以前のトークンに基づいています。しかし、推論チェーン全体に中間結果が保持されるワーキングメモリまたはスクラッチパッドはありません。

Chain-of-thoughtプロンプティング（「ステップバイステップで考える」または番号付きステージ）では、モデルが中間的な推論を記述するように強制し、複数ステップのタスクの精度を大幅に改善します。正確な算術では、モデルの出力に頼るのではなく、タスクをコードインタープリターツールにルーティングします。

すべてのLLMセッションにハードなトークン制限があります — GPT-4oは128,000トークン、Claude Opus 4.7は200,000トークン、Gemini 3.1 Proは2,000,000トークン — ウィンドウが満杯になると、前のコンテンツのパフォーマンスが低下します。 コンテキストウィンドウの説明を参照して、完全な詳細を確認してください。

「中間で失われる」問題：複数の研究によると、長いコンテキストの中間から情報を取得するLLM精度は、始まりまたは終わりから大幅に低くなっています。1Mトークンウィンドウは、すべての1Mトークンに対して均一な注意が広がることを意味しません。

回避方法：重要な情報をプロンプトの開始または終了に配置する；RAGを使用して関連チャンクのみを取得し、完全なドキュメントをダンプしない；長いドキュメントを要約ステップで分割されたセッションに分割する。

デフォルトでは、すべてのLLM会話は空白のコンテキストで始まります — モデルは以前のセッション、過去の指示、または前のユーザー設定についてのメモリを持ちません。 これは機能のギャップではなく、ベースアーキテクチャです。

アプリケーション層（ChatGPTのOpenAI Memory機能など、またはベクトルデータベースで構築されたカスタムメモリシステム）は、以前の会話の要約をプロンプトに注入でき、メモリの*外観*を作成しています。しかし、これはアプリケーションレベルの状態管理であり、モデル自体が覚えていません。

プロンプトエンジニアリングの場合：以前のセッションで設定した設定、フォーマット、または制約についてモデルが覚えていると仮定しないこと。関連する以前のコンテキストは常にプロンプトに明示的に含める。

LLMはテキストを生成します — ツール使用レイヤーが明示的にこれらのアクションを有効にしない限り、ウェブをブラウズしたり、コードを実行したり、メールを送信したり、ファイルを変更したり、外部システムと相互作用したりすることはできません。 モデルはそれが何をするかを説明するテキスト説明を生成します；スキャフォルディングレイヤーが実行します。

ツール使用（関数呼び出しとも呼ばれる）— GPT-4o、Claude Opus 4.7、Gemini 3.1 Proで利用可能です — モデルがアプリケーションが傍受して実行する構造化関数呼び出しを出力できるようにします。モデルは独立してアクションを実行することはできず、外部実行をトリガーする構造化テキストのみを出力できます。

自律的なエージェントは、複数のツール呼び出しをオーケストレーションループで包みます。プロンプト注入とセキュリティの脆弱性はこれらのアーキテクチャの重大な懸念です — プロンプト注入とセキュリティを参照してください。

LLMはトレーニングデータのバイアス、ギャップ、スキューを継承します — 主に英語、西洋、2025年前のインターネットコンテンツ。 非英語クエリ、非西洋文化コンテキスト、少数言語トピックのパフォーマンスは構造的に弱い。

これは国際チームに関連します：GPT-4o、Claude Opus 4.7、Gemini 3.1 Proは、低リソース言語よりも英語でより強力な出力を生成します。ニッチドメイン（特定の業界、ローカル法制度、地域方言）の技術用語は、トレーニングデータに不十分に表現されている可能性があります。

回避方法：プロンプトでドメイン固有のコンテキスト、用語定義、または例を提供する。特定の業界、地域、または機関について、モデルが正確な知識を持っていると仮定しないこと。

LLMはグラウンドトゥルースにアクセスできず、回答が事実的に正確かどうかを確認できません — トレーニングデータのパターンとの一貫性のみを評価できます。 モデルに「これは正しいですか?」と聞くことは、パターンマッチング評価を生成し、検証ではありません。

自己一貫性プロンプティング（複数の回答を生成して合意を確認する）は、信頼性を改善しますが、精度を保証しません。モデルはトレーニングデータで不足していたまたは誤った事実について、一貫性を持ったまま間違っています。

実践的な影響：LLM出力をドラフトとして扱う、最終的なソースとしてではありません。すべての事実上の主張 — 特に数値、日付、引用、技術仕様 — 出版前に権威ある一次資料に対する検証が必要です。

8つの構造的な制限を根本原因、重大度、主要な回避方法でまとめた。

8つの構造的な制限は実在していますが、各々には、従来の警告が問題を過度に述べるか、2025～2026年の研究が部分的にギャップを閉じたシナリオが少なくとも1つあります。 例外を知ることは、ルールを知ることと同じくらい重要です。

これらの例は、同じ基本的なリクエストが、LLM制限を無視する場合は失敗し、制限を考慮する場合は成功する方法を示しています。

これらの制限を補う最も効果的な2つの技術は、推論ステップを外部化してエラーを減らすchain-of-thoughtプロンプティングと、新鮮なコンテキストを取得して知識カットオフを補うRAGです。chain-of-thoughtプロンプティングとRAG解説をご覧ください。

この記事全体で使用されるコア概念の定義。各用語は、プロンプトエンジニアリング用語集の完全なエントリにリンクしています。

LLM制限は構造的に普遍的ですが、重大度は言語、地域、規制環境によって異なります。 EU AI法（2024）に基づいて運営するEU組織は、高リスク用途に関する危険評価でAI制限を文書化する必要があります — ここで8つの制限を技術的な懸念だけではなく、コンプライアンス要件にしています。

中国では、Baidu ERNIE 4.0とAlibaba Qwen 2.5は同じ構造的な制限を共有していますが、トレーニングデータは標準言語の資料に向かって重み付けされています。これは中国語トピックのパフォーマンスを改善しますが、同じ知識カットオフ、幻覚、推論制約が適用されます。

日本では、Fujitsu TakaneとLine HyperCLOVA Xは汎用的な多言語モデルよりも日本語タスクで強力なパフォーマンスを示していますが、すべての構造的な制限 — カットオフ日、幻覚、コンテキストウィンドウ、実世界のアクションなし — 同一に適用されます。