LLMは実際にどのように機能するか：トークン、注意、推論

LLM（大規模言語モデル）は、トランスフォーマーベースのニューラルネットワークで、与えられた入力シーケンスの最も可能性の高い次のトークンを予測するように訓練されています — データベース、検索エンジン、推論システムではありません。 このモデルは、トレーニング中にWebページ、書籍、コード、その他のテキストから数百億語を処理することで、トークン間の統計的な関係を学習します。

プロンプトを入力すると、モデルはテキストを数値トークンIDのシーケンスに変換し、数十のトランスフォーマーレイヤーを通して渡し、そのボキャブラリー全体（通常50,000〜100,000トークン）上の確率分布を出力します。その分布からトークンを選択し、シーケンスに追加し、停止トークンが生成されるか出力制限に達するまで繰り返します。

このアーキテクチャは、ユーザーを混乱させるいくつかの動作を説明します。なぜLLMは信じ得るが間違った事実「幻覚」するのか（検証された真実ではなく、可能性の高いテキストを予測）、なぜ算術に失敗できるのか（トークンパターン、実際の計算ではない）、そしてなぜプロンプトを言い換えると出力が変わるのか（異なるトークンシーケンスが異なる確率分布をトリガー）。

**LLMがテキストを処理する前に、それを整数トークンIDのシーケンスに変換する必要があります — トークン化と呼ばれるプロセス。** GPT-4oはバイトペアエンコーディング（BPE）を使用し、テキストを一般的な部分単語ユニットに分割します。Claude Opus 4.7とGemini 3.1 Proは同様のサブワードトークン化スキームを使用します。

トークン化は言語に依存しています。英語のテキストは平均1トークンあたり0.75単語です。中国語と日本語は1トークンあたり0.5単語になります — 同じドキュメントは中国語では英語の約2倍のトークンがかかり、APIコストとコンテキストウィンドウの使用法に直接影響します。

トランスフォーマーアーキテクチャはセルフアテンションと呼ばれるメカニズムを使用して、シーケンス内のすべての他のトークンに「注意を払う」各トークンの程度を決定します。 各トークンのために、モデルは3つのベクトル — クエリ（Q）、キー（K）、値（V） — を計算し、QとKのドット積として注意スコアを決定し、ソフトマックスでスケーリングと正規化します。

マルチヘッド注意は複数の「ヘッド」にわたってこのプロセスを並列に実行します（GPT-4oは最大層で96注意ヘッドを使用）。各ヘッドは異なる関係パターンを学習します。いくつかのヘッドは構文関係（主語-動詞）に専門化し、他は意味論的な類似性に、他は照応（代名詞を名詞に関連付ける）。

重要な実際の結果：「Lost in the Middle」効果。Stanford Universityの Liu et al.（2023）の研究は、LLMが長いコンテキストの真ん中の情報を体系的に下重することを示しています。プロンプトに〜2,000を超えるトークンがある場合、重要な指示をシステムプロンプト（開始）に配置し、最も重要な制約をユーザーメッセージの終わりで繰り返します。

LLMトレーニングは2つの明確に分離された段階で行われます。事前トレーニング（生のテキストから言語パターンを学習する）およびポストトレーニングアライメント（人的フィードバックを通じて動作を調整する）。 これらの段階は異なる機能を作成し、異なるラボからのモデルが同様のベンチマーク結果でも異なる反応をする理由を説明します。

事前トレーニング中、モデルは大量のコーパスを処理します — Llama 3.1は約15兆トークンで訓練されました；GPT-4は推定1～2兆トークン。目標は単純です。次のトークンを予測してください。明示的な知識は保存されません；すべての情報がモデルウェイトの統計的パターンとしてエンコードされます。

ポストトレーニングアライメント — 通常、強化学習から人的フィードバック（RLHF）またはその変種（RLAIF、DPO） — がモデルを有用なアシスタントに形作ります。人間の評価者は、有用性、無害性、誠実さの出力を評価します。報酬モデルはこれらの評価で訓練され、ベースLLMはその後、報酬を最大化するために微調整されます。RLHFは拒否動作、トーン、セキュリティメカニズムを決定します — ベースアーキテクチャではなく。

推論中、モデルはトークンごとに出力を生成します — 語彙全体にわたって確率分布を計算し、制御するデコーディングパラメータに従ってそこから選択します。 3つの主なパラメータは温度、トップp（核サンプリング）、最大トークンです。

コンテキストウィンドウは、単一の推論呼び出しでモデルが処理できる最大トークン数です — システムプロンプト、会話履歴、ドキュメント、現在のユーザーメッセージを組み合わせたもの。** セッション間で何も保持されません；モデルは毎回最初からリセットされます。

コンテキストウィンドウのサイズはモデルによって大きく異なり、どのユースケースが実践的であるかに直接影響します。

LLMアーキテクチャを理解することは、プロンプト品質を直接向上させます — トークン位置、温度、コンテキストウィンドウ使用法、出力長は出力信頼性に測定可能な影響を与えます。

これらのLLMに関する誤解は広く普及しており、しばしば不十分に設計されたプロンプトにつながります。

PromptQuorumでテスト済み — 温度0対温度0.9の同じ創造的なブリーフィングをGPT-4o、Claude Opus 4.7、Gemini 3.1 Proに送信すると、Claude Opus 4.7は気温の間で出力の変動が最も低く、Gemini 3.1 Proは最も高いです。 温度0.9では、Gemini 3.1 Proは温度0での平均出力より平均34％長い出力を生成しました。

PromptQuorumのマルチモデルディスパッチを使用すると、特定の温度で利用可能なすべてのモデルに対して同時に各プロンプトを実行し、側次に出力を比較できます — これは特定のタスクの温度設定をキャリブレートし、モデルのデフォルトを信頼する代わりに、実用的にします。

LLMアーキテクチャとパフォーマンスは、トレーニングデータの構成、トークン化戦略、地域全体の規制要件によって大きく異なります。 グローバルモデルを展開するチームにとって、これらの違いを理解することは重要です。

Qwen 3はCJKスクリプト（中国語、日本語、韓国語）の優れたトークン化効率を達成しています** — 標準中国語で約0.3トークン/文字対GPT-4oの0.5トークン/文字。このトークンの40％削減は、アジア言語のアプリケーションのAPIコストと遅延を直接削減します。Qwenのトレーニングデータには20％のCJK含量が含まれており、文字対セマンティック密度が最も高いスクリプトのトークン化器を最適化します。

Mistral 7BおよびMistral LargeはEU展開用に明示的に設計されており、GDPR、フランスのAI法、およびデータストレージとモデルの透明性に関するEU規制のコンプライアンスのためにフィルターされたトレーニングデータがあります。 主に無フィルタWebデータで訓練されたモデルとは異なり、Mistralはデータの出所を文書化し、トレーニングからEU市民の個人データを除外しており、ヨーロッパの規制産業（銀行、医療、法務技術）の標準選択になります。

DeepSeekのアーキテクチャはトレーニング構成に反映されています：事前訓練データの70％は中国語と英語、15％はコード、15％は他の言語です。この比率は、中国語の言語流暢性とコード生成速度を優先するモデルを作成し、リソース貧弱言語で明らかに低いパフォーマンスがあります。トークン分布と注意パターンは、英語ではなく標準中国語の周波数パターンに対して最適化されています。