Comment fonctionnent vraiment les LLMs : tokens, attention et inférence

Un LLM (grand modèle de langage) est un réseau de neurones basé sur l'architecture transformer, entraîné pour prédire le token le plus probable suivant une séquence de tokens en entrée — ce n'est pas une base de données, un moteur de recherche ou un système de raisonnement. Le modèle apprend des relations statistiques entre les tokens en traitant des centaines de milliards de mots issus de pages web, de livres, de code et d'autres textes pendant l'entraînement.

Lorsque vous saisissez un prompt, le modèle convertit votre texte en une séquence d'identifiants de tokens numériques, les fait passer à travers des dizaines de couches transformer et produit une distribution de probabilités sur l'ensemble de son vocabulaire (typiquement 50 000 à 100 000 tokens). Il sélectionne un token dans cette distribution, l'ajoute à la séquence et répète jusqu'à générer un token d'arrêt ou atteindre la limite de sortie.

Cette architecture explique plusieurs comportements qui désorientent les utilisateurs : pourquoi les LLMs "hallucinent" des faits plausibles mais faux (ils prédisent un texte probable, pas des vérités vérifiées), pourquoi ils peuvent échouer en arithmétique (patterns de tokens, pas de calcul réel), et pourquoi reformuler un prompt change la sortie (des séquences de tokens différentes déclenchent des distributions de probabilités différentes).

**Avant qu'un LLM puisse traiter du texte, il doit le convertir en une séquence d'identifiants de tokens entiers — un processus appelé tokenisation.** GPT-4o utilise le Byte Pair Encoding (BPE), qui décompose le texte en unités de sous-mots fréquents. Claude Opus 4.7 et Gemini 3.1 Pro utilisent des schémas de tokenisation par sous-mots similaires.

La tokenisation dépend de la langue. Le texte anglais représente en moyenne 1 token pour 0,75 mots. Le chinois et le japonais atteignent 1 token pour 0,5 mots — le même document coûte donc environ deux fois plus de tokens en chinois qu'en anglais, ce qui affecte directement le coût de l'API et l'utilisation de la fenêtre de contexte.

L'architecture transformer utilise un mécanisme appelé self-attention pour déterminer dans quelle mesure chaque token doit « faire attention » à tous les autres tokens de la séquence lors du calcul de sa représentation. Pour chaque token, le modèle calcule trois vecteurs — Query (Q), Key (K) et Value (V) — et calcule les scores d'attention comme des produits scalaires entre Q et K, mis à l'échelle et normalisés avec softmax.

L'attention multi-têtes exécute ce processus en parallèle sur plusieurs « têtes » (GPT-4o utilise 96 têtes d'attention dans ses plus grandes couches), chacune apprenant différents patterns de relations. Certaines têtes se spécialisent dans les relations syntaxiques (sujet-verbe), d'autres dans la similarité sémantique, d'autres encore dans la coréférence (faire correspondre les pronoms aux noms).

Une implication pratique majeure : l'effet « lost in the middle ». Les recherches de Liu et al. (2023) à Stanford montrent que les LLMs sous-pondèrent systématiquement les informations au milieu des longs contextes. Pour les prompts dépassant ~2 000 tokens, placez les instructions critiques dans le system prompt (début) et répétez la contrainte la plus importante à la fin du message utilisateur.

L'entraînement des LLMs se déroule en deux phases distinctes : le pré-entraînement (apprendre les patterns du langage à partir de textes bruts) et l'alignement post-entraînement (façonner le comportement grâce aux retours humains). Ces phases produisent des capacités différentes et expliquent pourquoi les modèles de différents laboratoires se comportent différemment même avec des scores de benchmark similaires.

Pendant le pré-entraînement, le modèle traite un corpus massif — Llama 3.1 a été entraîné sur environ 15 billions de tokens ; GPT-4 sur un estimé de 1 à 2 billions de tokens. L'objectif est simple : prédire le prochain token. Aucune connaissance explicite n'est stockée ; toutes les informations sont encodées comme des patterns statistiques dans les poids du modèle.

L'alignement post-entraînement — typiquement le Reinforcement Learning from Human Feedback (RLHF) ou ses variantes (RLAIF, DPO) — façonne le modèle en assistant utile. Des évaluateurs humains notent les sorties sur l'utilité, l'innocuité et l'honnêteté. Un modèle de récompense est entraîné sur ces évaluations, et le LLM de base est ensuite fine-tuné pour maximiser la récompense. Le RLHF détermine le comportement de refus, le ton et les garde-fous de sécurité — pas l'architecture de base.

Pendant l'inférence, le modèle génère la sortie token par token — calcule une distribution de probabilités sur l'ensemble du vocabulaire et échantillonne selon les paramètres de décodage que vous contrôlez. Les trois paramètres les plus importants sont la température, le top-p (nucleus sampling) et le nombre maximum de tokens.

**La fenêtre de contexte est le nombre maximum de tokens que le modèle peut traiter en un seul appel d'inférence — combinant le system prompt, l'historique de conversation, les documents et le message utilisateur actuel.** Rien ne persiste entre les sessions ; le modèle repart à zéro à chaque fois.

La taille de la fenêtre de contexte varie considérablement selon les modèles et affecte directement quels cas d'usage sont pratiques :

Comprendre l'architecture des LLMs améliore directement la qualité des prompts — la position des tokens, la température, l'utilisation de la fenêtre de contexte et la longueur de sortie ont toutes des effets mesurables sur la fiabilité des sorties.

Ces idées reçues sur les LLMs sont répandues et conduisent fréquemment à des prompts mal conçus :

Testé dans PromptQuorum — l'envoi du même brief créatif à GPT-4o, Claude Opus 4.7 et Gemini 3.1 Pro à température 0 vs température 0,9 a montré que Claude Opus 4.7 présente la plus faible variation de sortie entre températures, tandis que Gemini 3.1 Pro affiche la plus grande variation. À température 0,9, Gemini 3.1 Pro a produit des sorties en moyenne 34 % plus longues qu'à température 0.

Avec le dispatch multi-modèle de PromptQuorum, vous pouvez exécuter n'importe quel prompt simultanément contre tous les modèles disponibles à une température spécifiée et comparer les sorties côte à côte — ce qui rend pratique le calibrage des paramètres de température pour votre tâche spécifique plutôt que de s'appuyer sur les valeurs par défaut des modèles.

L'architecture et les performances des LLMs varient considérablement selon la composition des données d'entraînement, la stratégie de tokenisation et les contraintes réglementaires d'une région à l'autre. Comprendre ces différences est crucial pour les équipes déployant des modèles à l'échelle mondiale.

Qwen 3 atteint une efficacité de tokenisation supérieure pour les scripts CJK (chinois, japonais, coréen)** — utilisant environ 0,3 token par caractère pour le mandarin comparé à 0,5 token par caractère pour GPT-4o. Cette réduction de 40 % du nombre de tokens réduit directement les coûts API et la latence pour les applications en langues asiatiques. Les données d'entraînement de Qwen comprennent 20 % de contenu CJK, optimisant le tokeniseur pour les scripts où la densité caractère-sémantique est la plus élevée.

Mistral 7B et Mistral Large sont explicitement conçus pour le déploiement européen, avec des données d'entraînement filtrées pour respecter le RGPD, la loi française sur l'IA et les réglementations de l'UE sur la conservation des données et la transparence des modèles. Contrairement aux modèles entraînés principalement sur des données web non filtrées, Mistral documente les sources de données et exclut les informations personnelles des citoyens de l'UE de l'entraînement, ce qui en fait le choix par défaut pour les secteurs réglementés en Europe (banque, santé, legal tech).

L'architecture de DeepSeek reflète sa composition d'entraînement : 70 % des données de pré-entraînement sont en chinois et en anglais, 15 % en code, 15 % dans d'autres langues. Ce ratio produit un modèle biaisé vers la fluidité en langue chinoise et la vitesse de génération de code, avec des performances nettement inférieures sur les langues à faibles ressources. La distribution des tokens et les patterns d'attention sont optimisés pour les patterns de fréquence du mandarin, pas de l'anglais.