DeepSeek-R1 vs distills 2026 : ce que vous perdez vraiment

**Quand vous tapez ollama run deepseek-r1:14b, vous n'exécutez pas une version plus petite de DeepSeek-R1 — vous exécutez Qwen2.5 14B entraîné à imiter le raisonnement de R1.** Le nom « DeepSeek-R1-Distill-Qwen-14B » est précis mais facile à mal lire : la partie « DeepSeek-R1 » décrit d'où vient le raisonnement, et la partie « Qwen-14B » est le modèle réel qui tourne sur votre GPU.

Cela compte, car les attentes suivent le nom. On suppose qu'un distill est « R1, mais plus petit et un peu moins bon ». Il est plus proche d'« un modèle ouvert compétent qui a appris à penser comme R1 ». Ce cadrage prédit le comportement que vous observerez réellement : une excellente structure de raisonnement, des lacunes ponctuelles en savoir brut ou en fiabilité dans les cas les plus difficiles.

Pour la réalité matérielle expliquant pourquoi le modèle complet est inaccessible chez soi, voir Configuration matérielle locale de DeepSeek V3 — V3 est le frère modèle de chat avec la même empreinte de classe 671B.

Le DeepSeek-R1 complet est un modèle Mixture-of-Experts (MoE) de 671 milliards de paramètres qui active environ 37B paramètres par token et nécessite environ 376–404 Go de VRAM en Q4 — matériel de datacenter uniquement. C'est le modèle qui génère le raisonnement de haute qualité que les distills apprennent à imiter.

MoE signifie que le modèle achemine chaque token via un petit sous-ensemble de sous-réseaux « experts », de sorte que seuls ~37B des 671B paramètres s'activent par token. Cela rend l'inférence moins coûteuse qu'un modèle 671B dense — mais chacun des 671B paramètres doit tout de même résider en mémoire, raison pour laquelle il ne tient pas sur du matériel grand public.

Un build Unsloth en 1.58 bits (IQ1_S, ~131 Go) existe et tourne techniquement, mais à environ 0.3 token par seconde, c'est une curiosité, pas une configuration locale exploitable. En pratique, le R1 complet vit dans le cloud et les distills vivent sur votre machine.

DeepSeek a généré environ 800 000 échantillons de raisonnement avec le R1 complet, puis a affiné des modèles de base ouverts existants — Qwen2.5 (1.5B, 7B, 14B, 32B) et Llama 3 (8B, 70B) — sur ces échantillons. Les modèles de base apprennent à reproduire le schéma de raisonnement pas à pas de R1 sans jamais contenir les paramètres de R1.

Il s'agit d'un affinage supervisé sur des traces de raisonnement de haute qualité, et non d'apprentissage par renforcement sur les petits modèles. Les distills héritent de la *forme* de la pensée de R1 — quand développer une chaîne de raisonnement, quand revenir en arrière, quand vérifier — superposée à ce que le modèle de base savait déjà.

C'est pourquoi le choix de la base compte tant. Un distill n'est aussi savant que sa base, plus la discipline de raisonnement copiée de R1. Une base faible avec d'excellentes traces de raisonnement plafonne tout de même en capacité brute.

La distillation transfère de manière fiable les trois comportements qui font de R1 un solide raisonneur : chaîne de raisonnement, auto-vérification et réflexion. Ils survivent car ce sont des schémas de génération de tokens, et les schémas sont précisément ce que l'affinage supervisé copie bien.

La distillation ne peut pas transférer la capacité brute, l'étendue des connaissances ou la fiabilité du modèle 671B complet sur les problèmes les plus difficiles — une petite base a simplement moins d'espace pour stocker et combiner l'information. Plus le distill est petit, plus cet écart est grand.

Pour la plupart du raisonnement local, l'écart est assez faible pour être ignoré ; il ne devient décisif que sur les problèmes à la limite du domaine ou les tâches exigeant un large savoir général. Décidez selon le cas d'usage, pas en courant après le plus gros modèle.

DeepSeek-R1-0528-Qwen3-8B montre qu'une base plus forte réduit l'écart de distillation : bâti sur Qwen3 8B avec le raisonnement du R1-0528 mis à jour, il domine les modèles 8B ouverts sur AIME 2024 et marque environ 10 points de plus que la base Qwen3 8B. Même classe de taille que le distill 8B d'origine, un raisonnement nettement meilleur — parce que la base est meilleure et la source de raisonnement plus récente.

La leçon pour choisir un distill : du côté des petits modèles, préférez le modèle à la base plus forte et plus récente plutôt qu'un distill plus ancien au même nombre de paramètres. La capacité par gigaoctet progresse plus vite grâce à de meilleures bases qu'à la taille brute.

Exécutez chaque distill DeepSeek-R1 à une température de 0.6 (0.5–0.7 est sûr) sans prompt système — placez toutes les instructions dans le prompt utilisateur. Cela évite le mode d'échec de répétition et d'incohérence auquel la famille R1 est sujette quand on lui donne un prompt système ou une température proche de 0 ou supérieure à ~0.8.

Si vous comparez un distill au R1 complet hébergé et que le distill boucle ou dérive, corrigez la configuration avant de conclure que le distill est faible — de mauvais réglages d'échantillonnage masquent sa vraie qualité.