DeepSeek-R1 vs distills 2026 : ce que vous perdez vraiment

Quand vous tapez ollama run deepseek-r1:14b, vous n'exécutez pas une version plus petite de DeepSeek-R1 — vous exécutez Qwen2.5 14B entraîné à imiter le raisonnement de R1. Le nom « DeepSeek-R1-Distill-Qwen-14B » est précis mais facile à mal lire : la partie « DeepSeek-R1 » décrit d'où vient le raisonnement, et la partie « Qwen-14B » est le modèle réel qui tourne sur votre GPU.

Cela compte, car les attentes suivent le nom. On suppose qu'un distill est « R1, mais plus petit et un peu moins bon ». Il est plus proche d'« un modèle ouvert compétent qui a appris à penser comme R1 ». Ce cadrage prédit le comportement que vous observerez réellement : une excellente structure de raisonnement, des lacunes ponctuelles en savoir brut ou en fiabilité dans les cas les plus difficiles.

Pour la réalité matérielle expliquant pourquoi le modèle complet est inaccessible chez soi, voir Configuration matérielle locale de DeepSeek-V3 — V3 est le frère modèle de chat avec la même empreinte de classe 671B.

Mise à jour — la génération actuelle de DeepSeek est DeepSeek-V4, et non R1. V4 (Flash et Pro) est publié en poids ouverts (V4-Flash : environ 284B de paramètres au total, 13B actifs, licence MIT), mais relève de la classe serveur et non d'un modèle pour un seul GPU. Le journal des modifications de DeepSeek prévoyait l'arrêt, le 2026-07-24, des anciens noms d'API deepseek-chat et deepseek-reasoner (générations V3 et R1) ; l'API sert désormais la famille V4. Un « R1 hébergé » désigne donc ici les poids complets de R1 chez un hébergeur tiers ou sur votre propre cluster. Les distillations R1 traitées ici sont des publications distinctes en poids ouverts, non retirées par cet avis et toujours exécutables en local — ce sont des modèles de la génération précédente, pas la gamme la plus récente de DeepSeek.

Le DeepSeek-R1 complet est un modèle Mixture-of-Experts (MoE) de 671 milliards de paramètres qui active environ 37B paramètres par token et nécessite environ 376–404 Go de VRAM en Q4 — matériel de datacenter uniquement. C'est le modèle qui génère le raisonnement de haute qualité que les distills apprennent à imiter.

MoE signifie que le modèle achemine chaque token via un petit sous-ensemble de sous-réseaux « experts », de sorte que seuls ~37B des 671B paramètres s'activent par token. Cela rend l'inférence moins coûteuse qu'un modèle 671B dense — mais chacun des 671B paramètres doit tout de même résider en mémoire, raison pour laquelle il ne tient pas sur du matériel grand public.

Unsloth propose un build dynamique en 1.58 bit du R1 complet (environ 131 Go), qui peut techniquement tourner sur une machine disposant d'au moins 80 Go de VRAM et de RAM cumulées ; mais Unsloth lui-même qualifie de « très lents » les montages à faible mémoire et cite environ 14 jetons par seconde pour un utilisateur unique sur 2x H100 80 Go. C'est une curiosité, pas une configuration domestique réaliste. En pratique, le R1 complet vit dans le cloud et les distills vivent sur votre machine.

DeepSeek a généré environ 800 000 échantillons de raisonnement avec le R1 complet, puis a affiné des modèles de base ouverts existants — Qwen2.5 (Math-1.5B, Math-7B, 14B, 32B) et Llama 3.x (3.1-8B, 3.3-70B-Instruct) — sur ces échantillons. Les modèles de base apprennent à reproduire le schéma de raisonnement pas à pas de R1 sans jamais contenir les paramètres de R1.

Il s'agit d'un affinage supervisé sur des traces de raisonnement de haute qualité, et non d'apprentissage par renforcement sur les petits modèles. Les distills héritent de la *forme* de la pensée de R1 — quand développer une chaîne de raisonnement, quand revenir en arrière, quand vérifier — superposée à ce que le modèle de base savait déjà.

C'est pourquoi le choix de la base compte tant. Un distill n'est aussi savant que sa base, plus la discipline de raisonnement copiée de R1. Une base faible avec d'excellentes traces de raisonnement plafonne tout de même en capacité brute.

DeepSeek a publié six distills R1 sur quatre familles de modèles de base — Qwen2.5-Math, Qwen2.5, Llama 3.1 et Llama 3.3 — puis ajouté DeepSeek-R1-0528-Qwen3-8B sur une base Qwen3. Choisissez selon la base et la taille, pas selon le « R1 » du nom.

La distillation transfère de manière fiable les trois comportements qui font de R1 un solide raisonneur : chaîne de raisonnement, auto-vérification et réflexion. Ils survivent car ce sont des schémas de génération de tokens, et les schémas sont précisément ce que l'affinage supervisé copie bien.

La distillation ne peut pas transférer la capacité brute, l'étendue des connaissances ou la fiabilité du modèle 671B complet sur les problèmes les plus difficiles — une petite base a simplement moins d'espace pour stocker et combiner l'information. Plus le distill est petit, plus cet écart est grand.

Pour la plupart du raisonnement local, l'écart est assez faible pour être ignoré ; il ne devient décisif que sur les problèmes à la limite du domaine ou les tâches exigeant un large savoir général. Décidez selon le cas d'usage, pas en courant après le plus gros modèle.

DeepSeek-R1-0528-Qwen3-8B montre qu'une base plus forte réduit l'écart de distillation : bâti sur Qwen3 8B avec le raisonnement du R1-0528 mis à jour, il domine les modèles 8B ouverts sur AIME 2024 et marque environ 10 points de plus que la base Qwen3 8B. Même classe de taille que le distill 8B d'origine, un raisonnement nettement meilleur — parce que la base est meilleure et la source de raisonnement plus récente.

La leçon pour choisir un distill : du côté des petits modèles, préférez le modèle à la base plus forte et plus récente plutôt qu'un distill plus ancien au même nombre de paramètres. La capacité par gigaoctet progresse plus vite grâce à de meilleures bases qu'à la taille brute.

Exécutez chaque distill DeepSeek-R1 à une température de 0.6 (0.5–0.7 est sûr) sans prompt système — placez toutes les instructions dans le prompt utilisateur. Cela évite le mode d'échec de répétition et d'incohérence auquel la famille R1 est sujette quand on lui donne un prompt système ou une température proche de 0 ou supérieure à ~0.8.

Si vous comparez un distill au R1 complet hébergé et que le distill boucle ou dérive, corrigez la configuration avant de conclure que le distill est faible — de mauvais réglages d'échantillonnage masquent sa vraie qualité.

Exception : DeepSeek-R1-0528-Qwen3-8B accepte un prompt système. Sa fiche de modèle indique que le préfixe <think> forcé n'est plus nécessaire, et la température 0.6 (top-p 0.95 dans les évaluations de DeepSeek) reste valable. La règle « pas de prompt système » vaut pour le R1 d'origine et les six distills d'origine.