Meilleurs petits LLM locaux 2026 : top des modèles 4B et le plus petit à exécuter en local

Un petit LLM local est généralement un modèle d'environ 4 milliards de paramètres ou moins. En quantification 4 bits, ces modèles se téléchargent à environ 1-4 Go (la conception à paramètres effectifs de Gemma 4 fait exception, voir plus bas) -- bien dans les limites des ordinateurs portables d'entrée de gamme dotés de 4 à 8 Go de mémoire totale.

Les petits modèles conviennent au résumé, aux questions-réponses simples, à l'explication d'extraits de code, aux traductions courtes, à la reformulation et à la classification. Ils ne sont pas adaptés aux longues chaînes de raisonnement à plusieurs étapes, à la génération de code à grande échelle ni à la rédaction longue et cohérente.

L'écart de qualité entre un modèle 4B et un modèle de 7-9B reste réel. Si votre machine dispose de 8 Go ou plus et d'une marge confortable, un modèle de 7-9B comme Qwen3.5 9B (6.6-7.6 Go sur Ollama) est généralement le meilleur choix. Consultez Meilleurs modèles LLM locaux pour débutants pour les recommandations 7B.

Qwen3.5 4B est le modèle de classe 4B le plus performant de ce comparatif, avec MMLU-Pro 79.1, GPQA Diamond 76.2 et LiveCodeBench v6 55.8 sur la fiche de modèle de Qwen. Il est sorti début 2026 dans la série Qwen3.5 Small sous licence Apache 2.0, accepte le texte et les images, prend en charge l'appel d'outils et dispose d'une fenêtre de contexte native de 262 144 tokens.

Deux points à connaître. Premièrement, les modèles Qwen3.5 réfléchissent par défaut, ce qui améliore le raisonnement mais ralentit sur CPU -- désactivez la réflexion pour les tâches simples. Deuxièmement, la fiche de modèle ne précise pas quel mode sous-tend les benchmarks phares, et le protocole d'évaluation de Qwen diffère de celui de Google et de Microsoft : comparez donc les chiffres de façon indicative, pas point par point.

Google Gemma 4 E4B obtient 69.4 % sur MMLU-Pro, 52.0 % sur LiveCodeBench v6 et 58.6 % sur GPQA Diamond, selon la fiche de modèle de Google. « E4B » désigne 4.5B de paramètres effectifs ; avec les embeddings par couche, le modèle atteint environ 8B de paramètres, ce qui explique que le téléchargement Ollama pèse 6.6-9.5 Go malgré l'étiquette « 4B ». Il accepte le texte et les images, dispose d'une fenêtre de contexte de 128K et est publié sous licence Apache 2.0.

Choisissez E4B plutôt que Qwen3.5 4B si vous voulez l'écosystème de Google, de solides résultats multilingues (MMMLU 76.6 %) ou un score agentique Tau2 de 42.2 %. Choisissez Qwen3.5 4B si vous voulez une qualité de même classe pour environ la moitié de l'espace disque et de mémoire.

Microsoft Phi-4 Mini obtient 67.3 % sur MMLU et 52.8 % sur MMLU-Pro selon sa fiche de modèle, pour un téléchargement de 2.5 Go -- l'empreinte la plus réduite de tous les modèles de classe 4B présentés ici. Il est sous licence MIT, dispose d'une fenêtre de contexte de 128K et a été entraîné sur des données synthétiques sélectionnées, axées sur le raisonnement.

Il est en retrait de Qwen3.5 4B et de Gemma 4 E4B sur les benchmarks de raisonnement (GPQA 25.2 contre 76.2 et 58.6) : choisissez-le donc quand la mémoire est la contrainte -- machines de 4-6 Go -- ou quand vous souhaitez la licence permissive MIT.

Qwen3.5 2B est le meilleur choix quand un modèle 4B ne tient pas. La fiche de modèle de Qwen indique MMLU-Pro 55.3 en mode sans réflexion et 66.5 en mode réflexion, et GPQA 51.6 en mode réflexion. Il se télécharge à 2.7-3.1 Go sur Ollama, accepte les images, dispose d'une fenêtre de contexte de 256K et est sous licence Apache 2.0.

Comparé au modèle 0.8B, il est bien plus fiable pour le suivi d'instructions (IFEval 61.2 contre 52.1 sans réflexion), et c'est le plus petit modèle de cette liste que nous utiliserions pour un vrai travail de résumé et de questions-réponses.

Google Gemma 4 E2B obtient 60.0 % sur MMLU Pro, 44.0 % sur LiveCodeBench v6 et 43.4 % sur GPQA Diamond, selon la fiche de modèle de Google. Les paramètres effectifs sont de 2.3B (5.1B avec les embeddings par couche). Ce chiffre de paramètres effectifs ne signifie pas un fichier de 2 Go : Ollama indique un téléchargement de 4.6-7.5 Go, il demande donc plus de mémoire que Qwen3.5 2B pour des résultats de classe comparable.

Il dispose d'une fenêtre de contexte de 128K, accepte les images et est sous licence Apache 2.0. Le débit sur CPU varie selon le matériel et la quantification (Google annonce environ 7.6 tok/s en décodage sur un Raspberry Pi 5 ; des mesures indépendantes sur x86 vont de 8 à 48 tok/s). Choisissez-le pour des appareils edge si vous voulez l'outillage de Google ; sinon, Qwen3.5 2B est plus léger.

Qwen3.5 0.8B est le plus petit modèle de ce comparatif : un téléchargement de 1.2-1.3 Go sur Ollama, avec une fenêtre de contexte de 256K et une licence Apache 2.0. Son MMLU-Pro annoncé par l'éditeur est de 29.7 (sans réflexion) et 42.3 (avec réflexion), et son GPQA de 11.9 -- suffisant pour la classification, l'extraction de mots-clés et les courtes reformulations, mais pas pour le raisonnement à plusieurs étapes ni les réponses longues. Ne l'utilisez que lorsque la RAM est réellement la contrainte décisive (moins de 3 Go disponibles), sur des ordinateurs monocarte, ou comme pré-filtre rapide dans un pipeline.

France / UE (RGPD, CNIL) : pour les professionnels européens qui exécutent de l'IA sur du matériel contraint -- travail de terrain, environnements isolés du réseau, ordinateurs portables d'entreprise anciens --, les petits modèles locaux peuvent exécuter l'inférence entièrement sur l'appareil, sans appel d'API cloud, à condition que le runtime et les applications aient la télémétrie et la synchronisation désactivées. Exécuter Qwen3.5 4B ou Phi-4 Mini sur un portable d'entreprise standard garde tout le texte traité sur l'appareil, ce qui va dans le sens de l'objectif de minimisation des données de l'article 5 du RGPD ; la conformité d'un déploiement donné dépend toutefois de l'ensemble de votre configuration. La CNIL recommande d'ailleurs d'envisager une IA exécutée en local lorsque des données professionnelles sensibles (financières, médicales, juridiques) sont traitées. Les licences sont permissives : Phi-4 Mini est sous MIT, Gemma 4 et Qwen3.5 sous Apache 2.0. Les options d'origine européenne à cette taille sont limitées ; consultez la gamme actuelle de Mistral si l'origine européenne est une exigence.

Japon (METI) : pour les tâches en japonais au niveau des petits modèles, Qwen3.5 et Gemma 4 E4B affichent tous deux des scores MMMLU d'environ 76 sur leurs fiches de modèle. Sur une machine contrainte, essayez `ollama run qwen3.5:2b` ou `ollama run qwen3.5:4b` pour résumer ou traduire du japonais. L'avantage de vitesse des petits modèles compte pour un usage en entreprise sur du matériel de bureau standard, même si la vitesse réelle dépend de votre CPU et de la quantification.

Chine : Qwen3.5 (Alibaba, Apache 2.0) est le choix naturel pour déployer un petit modèle en langue chinoise. Pour les déploiements IoT et edge soumis à la loi chinoise sur la sécurité des données (数据安全法), `ollama run qwen3.5:2b` tourne sur un appareil Linux avec environ 4 Go de RAM et traite le texte sur l'appareil, sans aucun appel à une API externe ; vérifiez séparément vos propres obligations de conformité.