Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.

Meilleurs modèles Ollama en mode CPU uniquement ?

Par · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

Points clés

  • ✓L'inférence CPU est 5 à 10× plus lente que sur GPU — comptez 3–6 tok/s pour un modèle 7B sur un processeur desktop 8 cœurs moderne
  • ✓Le plus rapide sur CPU : Qwen3 0.6B (~35 tok/s) et Gemma 3 1B (~19 tok/s) dans un test indépendant sur un ancien portable i5
  • ✓Meilleure qualité sur CPU : Phi-4 Mini Q4, environ 4 Go de RAM, ~7 tok/s dans le même test
  • ✓L'inférence CPU convient au traitement par lots et aux requêtes ponctuelles ; trop lente pour le chat interactif
Meilleurs modèles Ollama en mode CPU uniquement ?

Réponse rapide

Le modèle Ollama CPU le plus rapide est Qwen3 0.6B (~35 tok/s dans un test indépendant) ou Gemma 3 1B (~19 tok/s). Pour la meilleure qualité de réponse sans GPU, choisissez Phi-4 Mini Q4 (~7 tok/s, environ 4 Go de RAM) ou Llama 3.2 3B Q4. Les machines avec 2 Go de RAM doivent rester à 1B de paramètres ou moins.

  • ▸Le plus rapide : Qwen3 0.6B (~35 tok/s) et Gemma 3 1B (~19 tok/s), tous deux tiennent dans 2 Go de RAM
  • ▸Meilleure qualité : Phi-4 Mini Q4 (~7 tok/s), nécessite environ 4 Go de RAM
  • ▸Équilibré : Llama 3.2 3B Q4, téléchargement de 2,0 Go, environ 4 Go de RAM
Ollama

La réalité de la vitesse CPU

L'inférence CPU tourne à 3–6 tokens par seconde sur un processeur desktop 8 cœurs moderne — soit environ 5 à 10× plus lentement qu'un GPU milieu de gamme. Un modèle 7B en Q4 produit un mot environ toutes les 200 à 300 millisecondes sur CPU.

Cette vitesse est acceptable pour deux cas d'usage : le traitement par lots nocturne (résumé de documents, classification de données) et les requêtes ponctuelles où une attente de 30 secondes est tolérable. Pour le chat interactif ou la complétion de code en temps réel, l'inférence CPU est trop lente.

La contrainte fondamentale est la bande passante mémoire, pas la fréquence CPU. Les CPU grand public lisent la RAM à 40–80 GB/s. Un GPU dédié lit la VRAM à 400–900 GB/s. L'inférence LLM est directement proportionnelle à la bande passante mémoire — c'est pourquoi même un GPU milieu de gamme surpasse largement un CPU haut de gamme.

Top 4 des modèles pour un usage CPU uniquement

Qwen3 0.6B et Gemma 3 1B sont les modèles Ollama CPU les plus rapides ; Phi-4 Mini Q4 offre la meilleure qualité de réponse à environ 7 tok/s. Les vitesses ci-dessous proviennent d'un test CPU uniquement de It's FOSS indépendant sur un ancien portable Intel i5 avec 12 Go de RAM ; les CPU à mémoire plus rapide vont plus vite.

Gemma 3 1B (806 Mo de téléchargement) et Qwen3 0.6B (523 Mo) sont les options pratiques quand la RAM est limitée à 2 Go, au prix d'un raisonnement multi-étapes plus faible. Des modèles plus grands comme Gemma 4 E2B (4,6 Go+ de téléchargement, ~10 tok/s dans le même test) demandent plus de mémoire qu'une machine de 4 Go.

Pour la comparaison complète des configurations CPU-only incluant les exigences RAM et les optimisations système, consultez le guide des meilleurs LLMs CPU-only.

ModèleTéléchargement OllamaRAM min.Vitesse CPU
Qwen3 0.6B523 Mo~2 Go~34–36 tok/s
Gemma 3 1B806 Mo~2 Go~19 tok/s
Llama 3.2 3B Q42,0 Go~4 GoNon testé
Phi-4 Mini Q42,5 Go~4 Go~7 tok/s

Guides associés

Réponses rapides sur les LLMs CPU-only

Quel modèle Ollama est le plus rapide sur CPU ?▾
Qwen3 0.6B est le plus rapide, à environ 34–36 tok/s dans un test indépendant sur un ancien portable Intel i5, suivi de Gemma 3 1B à environ 19 tok/s. Les deux sacrifient la profondeur de raisonnement à la vitesse ; utilisez Phi-4 Mini Q4 (~7 tok/s) quand la qualité des réponses prime.
Ollama peut-il tourner sur un PC avec 2 Go de RAM ?▾
Oui, avec un modèle de 1B de paramètres ou moins : Qwen3 0.6B (523 Mo de téléchargement) ou Gemma 3 1B (806 Mo). Fermez d'abord les autres applications, car le système et l'environnement d'exécution d'Ollama ont aussi besoin de 1 à 2 Go. Les modèles de 3B et plus demandent environ 4 Go.
De combien de RAM ai-je besoin pour Ollama en mode CPU-only ?▾
Environ 2 Go pour Qwen3 0.6B ou Gemma 3 1B, et environ 4 Go pour Llama 3.2 3B Q4 ou Phi-4 Mini Q4. Ajoutez 1 à 2 Go à la taille du téléchargement pour le système et l'environnement d'exécution d'Ollama.
Pourquoi l'inférence CPU est-elle si lente comparée au GPU ?▾
L'inférence LLM est limitée par la bande passante mémoire. Les CPU grand public lisent la RAM à 40–80 GB/s. Un GPU milieu de gamme lit la VRAM à 400–900 GB/s. Cette différence de bande passante de 10× se traduit directement par une génération de tokens 5 à 10× plus lente.
Puis-je utiliser Ollama sur un laptop sans GPU dédié ?▾
Oui. Ollama fonctionne automatiquement sur le CPU quand aucun GPU n'est détecté. Comptez 3 à 5 tok/s sur un CPU laptop moderne. Consultez les meilleurs modèles Ollama en ce moment pour des recommandations GPU si vous mettez à niveau.
Quels CPU sont les plus rapides pour l'inférence LLM locale ?▾
Les puces Apple M-series (M3, M4) utilisent une architecture mémoire unifiée et atteignent 15 à 30 tok/s sur les modèles 7B — bien au-dessus des CPU x86 en inférence CPU-only. Parmi les CPU x86, ceux disposant d'une bande passante mémoire élevée et d'un grand cache L3 offrent les meilleures performances.
MCP