Exécuter un LLM 70B en local 2026 : RAM, VRAM et vitesse

Un modèle 70B est un grand modèle de langage d'environ 70 milliards de paramètres -- les poids appris qui constituent le réseau. « B » signifie milliard (billion en anglais). Llama 3.3 70B compte 70.6 milliards de paramètres et Qwen2.5 72B en compte 72.7 milliards.

La mémoire est égale au nombre de paramètres multiplié par les octets par poids : des poids de 16 bits occupent 2 octets chacun (environ 141 Go), 8 bits (Q8_0) environ 1 octet (75 Go) et le Q4_K_M en 4 bits environ 0.6 octet (43 Go). C'est pourquoi le 70B est la taille à partir de laquelle le matériel grand public a besoin de 40 Go ou plus de mémoire rapide, alors que les modèles 7B-14B tiennent sur un portable ordinaire.

Il faut environ 43 Go de mémoire rapide pour le modèle plus 3-10 Go pour le contexte, dans la VRAM d'un GPU, la mémoire unifiée d'Apple ou la RAM système -- et plus cette mémoire est rapide, plus le modèle génère vite.

Les vitesses ci-dessous sont des estimations pour un utilisateur seul en conversation à contexte court, dérivées de la bande passante mémoire (voir « Pourquoi la bande passante fixe la vitesse »). Ce sont des plafonds ramenés à une efficacité typique de 60-80 %, et non des benchmarks réalisés par PromptQuorum ; le chiffre du DGX Spark fait exception : il a été mesuré par des tiers.

Les tailles ci-dessous correspondent aux fichiers Llama 3.3 70B de la bibliothèque Ollama ; les autres modèles 70B diffèrent de quelques pour cent. Il s'agit des poids seuls -- ajoutez la mémoire de contexte vue dans la section suivante.

Le contexte ajoute de la mémoire en plus des poids : Llama 3.3 70B stocke environ 0.33 Mo de cache KV par token en FP16, soit à peu près 2.7 Go à 8K tokens, 10.7 Go à 32K et 43 Go à 128K. Ce chiffre découle de l'architecture du modèle : 80 couches x 8 têtes clé-valeur x 128 dimensions x 2 (clés et valeurs) x 2 octets = 327 680 octets par token.

Chaque session simultanée conserve son propre cache KV, tandis que les poids sont partagés. Un système multi-agents de quatre agents à 32K tokens chacun demande environ 43 Go de poids plus 43 Go de cache. Activer la flash attention et un cache KV 8 bits dans Ollama (OLLAMA_FLASH_ATTENTION=1 et OLLAMA_KV_CACHE_TYPE=q8_0) réduit le cache environ de moitié.

Chaque token généré lit une fois tous les poids du modèle : la vitesse de décodage est donc plafonnée par la bande passante mémoire divisée par la taille du modèle. Un modèle Q4_K_M de 43 Go sur 614 Go/s de bande passante est plafonné à environ 14 tokens/s ; la vitesse réelle atteint généralement 60-80 % de ce plafond.

La même règle explique pourquoi grande mémoire ne veut pas dire rapide : le DGX Spark de 128 Go offre 273 Go/s, soit un plafond d'environ 6 tokens/s en Q4_K_M, et LMSYS a mesuré 2.7 tokens/s pour Llama 3.1 70B en FP8 (environ 70 Go, plafond 3.9). La capacité décide si un modèle tourne ; la bande passante décide à quelle vitesse. Le traitement du prompt (prefill) est limité par le calcul et se comporte différemment.

Apple Silicon est le moyen le plus simple de loger un modèle 70B entièrement dans une mémoire accessible au GPU, car le CPU et le GPU partagent un même pool de mémoire unifiée. Un Mac de 64 Go ou plus exécute le Q4_K_M sans déchargement de couches, à une vitesse fixée par la bande passante de la puce : environ 9-11 tokens/s sur un M5 Max et 12-15 sur un M2 Ultra d'occasion (estimations). Nous n'avons trouvé aucun benchmark publié du 70B sur les puces M5 pour l'instant.

Apple a annoncé le Mac Studio avec M5 Max et M5 Ultra le 25 août 2026 ; les deux sont sortis le 22 septembre 2026. Le M5 Max démarre à 2 499 $ avec 36 Go et monte à 128 Go, à une bande passante allant jusqu'à 614 Go/s -- configurez 64 Go ou plus pour un 70B. Le M5 Ultra démarre à 5 499 $ avec 96 Go, monte à 512 Go à une bande passante allant jusqu'à 1.2 To/s et exécute confortablement le Q8_0 ; la configuration à 512 Go était annoncée pour fin octobre.

Le Mac mini M5 Pro démarre à 1 699 $ avec 24 Go, et non 64 Go. La configuration de 64 Go sur commande (307 Go/s, Thunderbolt 5) contient un modèle 70B en Q4_K_M mais ne génère qu'environ 4-5 tokens/s, et les tests la situent à environ 2 700-3 200 $ selon le CPU et le stockage. Le Mac mini M6 de base (899 $) plafonne à 32 Go et 170 Go/s et ne peut exécuter un modèle 70B à aucun niveau de quantification.

Par défaut, macOS limite la mémoire adressable par le GPU à environ 75 % de la RAM (environ 48 Go sur un Mac de 64 Go). Pour exécuter le Q5_K_M (50 Go), relevez la limite, par exemple sudo sysctl iogpu.wired_limit_mb=57344 sur un Mac de 64 Go ; ce réglage disparaît au redémarrage et ne laisse au système qu'environ 8 Go.

Le NVIDIA DGX Spark est un ordinateur d'IA de bureau compact doté de 128 Go de mémoire unifiée LPDDR5x à 273 Go/s, construit sur le superpuce GB10 Grace Blackwell avec prise en charge de CUDA. Il charge un modèle 70B même en Q8_0 (75 Go), mais la bande passante limite la génération : LMSYS a mesuré 2.7 tokens/s de décodage pour Llama 3.1 70B en FP8, et des essais communautaires avec llama.cpp en Q4_K_M sont rapportés autour de 4-5 tokens/s.

Les prix ont fortement bougé. NVIDIA a relevé la Founders Edition de 3 999 $ à 4 699 $ en février 2026 en raison de contraintes d'approvisionnement en mémoire, et un prix de 6 950 $ a été rapporté en octobre 2026, ainsi qu'une version de 64 Go à 4 999 $ vendue par des partenaires à partir du 23 octobre 2026. Vérifiez les prix en vigueur avant d'acheter.

Les mini-PC et portables AMD Ryzen AI Max+ 395 (« Strix Halo ») offrent 128 Go de LPDDR5X à 256 Go/s, la même classe de bande passante, et une estimation similaire d'environ 4-5 tokens/s pour un modèle 70B dense. Ces deux plateformes conviennent mieux aux modèles à mélange d'experts (voir plus bas), à CUDA et au fine-tuning qu'au chat avec un 70B dense.

Ollama et llama.cpp répartissent un modèle entre la VRAM du GPU et la RAM système : les couches en VRAM tournent à la vitesse du GPU, celles en RAM à la vitesse mémoire du CPU, et la partie lente domine. Avec une RTX 4090 (24 Go), environ 55 % d'un modèle 70B en Q4_K_M tiennent sur le GPU et le reste est lu depuis la DDR5 à environ 90 Go/s, ce qui limite la génération à environ 2-4 tokens/s. Une RTX 5090 (32 Go) en contient environ 70 % et atteint selon nos estimations 4-6 tokens/s.

Ollama décharge automatiquement ; aucune option n'est nécessaire. Exécutez ollama ps pour voir la répartition (colonne PROCESSOR, par exemple 45%/55% CPU/GPU). Dans llama.cpp, fixez le nombre de couches avec -ngl.

Pour un seul utilisateur, Ollama ou llama.cpp avec répartition par couches est la voie multi-GPU la plus simple ; pour plusieurs utilisateurs ou agents simultanés, vLLM ou SGLang avec parallélisme de tenseurs offrent un débit total bien supérieur. Deux cartes de 24 Go (RTX 3090 ou 4090) donnent 48 Go, assez pour le Q4_K_M avec un contexte court.

La répartition par couches ne transmet les activations entre les cartes qu'une fois par token et fonctionne sur un simple PCIe, ce qui convient aux cartes mixtes ou grand public. Le parallélisme de tenseurs découpe chaque couche entre les GPU et profite de liaisons rapides : la RTX 3090 accepte un pont NVLink, contrairement aux RTX 4090 et 5090.

L'inférence 70B sur CPU seul est limitée par la bande passante mémoire : la DDR5 double canal d'un PC de bureau (environ 90 Go/s) donne à peu près 1-2 tokens/s en Q4_K_M, et ajouter de la capacité de RAM ne l'accélère pas. À 1.5 token/s, une réponse de 200 mots (environ 270 tokens) prend autour de trois minutes.

256 Go de RAM changent ce qui tient en mémoire, pas la vitesse : ils permettent de charger le Q8_0 (75 Go) ou le FP16 (141 Go) avec un long contexte. La vitesse dépend du nombre de canaux mémoire -- un serveur Threadripper PRO à 8 canaux ou EPYC à 12 canaux offre trois à cinq fois la bande passante d'un PC de bureau. Les cartes mères de bureau équipées de quatre grandes barrettes font souvent tourner leur mémoire plus lentement qu'avec deux. Le traitement du prompt sur CPU est aussi lent pour les longues entrées.

Les estimations ci-dessous appliquent la règle de la bande passante à 70 % d'efficacité ; ce ne sont pas des benchmarks mesurés.

Les modèles à mélange d'experts (MoE) ont besoin de mémoire pour tous leurs paramètres mais ne lisent que les experts actifs pour chaque token : ils génèrent donc bien plus vite qu'un modèle 70B dense de même empreinte mémoire. gpt-oss-120b d'OpenAI compte environ 117 milliards de paramètres dont environ 5.1 milliards actifs ; Llama 4 Scout de Meta en compte 109 milliards dont 17 milliards actifs.

La règle de la bande passante s'applique aux poids actifs : les modèles MoE tirent donc le meilleur parti des machines à grande capacité et bande passante modérée, comme le DGX Spark, les PC Ryzen AI Max+ 395 et un Mac mini M5 Pro de 64 Go. Pour un modèle 70B dense sur ce matériel, comptez 4-5 tokens/s ; comparez la taille du fichier de chaque modèle MoE à votre mémoire avant de le télécharger.

Llama 3.3 70B est le modèle dense 70B par défaut : Meta annonce 86.0 sur MMLU (CoT) et 88.4 sur HumanEval, avec une fenêtre de contexte de 128K. Qwen2.5 72B est la principale alternative pour l'usage multilingue et le code. Il n'existe pas de Qwen3 72B -- les modèles denses Qwen3 s'arrêtent à 32B -- une mention de « Qwen3 72B » désigne donc Qwen2.5 72B.

Commandes : ollama run llama3.3:70b, ollama run qwen2.5:72b, ollama run deepseek-r1:70b.

Le fine-tuning QLoRA d'un modèle 70B demande environ 35-48 Go de mémoire GPU par exécution : deux GPU de 24 Go avec FSDP+QLoRA, ou un seul GPU de 48-80 Go. QLoRA garde le modèle de base en 4 bits (environ 35 Go) et entraîne de petits adaptateurs ; Answer.AI l'a démontré sur deux GPU gaming de 24 Go.

Un fine-tuning complet en 16 bits demande environ 16 octets par paramètre pour les poids, les gradients et les états de l'optimiseur -- de l'ordre de 1 To --, ce qui relève d'un serveur multi-GPU. Louer un GPU cloud de 80 Go est généralement plus pratique que de construire du matériel pour des exécutions occasionnelles.

UE / RGPD : un modèle 70B local représente le plafond pratique de qualité d'IA exécutable en privé pour la plupart des organisations. Traiter des documents juridiques, médicaux ou financiers sur site garde les prompts et les sorties dans votre propre infrastructure, ce qui soutient la minimisation des données et la maîtrise des risques liés aux transferts ; cela ne rend pas à lui seul un déploiement conforme au RGPD, évaluez donc l'ensemble de l'activité de traitement.

Pour les organisations qui exigent du matériel issu d'une chaîne d'approvisionnement européenne, Apple (États-Unis) et NVIDIA (États-Unis) sont des fournisseurs hors UE ; Dell, HP et Lenovo vendent des systèmes basés sur GB10 avec un support local. Côté modèles, Mistral Large 2 provient d'un développeur de l'UE mais est publié sous une licence de recherche qui ne couvre pas l'usage commercial.

Japon : Qwen2.5 72B est un choix courant pour le texte japonais : `ollama run qwen2.5:72b`. Documenter le matériel et les versions de modèles (la sortie de `ollama ps` identifie le modèle chargé) soutient la gouvernance interne au regard des lignes directrices japonaises sur l'IA à destination des entreprises.

Chine : héberger Qwen2.5 72B localement garde les données sur votre propre infrastructure, ce qui est pertinent au regard de la loi chinoise sur la sécurité des données (数据安全法). Savoir si un modèle servi en interne relève des règles de la CAC sur l'IA générative dépend de son offre au public ; confirmez avec un conseil juridique qualifié.