Réponse rapide : quel LLM local tourne sur votre portable (8 GB, 16 GB, Apple Silicon) ?
Vous pouvez faire tourner un LLM local sur un portable avec 8 GB de RAM : un modèle 3B–4B en Q4_K_M atteint 15–30 tok/s estimés en RAM dual-channel. Le tableau associe votre matériel à un modèle. Les vitesses sont des estimations PromptQuorum dérivées de la bande passante mémoire (tok/s ≈ bande passante ÷ taille du fichier du modèle), pas des mesures de laboratoire.
Votre portable | Meilleur modèle | tok/s est. | Hypothèse matérielle |
|---|---|---|---|
| 8 GB RAM, CPU seul | Llama 3.2 3B / Phi-4-mini, Q4_K_M | 15–30 | DDR4/DDR5 dual-channel |
| 16 GB RAM, CPU seul | Qwen3 8B / Llama 3.1 8B, Q4_K_M | 8–15 | DDR4/DDR5 dual-channel |
| Apple M3, 16 GB | Qwen3 8B, Q4_K_M | 13–17 | Mémoire unifiée à 100 GB/s |
| Apple M5, 16 GB | Qwen3 8B, Q4_K_M | 21–26 | Mémoire unifiée à 153 GB/s |
| Intel Iris Xe / iGPU AMD | Llama 3.2 3B / Phi-4-mini, Q4_K_M | 15–30 | Partage la RAM système ; vérifiez avec ollama ps |
En une phrase
Un LLM local peut tourner sur un portable grâce aux modèles quantifiés : le Q4_K_M ramène le fichier à environ 31 % de sa taille FP16 (4.58 GiB au lieu de 14.96 GiB pour Llama 3.1 8B) avec une faible perte de qualité.
En termes simples
Faire tourner un LLM en local, c'est exécuter le chatbot sur votre propre portable plutôt que sur les serveurs d'un fournisseur : privé et utilisable hors ligne, mais plus lent qu'un service cloud.
Quand faire tourner un LLM sur un portable ?
- ✅ Utilisez un LLM local si : vos données doivent rester sur l'appareil, vous travaillez hors ligne, vous ne voulez aucun coût d'API par token
- ❌ À éviter si : vous avez besoin de la meilleure qualité de raisonnement, d'un contexte très long (100K+ tokens, car le cache KV grandit avec le contexte) ou d'un traitement par lots rapide — voir limites des LLM locaux
Peut-on faire tourner un LLM local sur un portable ?
Oui -- avec la bonne taille de modèle. Un portable de 8 GB de RAM fait tourner un modèle 3B–4B en Q4_K_M à 15–30 tok/s estimés en RAM dual-channel (Llama 3.2 3B : 18–30, Phi-4-mini : 15–25). Un portable Apple Silicon de 16 GB fait tourner un modèle 8B à 13–26 tok/s estimés selon la puce. C'est plus lent que la plupart des API cloud, mais assez rapide pour lire au fil de l'eau.
Le plafond pratique d'un portable de 8 GB est un modèle 3B–4B ; les fichiers 7B–8B (4.4–5.2 GB) laissent peu de place au système et à un navigateur. Un modèle 14B en Q4_K_M (Qwen3 14B : fichier de 9.3 GB) ne tient sur une machine de 16 GB qu'avec un contexte court et les autres applications fermées. Sur un Mac, macOS a besoin d'au moins 8 GB : un Mac de 16 GB en garde environ 8 GB et un modèle 14B n'y tient pas.
Les vitesses ci-dessus sont des estimations PromptQuorum dérivées de la bande passante mémoire, pas des mesures de laboratoire. Pour les paliers sous 8 GB et la règle complète de bande passante, voir LLM locaux les plus rapides pour PC d'entrée de gamme ; pour les portables sans GPU, voir Meilleurs LLM locaux CPU seul 2026.
Peut-on faire tourner du RAG (recherche augmentée) sur un portable ?
Oui -- le RAG tourne sur un portable, car la contrainte déterminante reste le modèle de chat, pas la couche de recherche. Une pile RAG sur portable comprend trois éléments : un petit modèle d'embedding, une base vectorielle locale et votre modèle de chat.
Le modèle d'embedding est petit : nomic-embed-text pèse 274 MB sur Ollama (fenêtre de contexte de 2K), il ajoute donc peu de pression sur la RAM. Sur un portable de 8 GB, vous pouvez faire tourner un modèle de chat 3B plus un modèle d'embedding ; avec 16 GB, vous avez de la marge pour un modèle de chat 8B en plus de la recherche.
2 GB de RAM ne suffisent que pour de très petites configurations. Qwen3 0.6B (523 MB) plus nomic-embed-text représentent environ 0.8 GB de fichiers et tiennent si 2 GB sont réellement libres. Sur un portable typique, le système occupe 2–3 GB, et le swap sur disque ralentit fortement la génération : prévoyez 8 GB comme plancher pratique.
Quelle configuration de portable vous faut-il selon votre usage ?
- Pour les débutants — 8 GB de RAM, modèles 3B–4B, CPU seul. Comptez 15–30 tok/s estimés. Suffisant pour le chat, le résumé et le code simple.
- Pour les développeurs — 16 GB de RAM, modèles 8B–9B, GPU en option. Le multitâche reste possible sans fermer les autres applications (8–15 tok/s est. sur CPU).
- Pour les utilisateurs avancés — Apple Silicon avec une puce Pro ou Max, ou un GPU de portable avec 8 GB+ de VRAM, modèles 8B–14B. Estimations pour Qwen3 8B : 41–53 tok/s sur un M5 Pro (307 GB/s) et 34–44 tok/s sur un GPU de portable RTX 4060 (environ 256 GB/s).
Qui peut faire tourner un LLM local sur un portable ?
- Débutants → LM Studio + modèle 3B
- Intermédiaires → Ollama + modèle 8B
- Utilisateurs avancés → 14B avec réglage de la quantification
- ❌ N'utilisez pas un portable si : vous avez besoin d'API temps réel (utilisez un serveur vLLM) ou traitez de gros jeux de données (utilisez des GPU cloud)
Quelle taille de modèle de LLM local vous faut-il ?
Les tailles de fichier sont celles des téléchargements Ollama vérifiés sur ollama.com le 23 octobre 2026, avec une quantification de type Q4_K_M (environ 70 % plus petit que le FP16). La RAM min. correspond au fichier plus environ 0.5 GB de surcoût ; prévoyez 2–4 GB de plus pour le système et un navigateur :
Modèle | Fichier (Ollama) | RAM min. | tok/s est. | Meilleur usage |
|---|---|---|---|---|
| Llama 3.2 3B | 2.0 GB | 2.5–3 GB | 18–30 | Tâches de base, chat, résumés |
| Phi-4-mini 3.8B | 2.5 GB | 3 GB | 15–25 | Raisonnement et code sur 8 GB |
| Qwen3 8B | 5.2 GB | 6 GB | 8–15 | Usage général, multilingue, code |
| Qwen3 14B | 9.3 GB | 10 GB | 4–8 | Tâches plus difficiles sur 16 GB, contexte court |
Ce sont des estimations PromptQuorum, pas des mesures de laboratoire, pour un portable avec de la DDR4-3200 à la DDR5-5600 dual-channel (51.2–89.6 GB/s) ; une RAM single-channel les divise par deux. Exemple Q4_K_M : Llama 3.1 8B pèse 14.96 GiB en FP16 et 4.58 GiB en Q4_K_M (README de quantize de llama.cpp), soit environ 69 % de moins. → calculateur de VRAM
Portable 8 GB de RAM ou 16 GB de RAM : quelle différence concrète ?
Scénario | 8 GB RAM | 16 GB RAM |
|---|---|---|
| Taille maximale de modèle | 3B–4B à l'aise ; 7B–8B (fichiers de 4.4–5.2 GB) juste | 8B–9B à l'aise ; 14B (9.3 GB) avec un contexte court |
| Modèle avec navigateur ouvert | 3B–4B (juste) | 8B–9B à l'aise |
| Premier modèle conseillé | llama3.2:3b ou phi4-mini | qwen3:8b ou llama3.1:8b |
| Applications simultanées | Fermez le navigateur avant de charger un modèle 8B | Multitâche normal avec un modèle 8B |
Quels modèles de LLM local tournent le mieux sur un portable ?
Ces modèles conviennent aux limites d'un portable : de petits fichiers donnent plus de tokens par seconde pour la même bande passante mémoire. Les vitesses sont des estimations PromptQuorum pour un portable avec de la DDR4-3200 à la DDR5-5600 dual-channel (51.2–89.6 GB/s), dérivées du plafond de bande passante (bande passante ÷ taille du fichier Ollama), pas des mesures de laboratoire ; une RAM single-channel les divise par deux. Les tailles de fichier sont celles des téléchargements Ollama vérifiés le 23 octobre 2026. Pour les besoins en VRAM selon les modèles et les configurations de portable, voir le guide des besoins en VRAM →. Installez Ollama pour lancer chacun d'eux avec une seule commande. Pas de GPU ? Voir Meilleurs LLM locaux CPU seul 2026. Ce sont des modèles à poids ouverts (open-weights) ; consultez la fiche de chaque modèle pour sa licence.
Modèle | Fichier (Ollama) | RAM min. | tok/s est. | Idéal pour |
|---|---|---|---|---|
| Llama 3.2 3B | 2.0 GB | 2.5–3 GB | 18–30 | Portables 8 GB, tâches rapides |
| Phi-4-mini 3.8B | 2.5 GB | 3 GB | 15–25 | Portables 8 GB, raisonnement et code |
| Qwen3 8B | 5.2 GB | 6 GB | 8–15 | Portables 16 GB, multilingue, code |
| Llama 3.1 8B | 4.9 GB | 5.5 GB | 8–14 | Portables 16 GB, usage général |
| Qwen3.5 9B | 6.6 GB | 7–8 GB | 6–12 | Portables 16 GB, famille récente, entrée image |
Quelle configuration de LLM local choisir pour démarrer sur un portable ?
Le matériel d'un portable limite la taille du modèle, mais des prompts clairs et structurés peuvent améliorer les résultats des petits modèles. Voir le guide du prompt engineering pour des techniques adaptées aux petits modèles.
- 🥇 Démarrage simple en ligne de commande : Ollama — une commande par modèle, large choix de modèles
- 🥈 Le plus simple pour débuter : LM Studio — interface graphique, pas de terminal
- 🥉 Peu de RAM (8 GB) : Llama 3.2 3B (Q4_K_M)
- ⚡ Plus de qualité avec 16 GB : Qwen3 8B (Q4_K_M, ou Q5_K_M si la vitesse le permet)
- 💡 Dans le doute : commencez avec Ollama + Llama 3.2 3B Q4_K_M
Apple Silicon ou portable Windows : lequel convient le mieux aux LLM locaux ?
Les MacBook Apple Silicon sont un bon choix pour les LLM locaux, car la mémoire unifiée donne au GPU un accès à haute bande passante à l'ensemble de la mémoire. La vitesse dépend de la bande passante mémoire : Apple publie 100 GB/s pour le M3, 153 GB/s pour le M5, 307 GB/s pour le M5 Pro et 460 ou 614 GB/s pour le M5 Max (selon le nombre de cœurs GPU). Les MacBook Pro M5 Pro et M5 Max, annoncés le 3 mars 2026, offrent jusqu'à 64 GB et 128 GB de mémoire unifiée.
Un portable Windows avec un GPU NVIDIA dédié peut être plus rapide quand le modèle tient en VRAM. Le GPU de portable RTX 4060 dispose de 8 GB de GDDR6 sur un bus de 128 bits (NVIDIA) ; à 16 Gbps (spécification tierce), cela fait environ 256 GB/s, si bien que Qwen3 8B (5.2 GB) a un plafond proche de 49 tok/s. Le revers : une consommation et une chaleur plus élevées.
Les portables Windows avec seulement un graphique intégré Intel Iris Xe ou AMD Radeon sont limités par la bande passante de la RAM système. La documentation d'Ollama indique que la prise en charge GPU Vulkan est activée par défaut lorsque le backend est installé et ne liste pas les graphiques intégrés Intel dans un tableau de compatibilité ; vérifiez donc la colonne PROCESSOR de `ollama ps`. Un iGPU partage la même RAM, les gains sont donc généralement modestes.
Meilleurs modèles pour un graphique intégré (Intel Iris Xe / AMD Radeon) : avec 16 GB de RAM, choisissez un modèle 3B–4B en Q4_K_M pour la vitesse (Llama 3.2 3B, 18–30 tok/s est. en RAM dual-channel) ou Qwen3 8B pour la qualité (8–15 tok/s est.). Privilégiez un modèle qui reste confortablement dans la RAM. Pour une configuration pas à pas sur machine d'entrée de gamme, voir LLM locaux les plus rapides pour PC d'entrée de gamme.
Méthode du tableau : chaque estimation représente environ 70–90 % du plafond (bande passante ÷ fichier de 5.2 GB de Qwen3 8B). Ce sont des estimations PromptQuorum, pas des mesures de laboratoire.
Type de portable | Bande passante mémoire | Qwen3 8B tok/s est. | Modèle max. pratique |
|---|---|---|---|
| Apple M3, 16 GB | 100 GB/s | 13–17 | ~9B (14B juste) |
| Apple M5, 16 GB | 153 GB/s | 21–26 | ~9B (14B juste) |
| Apple M5 Pro | 307 GB/s | 41–53 | Limité par la mémoire (jusqu'à 64 GB) |
| Apple M5 Max | 460–614 GB/s | 62–106 | Limité par la mémoire (jusqu'à 128 GB) |
| Portable RTX 4060 (8 GB VRAM) | ~256 GB/s | 34–44 | ~8B en VRAM |
| Portable DDR5-5600 dual-channel | 89.6 GB/s | 12–15 | ~9B (16 GB RAM) |
| Portable DDR4-3200 single-channel | 25.6 GB/s | 3–4 | 3B–4B recommandé |
Un portable suffit-il pour les LLM locaux face à un ordinateur de bureau ?
Les portables font tourner efficacement des modèles de 3B à 14B, mais les ordinateurs de bureau vont plus loin grâce à un meilleur refroidissement et à des GPU dédiés dont la bande passante mémoire est bien supérieure. Une RTX 4090 de bureau offre 24 GB de VRAM et 1 008 GB/s de bande passante (NVIDIA), de quoi contenir en VRAM des fichiers de modèle jusqu'à environ 20 GB, comme Gemma 4 31B (19–20 GB sur Ollama). Un modèle 70B en Q4 est un fichier de 43 GB sur Ollama (llama3.3:70b) : il ne tient pas dans 24 GB et doit être réparti avec la RAM système, bien plus lente.
Utilisez un portable pour la mobilité et l'expérimentation. Utilisez un ordinateur de bureau pour les grands modèles (14B+), les charges soutenues ou l'inférence en production. Vous hésitez entre les deux ? Voir le guide d'achat portable ou ordinateur de bureau pour LLM locaux pour une comparaison détaillée des coûts et des performances.
Comment gérer la limitation thermique sur un portable ?
La limitation thermique (thermal throttling) survient quand le CPU ou le GPU atteint sa limite de température et baisse sa fréquence pour refroidir. L'inférence locale est une charge soutenue : un portable fin peut donc ralentir au bout d'un moment ; l'ampleur et le délai dépendent de sa conception thermique. Mesurez votre vitesse sur 10 minutes avec `ollama run <model> --verbose`.
- Utilisez un support de portable dégageant la ventilation -- surélever le portable améliore l'évacuation de l'air et peut retarder la limitation.
- Essayez un mode d'alimentation plus bas -- la génération de tokens est limitée par la bande passante mémoire plutôt que par la fréquence ; un plan équilibré ou économe (sous macOS, le mode économie d'énergie) peut réduire la chaleur pour une perte de vitesse moindre que prévu ; testez-le sur votre machine.
- Limitez la longueur de génération et le contexte -- découpez les longues tâches en prompts plus courts et évitez de régénérer de très longues réponses.
- Utilisez Q4_K_M plutôt que Q8_0 -- le fichier est environ 1.7 fois plus petit (4.58 contre 7.95 GiB pour Llama 3.1 8B) : chaque token lit moins de données en mémoire et la puce est moins longtemps sous charge.
Quelle autonomie un LLM local consomme-t-il ?
La décharge de la batterie pendant l'inférence locale est importante, car le CPU ou le GPU tourne à forte charge pendant toute la génération. L'autonomie en heures vaut à peu près la capacité de la batterie en wattheures divisée par la consommation moyenne : une batterie de 60 Wh à 20 W dure environ 3 heures, à 30 W environ 2 heures. Il s'agit d'un calcul illustratif, pas de mesures ; la consommation réelle varie selon le portable, le modèle et le mode d'alimentation.
L'autonomie annoncée ne décrit pas l'inférence. Le chiffre d'Apple de jusqu'à 16 heures de navigation web sans fil pour le MacBook Pro 14 pouces avec M5 (batterie de 72.4 Wh) correspond à un usage léger, pas à une génération soutenue.
Pour les longues sessions, branchez le portable. Pour économiser la batterie, choisissez un modèle plus petit (un fichier 3B pèse moins de la moitié d'un fichier 8B, donc chaque réponse se termine plus vite) et raccourcissez le contexte.
Quel niveau de quantification choisir sur un portable ?
La quantification réduit la précision du modèle pour diminuer les besoins en RAM et en bande passante. Sur un portable, Q4_K_M est le choix par défaut habituel. Les tailles ci-dessous concernent Llama 3.1 8B, d'après le README de quantize de llama.cpp (14.96 GiB en FP16) ; les autres modèles suivent des proportions similaires :
Quantification | Taille vs FP16 | Perte de qualité | Cas d'usage |
|---|---|---|---|
| Q2_K | ~20 % (2.95 GiB) | Élevée -- dégradation perceptible | Seulement si rien d'autre ne tient |
| Q3_K_S | ~23 % (3.41 GiB) | Modérée | Faire tenir un modèle plus gros en RAM |
| Q4_K_M | ~31 % (4.58 GiB) | Faible -- choix par défaut courant | La plupart des portables, bon équilibre |
| Q5_K_M | ~36 % (5.33 GiB) | Réduite | Portables 16 GB si la vitesse le permet |
| Q8_0 | ~53 % (7.95 GiB) | Très réduite | RAM en réserve, vitesse non critique |
Quelles lois sur la vie privée s'appliquent aux LLM locaux sur un portable ?
Union européenne (RGPD) : lorsqu'un modèle tourne sur votre propre portable, les prompts et les documents n'ont pas à quitter l'appareil, ce qui peut éviter d'envoyer des données personnelles à un sous-traitant tiers. L'application du RGPD, du règlement européen sur l'IA ou d'autres obligations dépend de qui déploie le système et dans quel but ; ce guide ne constitue pas un avis juridique, et la conformité dépend de l'ensemble de votre configuration, pas de l'endroit où tourne l'inférence.
Allemagne : pour les entreprises allemandes, garder les documents sur l'appareil peut simplifier les questions de protection des données, mais savoir si une configuration locale répond à vos obligations (par exemple pour des données clients confidentielles) se décide au cas par cas ; demandez conseil à votre délégué à la protection des données.
Japon (APPI) : la loi japonaise sur la protection des informations personnelles encadre les transferts de données personnelles à l'étranger. Exécuter l'inférence sur le portable évite d'envoyer les prompts à une API située à l'étranger, ce qui peut simplifier la question du transfert ; cela ne remplace pas une analyse juridique.
États-Unis : il n'existe pas de loi fédérale unique sur les données d'IA ; des règles sectorielles comme HIPAA (santé), FERPA (éducation) et les lois des États sur la vie privée s'appliquent selon l'usage. Garder les données sur un appareil local peut réduire le nombre de tiers qui les traitent, mais vous restez responsable de la sécurité de l'appareil et des données.
Questions fréquentes sur les LLM locaux sur portable
Quels sont les meilleurs modèles Ollama pour Intel Iris Xe avec 16 GB de RAM ?
Sur un portable avec un graphique Intel Iris Xe et 16 GB de RAM, la vitesse est limitée par la bande passante de la RAM système. Que Ollama utilise l'iGPU dépend du pilote et de la prise en charge par le backend (vérifiez la colonne PROCESSOR de `ollama ps`), et un iGPU partage la même RAM : les gains sont donc généralement modestes. Choisissez un modèle 3B–4B en Q4_K_M pour la vitesse : Llama 3.2 3B (18–30 tok/s est. en RAM dual-channel) avec `ollama run llama3.2:3b`, ou Qwen3 8B (8–15 tok/s est.) avec `ollama run qwen3:8b` pour plus de qualité. Les vitesses sont des estimations PromptQuorum, pas des mesures de laboratoire.
Peut-on faire tourner du RAG en local sur un portable ?
Oui. Une pile RAG sur portable se compose d'un petit modèle d'embedding, d'une base vectorielle locale et de votre modèle de chat. Le modèle d'embedding est petit (nomic-embed-text pèse 274 MB sur Ollama), donc le modèle de chat reste la contrainte déterminante pour la RAM : un portable de 8 GB fait tourner un modèle de chat 3B avec recherche, et 16 GB laissent de la place pour un modèle 8B. Voir la section RAG sur portable ci-dessus pour le détail de la RAM.
Quel est le meilleur LLM local CPU seul pour un portable ?
Parmi les modèles comparés dans le guide CPU seul, Phi-4 Mini (3.8B, fichier de 2.5 GB) est le meilleur choix polyvalent à 15–25 tok/s estimés en RAM dual-channel, et Llama 3.2 3B (fichier de 2.0 GB) est le plus petit fichier, à 18–30 tok/s estimés, tous deux en Q4_K_M. Pour la comparaison complète et les commandes Ollama, voir Meilleurs LLM locaux CPU seul 2026.
Faire tourner un LLM local peut-il abîmer mon portable à la longue ?
Aucun dommage immédiat n'est attendu sur un portable en bon état : les puces baissent leur fréquence quand elles chauffent, si bien qu'une inférence soutenue ralentit la machine sans l'endommager. Une chaleur soutenue use tout de même les ventilateurs et la batterie avec le temps : utilisez un support ou un refroidisseur, gardez les grilles dégagées et faites des pauses. Suivez les recommandations de votre fabricant sur la gestion thermique et l'entretien de la batterie.
Puis-je faire tourner un LLM local sur un portable de 4 GB de RAM ?
À peine. Un petit modèle comme Qwen3 1.7B (fichier de 1.4 GB) ou Llama 3.2 1B (fichier de 1.3 GB) tient, mais le système a besoin de 2–3 GB : avec 4 GB au total, vous risquez de passer en swap, ce qui ralentit fortement la génération. Le minimum pratique pour une expérience confortable est de 8 GB. Voir LLM locaux les plus rapides pour PC d'entrée de gamme.
Mon portable a-t-il besoin d'un GPU dédié pour faire tourner des LLM locaux ?
Non. Ollama, LM Studio et GPT4All fonctionnent sur CPU seul. Un GPU à haute bande passante mémoire accélère la génération, mais les modèles 3B–4B restent utilisables sur CPU à 15–30 tok/s estimés en RAM dual-channel. Voir Meilleurs modèles de LLM local pour débutants pour des recommandations adaptées au CPU.
Quel est le LLM local le plus rapide sur un MacBook de 8 GB ?
Parmi les modèles de ce guide, Llama 3.2 3B en Q4_K_M (fichier de 2.0 GB) est le choix pratique le plus rapide sur un MacBook de 8 GB. Sur un M2 ou un M3 (tous deux à 100 GB/s selon Apple), le plafond de bande passante est d'environ 50 tok/s et l'estimation PromptQuorum est de 35–45 tok/s. Un fichier 8B (5.2 GB) est juste sur 8 GB, car macOS et vos applications ont aussi besoin de mémoire.
Comment réduire la limitation thermique d'un portable pendant l'inférence d'un LLM ?
Quatre étapes : (1) surélevez le portable sur un support dégageant la ventilation, (2) essayez un mode d'alimentation équilibré ou économe, car la génération est limitée par la bande passante mémoire plus que par la fréquence, (3) limitez la longueur de génération et le contexte, et (4) utilisez Q4_K_M plutôt que Q8_0 pour que chaque token lise moins de données. Mesurez votre vitesse sur 10 minutes avec `ollama run <model> --verbose`.
Puis-je faire tourner un LLM local sur un Chromebook ?
Seulement sur les Chromebooks où Linux (Crostini) est activé, et seulement de petits modèles. La plupart des Chromebooks ont 4–8 GB de RAM et une bande passante mémoire modeste : un modèle 1B–3B en Q4_K_M est le plafond réaliste et la vitesse sera faible. Les Chromebooks sans prise en charge de Linux ne peuvent pas exécuter Ollama.
Apple Silicon est-il meilleur qu'un GPU de portable NVIDIA pour les LLM locaux ?
Cela dépend de la mémoire. La vitesse suit la bande passante et la capacité mémoire : un MacBook de 16 GB avec M5 (153 GB/s) a un plafond proche de 29 tok/s pour Qwen3 8B, tandis qu'un GPU de portable RTX 4060 (environ 256 GB/s, 8 GB de VRAM) a un plafond proche de 49 tok/s mais ne contient que les modèles qui tiennent dans 8 GB. Un M5 Pro (307 GB/s) ou un M5 Max (460–614 GB/s) avec plus de mémoire garde de plus gros modèles en mémoire rapide. La consommation diffère selon le modèle : vérifiez votre portable.
Que se passe-t-il si le modèle est trop gros pour la RAM de mon portable ?
Le système se met à utiliser le swap sur disque, ou le modèle ne se charge pas, et la génération peut devenir très lente pendant que les ventilateurs s'emballent. La solution : un modèle plus petit, un niveau de quantification plus bas (Q4_K_M plutôt que Q8_0) ou un contexte plus court (`OLLAMA_CONTEXT_LENGTH`, 4096 par défaut).
Combien de temps la batterie tient-elle avec un LLM local sur un portable ?
L'autonomie vaut à peu près la capacité de la batterie en Wh divisée par la consommation moyenne en W. Une batterie de 60 Wh à 20 W dure environ 3 heures et à 30 W environ 2 heures (calcul illustratif, pas une mesure). La consommation réelle varie selon le portable, le modèle et le mode d'alimentation. Pour un usage sur la journée, branchez le portable.
Ai-je besoin d'une connexion internet pour faire tourner un LLM local sur un portable ?
Non. Une fois le modèle téléchargé (ce qui nécessite internet), l'inférence se fait entièrement hors ligne. Le modèle tourne uniquement sur le CPU ou le GPU du portable. Les LLM locaux sont donc utiles en déplacement, dans des environnements sécurisés ou dans des lieux à connexion peu fiable.
Puis-je faire tourner un LLM local avec 8 GB de RAM ?
Oui. Un portable de 8 GB fait tourner un modèle 3B–4B en Q4_K_M (fichiers de 2.0–2.5 GB) à 15–30 tok/s estimés en RAM dual-channel, ou à 28–45 tok/s estimés sur un Apple M2 ou M3. Les modèles 7B–8B (fichiers de 4.4–5.2 GB) sont justes sur 8 GB.
Quel est le portable le plus rapide pour les LLM locaux ?
Pour les LLM locaux, les caractéristiques clés sont la bande passante mémoire et une mémoire suffisante. Apple indique 307 GB/s pour le M5 Pro (jusqu'à 64 GB) et 460 ou 614 GB/s pour le M5 Max (jusqu'à 128 GB) ; pour Qwen3 8B, les estimations PromptQuorum sont de 41–53 tok/s sur un M5 Pro et de 62–106 tok/s sur un M5 Max. Sous Windows, un portable avec un GPU NVIDIA qui garde le modèle en VRAM a un plafond élevé, par exemple environ 256 GB/s pour un GPU de portable RTX 4060 avec 8 GB.
À quel point les LLM locaux sont-ils lents sur CPU ?
La vitesse est au plus égale à la bande passante mémoire ÷ la taille du fichier du modèle. En DDR4/DDR5 dual-channel, un modèle 3B–4B en Q4_K_M tourne à 15–30 tok/s estimés et Qwen3 8B à 8–15 tok/s estimés ; une RAM single-channel divise cela par deux. C'est assez lent pour lire au fil de l'eau, mais assez rapide pour le chat et le résumé. Apple Silicon atteint 13–26 tok/s estimés sur Qwen3 8B (du M3 au M5), car la mémoire unifiée offre plus de bande passante.
Sources
- Caractéristiques techniques du MacBook Pro d'Apple -- bande passante mémoire du M5 (153 GB/s), du M5 Pro (307 GB/s) et du M5 Max (460 et 614 GB/s), et autonomie annoncée. apple.com/macbook-pro/specs
- Caractéristiques techniques du MacBook Air d'Apple (15 pouces, M3, 2024) -- bande passante mémoire du M3 de 100 GB/s. support.apple.com
- Apple Newsroom : M2 -- bande passante de mémoire unifiée de 100 GB/s. apple.com/newsroom
- Apple Newsroom : MacBook Pro avec M5 Pro et M5 Max (3 mars 2026) -- jusqu'à 64 GB et 128 GB de mémoire unifiée. apple.com/newsroom
- Comparatif des portables NVIDIA GeForce -- GPU de portable RTX 4060 : 8 GB de GDDR6, bus de 128 bits. nvidia.com
- Notebookcheck : GPU de portable RTX 4060 -- vitesse mémoire de 16 Gbps (source tierce ; base du chiffre d'environ 256 GB/s). notebookcheck.net
- Caractéristiques de la NVIDIA GeForce RTX 4090 -- 24 GB de VRAM, 1 008 GB/s. nvidia.com
- Bibliothèque Ollama -- tailles de fichier vérifiées le 23 octobre 2026 : llama3.2, phi4-mini, qwen3, qwen3.5, llama3.1, llama3.3, gemma4.
- FAQ Ollama -- longueur de contexte par défaut de 4096, OLLAMA_CONTEXT_LENGTH, type de cache KV, keep-alive et `ollama ps`. docs.ollama.com/faq
- Documentation GPU d'Ollama -- Metal sur Apple Silicon, Vulkan et GPU pris en charge. docs.ollama.com/gpu
- README de quantize de llama.cpp -- tailles de fichier par type de quantification pour Llama 3.1 8B. github.com/ggml-org/llama.cpp
- Apple MLX Framework -- accélération GPU pour les Mac Apple Silicon. github.com/ml-explore/mlx
- LM Studio -- configuration requise, compatibilité GPU et mise en place de l'inférence locale. lmstudio.ai
Quelles sont les erreurs courantes avec les LLM locaux sur portable ?
- Lancer un modèle trop gros pour la RAM disponible → le système utilise le swap sur disque et la génération ralentit fortement ; choisissez un modèle plus petit ou une quantification plus basse.
- Ignorer la limitation thermique → la vitesse soutenue peut chuter une fois la limite de température atteinte ; mesurez votre vitesse après 10 minutes avec `ollama run <model> --verbose`.
- Utiliser Q8_0 plutôt que Q4_K_M → le fichier est environ 1.7 fois plus gros (7.95 contre 4.58 GiB pour Llama 3.1 8B) : il demande plus de RAM et génère plus lentement sur un portable limité par la bande passante, pour un faible gain de qualité.
- Utiliser une seule barrette de RAM → la mémoire single-channel divise par deux la bande passante de crête et le plafond de vitesse ; utilisez deux barrettes identiques lorsque le portable le permet.
- Laisser le déchargement GPU désactivé dans LM Studio → le modèle tourne sur le CPU au lieu du GPU ; augmentez le réglage de déchargement GPU quand le modèle tient dans la mémoire du GPU.
- Garder la fenêtre de contexte par défaut → celle d'Ollama est de 4096 tokens, donc les documents de plusieurs pages sont tronqués ; augmentez-la avec `OLLAMA_CONTEXT_LENGTH=8192` ou `/set parameter num_ctx 8192` et attendez-vous à plus de mémoire utilisée.