Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.
Prompts en bref

Réponses rapides aux questions sur les LLM locaux

127 guides à réponse rapide. Besoins en VRAM, choix Ollama, comparaisons matérielles et conseils de configuration, avec une réponse en 60 secondes ou moins.

En une phrase
Un Prompt Bite est un guide à réponse rapide sur une seule question concernant les LLM locaux, par exemple la quantité de VRAM nécessaire ou le modèle Ollama à lancer.
En termes simples
Chaque page donne d'abord la réponse, en 60 secondes ou moins. Choisissez un sujet ci-dessous et ouvrez votre question.
02

Explorer par sujet

10 sujets, 127 réponses courtes. Un clic ouvre un sujet directement sur place.

03

Pourquoi des réponses courtes

Chaque Prompt Bite commence par la réponse. Lisez-la en 60 secondes ou moins, puis suivez un lien d'approfondissement pour la version longue.

Quantisation & VRAM
La quantité de mémoire nécessaire, le format de quantisation à choisir et les arbres de décision VRAM.
Ollama
Dernières versions, meilleurs modèles, fenêtres contextuelles, vision et utilisation CPU uniquement.
Comparaisons d'outils
Comparaisons en duo : Ollama vs LM Studio, Jan vs LM Studio, Qwen vs DeepSeek.
Matériel spécifique
Choix matériels et guides d'achat : recommandations GPU par budget, mini-PC, SSD, GPU cloud et eGPU.

En bref : les Prompt Bites répondent d'abord à une question sur les LLM locaux, en 60 secondes ou moins, et renvoient vers un guide approfondi quand il vous en faut plus.

07

Questions fréquentes

De combien de VRAM avez-vous besoin pour un LLM local ?

4 Go VRAM suffisent pour Llama 3.2 3B et Phi-3.5-mini avec marge sûre pour expansion contexte. 6 Go font tourner Llama 3.1 8B en Q4. 12 Go accueillent Qwen3 14B Q4 efficacement. Les modèles 70B Q4 nécessitent 16+ Go.

  • 4 Go : Llama 3.2 3B Q4, Phi-3.5-mini Q4
  • 6 Go : Llama 3.1 8B Q4_K_M
  • 8–12 Go : Llama 3.1 8B Q5_K_M, Qwen3 14B Q4
Qu'est-ce que la quantisation Q4_K_M ?

Q4_K_M signifie quantisation 4 bits avec compression k-quant à qualité moyenne. Perplexité plus basse que Q4_0, plus petite que Q8_0. À utiliser comme standard.

  • Q = quantisé, 4 = 4 bits, K = k-quant, M = moyen
  • Perplexité plus basse que Q4_0 (6,41 contre 6,70 sur Llama 3 8B) pour un fichier plus grand de 0,24 GiB
  • Utiliser Q4_K_M comme quantisation par défaut
Ollama vs LM Studio : lequel choisir ?

Si vous utilisez un terminal et développez avec des API, choisissez Ollama. Si vous préférez une interface graphique et souhaitez simplement discuter avec des modèles, utilisez LM Studio. Les deux sont gratuits et exécutent les modèles localement.

  • Ollama : CLI-first avec application de bureau, API compatible OpenAI, modèles cloud en option
  • LM Studio : interface graphique avec navigateur de modèles, plus CLI `lms` et `llmster` sans interface
  • Les deux fonctionnent sur Mac, Windows et Linux
Les meilleurs modèles Ollama en ce moment ?

Pour un usage général, qwen3.5:9b est le choix le plus solide avec 6,6 Go de téléchargement. Pour le code, qwen2.5-coder:7b à 4,7 Go fait le travail sur bien moins de matériel que ne le prétendent la plupart des guides. Pour les configurations compactes, llama3.2:3b tient dans 2,0 Go. Toutes les tailles relevées dans la bibliothèque Ollama le 28 août 2026.

  • Meilleur polyvalent : qwen3.5:9b — 6,6 Go
  • Meilleur pour le code : qwen2.5-coder:7b — 4,7 Go
  • Meilleur compact : llama3.2:3b — 2,0 Go
Meilleur mini PC pour LLM local ?

Trois mini PC se distinguent pour l'inférence LLM locale : le Mac Mini M4 (le plus rapide, ~18 tok/s), le Minisforum UM790 Pro (plus de RAM, 64 Go DDR5) et le Beelink SER8 (meilleur rapport qualité-prix, CPU Ryzen 9 8845HS). Les trois exécutent des modèles 7–13B Q4 sans GPU dédié.

  • Mac Mini M4 : le plus rapide pour les LLMs, ~18 tok/s sur Llama 3 8B, économe en énergie
  • Minisforum UM790 Pro : iGPU AMD Radeon 780M, jusqu'à 64 Go de RAM unifiée
  • Beelink SER8 : Ryzen 9 8845HS, ~8 tok/s, alternative économique
Quels modèles Ollama supportent le contexte 128K ?

Llama 3.1 8B supporte le contexte 128K sur Ollama. Qwen3-30B-A3B, un modèle mixture-of-experts, atteint 256K de contexte. Attention : le contexte complet augmente fortement la VRAM — une fenêtre 128K nécessite 3–4× plus de VRAM que la fenêtre par défaut de 4K.

  • Llama 3.1 8B : contexte 128K, ~16 GB VRAM en contexte complet
  • Qwen3-30B-A3B : contexte 256K, 24+ GB VRAM en contexte complet
  • Définissez num_ctx 4096 pour l'usage normal afin d'économiser la VRAM
MCP