Comment Exécuter Qwen 3 Localement en 2026 : Guide Ollama + LM Studio

Pourquoi exécuter Qwen localement en 2026

Choisir votre modèle Qwen

Configuration matérielle

• Minimum (Qwen 3.6 27B) : GPU avec 16 Go VRAM — RTX 4080, RTX 4070 Ti Super ou RTX 3090
• GPU recommandé : RTX 4090 (24 Go VRAM) — exécute Q4_K_M à 35 tokens/sec avec 8 Go de marge
• Apple Silicon M3/M4 (actuel) : M3 Max ou M4 Pro avec 48 Go de mémoire unifiée — silencieux, économe en énergie, 40+ tokens/sec via MLX
• Mac Mini M4 Pro (48 Go) : ~1 599 € en boutique, format compact, meilleur TCO pour déploiement en bureau UE
• Apple Silicon M5 Pro (64 Go) : prochaine génération, 307 Go/s de bande passante mémoire — exécute Qwen 3.6 27B à environ 50+ tokens/sec. Apple annonce un traitement des prompts LLM 4× plus rapide que M4.
• Apple Silicon M5 Max (128 Go) : 460–614 Go/s de bande passante mémoire — exécute Qwen 3 72B Q4_K_M confortablement avec de la marge. Attendu mi-2026 dans le Mac Studio ; le Mac Mini actuel est livré avec M4 Pro.
• RAM : 32 Go de RAM système minimum en complément de l'inférence GPU ; 64 Go recommandés avec un environnement de développement complet
• Stockage : 20 Go d'espace disque libre pour Qwen 3.6 27B Q4_K_M (fichier GGUF ~17 Go)

Configuration avec Ollama

1. 1
   Installer Ollama
   Why it matters: Ollama gère les téléchargements de modèles, le format GGUF et fournit une API locale compatible OpenAI.
2. 2
   Télécharger Qwen 3.6 27B avec le tag explicite
   Why it matters: Utilisez qwen3:27b explicitement. Le tag simple `qwen3` télécharge par défaut le modèle 8B — pas le modèle 27B ciblé dans ce guide.
3. 3
   Créer un Modelfile avec la longueur de contexte correcte
   Why it matters: Le num_ctx par défaut de 2 048 tokens est trop petit pour les tâches de codage réelles. 32 768 tokens couvrent la plupart des fichiers et conversations.
4. 4
   Construire le modèle personnalisé et le lancer
   Why it matters: Crée une instance Qwen 3.6 27B avec la fenêtre de contexte étendue. Vérifiez avec une requête de test.
5. 5
   Tester l'endpoint API
   Why it matters: Ollama expose une API compatible OpenAI sur localhost:11434/v1. Utilisez cet endpoint pour connecter des clients LLM, des IDE et PromptQuorum.

# Step 1 — Install Ollama
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download

# Step 2 — Pull Qwen 3.6 27B (explicit tag required)
ollama pull qwen3:27b
# Downloads Qwen 3.6 27B Q4_K_M (~17 GB)
# Note: 'ollama pull qwen3' without a tag downloads the 8B model

# Step 3 — Create Modelfile with correct num_ctx
cat > Modelfile <<'EOF'
FROM qwen3:27b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
EOF

# Step 4 — Build and run
ollama create qwen3-32k -f Modelfile
ollama run qwen3-32k

# Expected output (Qwen working correctly):
# >>> Write a Python function to reverse a string.
# def reverse_string(s: str) -> str:
#     return s[::-1]
#
# This function takes a string s as input and returns the reversed
# string using Python slice notation with step -1.

# Step 5 — Test API
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-32k",
    "messages": [{"role": "user", "content": "Write a Python function to reverse a string."}]
  }'

Configuration avec LM Studio

1. 1
   Télécharger et installer LM Studio
   Why it matters: Interface graphique gratuite et multiplateforme pour l'inférence LLM locale. Aucun CLI requis.
2. 2
   Rechercher et télécharger Qwen 3 27B
   Why it matters: Le navigateur de modèles de LM Studio recherche sur Hugging Face. Cherchez « Qwen 3 27B » et sélectionnez la variante GGUF Q4_K_M pour 16 Go VRAM.
3. 3
   Configurer la longueur de contexte dans les paramètres LM Studio
   Why it matters: Même problème de num_ctx qu'avec Ollama — changez la longueur de contexte à 32 768 dans les paramètres du modèle avant le chargement.
4. 4
   Démarrer le serveur local
   Why it matters: Le bouton « Démarrer le serveur » de LM Studio crée une API compatible OpenAI sur localhost:1234. Utilisez cette URL dans les clients et PromptQuorum.

// LM Studio local server config (exported JSON)
{
  "model": "qwen3-27b-q4_k_m",
  "server": {
    "host": "localhost",
    "port": 1234,
    "cors": true
  },
  "inference": {
    "context_length": 32768,
    "temperature": 0.7,
    "gpu_layers": -1
  }
}

Connexion à PromptQuorum

# PromptQuorum dispatch config — local Qwen via Ollama
# Set in your .env or PromptQuorum settings panel

OLLAMA_BASE_URL=http://localhost:11434/v1
LOCAL_LLM_MODEL=qwen3:27b

# Example routing rules (PromptQuorum dispatch):
# - task_type: code       → model: qwen3:27b  (local Ollama, GDPR-safe)
# - task_type: analysis   → model: claude-sonnet-4-6 (Anthropic API, separate config)
# - task_type: private    → model: qwen3:27b  (local Ollama, no cloud egress)

Résolution des problèmes

• La réponse du modèle est coupée en milieu de phrase : num_ctx est trop faible. Recréez votre Modelfile avec `PARAMETER num_ctx 32768` et recréez le modèle avec `ollama create`.
• Erreur CUDA out of memory : le modèle ne tient pas dans votre VRAM. Passez à Qwen 3 14B Q4_K_M (~9 Go VRAM) ou essayez une quantification Q3_K_S du 27B.
• L'API Ollama renvoie 404 : vérifiez que le nom du modèle correspond exactement. Exécutez `ollama list` pour voir les modèles disponibles. Utilisez le nom exact affiché (ex. `qwen3-32k`).
• Génération lente (< 5 tokens/sec) : les layers GPU ne sont pas entièrement déchargés. Exécutez `ollama run qwen3-32k` et vérifiez que `num_gpu_layers` est maximisé. Assurez-vous qu'aucun autre processus gourmand en GPU ne tourne.
• LM Studio affiche « échec du chargement du modèle » : VRAM insuffisant. Réduisez la longueur de contexte Q4_K_M à 16 384 ou passez à Qwen 3 14B.
• PromptQuorum renvoie une erreur d'authentification : définissez `OLLAMA_BASE_URL=http://localhost:11434/v1` dans les paramètres LLM local de PromptQuorum. Si le formulaire exige une clé, saisissez n'importe quelle chaîne non vide — Ollama ne requiert pas d'authentification par clé API.
• Ollama utilise le CPU au lieu du GPU : sur NVIDIA, vérifiez que les pilotes CUDA sont installés (`nvidia-smi` doit afficher le GPU). Sur Mac, Ollama utilise Metal automatiquement — aucune configuration nécessaire. Si Metal n'est pas actif, réinstallez Ollama depuis ollama.com.
• Le téléchargement du modèle s'arrête ou échoue : les grands modèles (Qwen 3.6 27B ~17 Go) peuvent expirer sur les connexions lentes. Exécutez à nouveau `ollama pull qwen3:27b` — Ollama reprend là où il s'est arrêté. Sinon, téléchargez le GGUF directement depuis Hugging Face et utilisez `ollama create` avec un chemin local dans la clause FROM du Modelfile.

Consommation d'énergie et TCO

Lectures connexes

• Qwen 3 vs Claude Sonnet 4.6 vs DeepSeek R2 — Comparatif 2026
• Pourquoi les entreprises UE passent à Qwen local
• Qwen Coder vs DeepSeek vs Mistral — Benchmark codage 2026
• Tous les guides LLM local
• Rejoindre la liste d'attente PromptQuorum

FAQ