Réponses rapides aux questions sur les LLM locaux

Q4_K_M est le point idéal — les modèles 7B/8B en Q4_K_M utilisent 4,7–4,9 Go, laissant 1,1 Go pour le cache KV.

Utilisez GGUF pour un usage local via Ollama ou llama.cpp — il fonctionne sur CPU et GPU sans exigence supplémentaire.

Exécutez le script de conversion de llama.cpp sur un répertoire de modèle au format Hugging Face, en précisant un type de sortie comme f16 (pleine précision) ou un format quantifié comme q4_k_m.

En Q4_K_M (par défaut Ollama) : 1.5B ≈ 4 GB, 7B ≈ 5.5 GB, 8B ≈ 6 GB, 14B ≈ 9.5 GB, 32B ≈ 20.5 GB, 70B ≈ 42 GB.

Repérez votre carte : RTX 3060 12GB → 7B, RTX 4060 Ti 16GB → 14B, RTX 4070/4080 → 14B ou 32B, RTX 4090 → 32B, double GPU/48 Go → 70B.

Consultez ollama.com ou la page des releases GitHub d'Ollama pour la version actuelle.

En mai 2026, le meilleur modèle Ollama polyvalent est Llama 3 8B.

Sans GPU, Phi-4 Mini en Q4 offre le meilleur équilibre qualité/vitesse sur CPU.

Oui — Ollama supporte toutes les tailles de Qwen 3 de 0.6B à 72B.

Ollama supporte plusieurs modèles de vision : LLaVA, Gemma 3 multimodal et Qwen-VL.

Llama 3.3 8B supporte le contexte 128K sur Ollama.

Exécutez Ollama nativement sous Windows, sauf si vous avez spécifiquement besoin d'un outil exclusivement Linux à ses côtés.

Qwen 3 Coder gagne pour Python et TypeScript.

Si vous utilisez un terminal et développez avec des API, choisissez Ollama.

Jan est entièrement open source avec un système d'extensions.

Les meilleures applications Android pour exécuter des LLMs localement sont MLC Chat, Pocketpal et Termux avec Ollama.

Open WebUI est le meilleur frontend Ollama pour la plupart des utilisateurs.

Sur Apple Silicon, utilisez MLX — il atteint ~65 tok/s contre ~35 tok/s pour Ollama sur un M5 Pro avec un modèle 8B.

Vous ne pouvez pas convertir directement les modèles Ollama en MLX.

Non.

Utilisez Ollama pour un usage local mono-utilisateur — c'est la configuration la plus simple.

llama-bench, inclus avec llama.cpp, est le meilleur outil pour le benchmark de la vitesse d'inférence d'un LLM local.

Mergekit est l'outil le plus utilisé pour cela.

Utilisez vLLM comme choix par défaut : il prend en charge un plus large éventail d'architectures de modèles et dispose d'un écosystème d'intégrations plus important.

Utilisez un plugin communautaire Obsidian conçu pour communiquer avec un point de terminaison API local compatible OpenAI, et pointez-le vers l'adresse de votre outil de serving local (généralement localhost).

Choisissez un frontend qui analyse et sépare spécifiquement la sortie de raisonnement (chain-of-thought) d'un modèle de sa réponse finale, idéalement dans une section repliable que vous pouvez développer ou masquer.

MLC Chat, PocketPal AI et Ollama via Termux sont les meilleures options pour les utilisateurs Android au Japon.

Llama 3 8B tient en 6 Go de VRAM et tourne plus vite.

Qwen 3 Coder 14B est le meilleur modèle de coding 14B pour une utilisation locale.

Trois mini PC se distinguent pour l'inférence LLM locale : le Mac Mini M4 (le plus rapide, ~18 tok/s), le Minisforum UM790 Pro (plus de RAM, 64 Go DDR5) et le Beelink SER8 (meilleur rapport qualité-prix, CPU Ryzen 9 8845HS).

Mixtral 8x22B et DeepSeek V2 sont les meilleurs modèles MoE de codage pour un usage local.

Choisissez selon le VRAM : Llama 3.3 8B (4,9 Go), Qwen 3 14B (9,3 Go), Mistral Small 3.1 24B (14,4 Go).

Le M4 Max est meilleur que le M4 Pro pour les LLM locaux — jusqu'à 546 Go/s de bande passante mémoire contre 273 Go/s, et jusqu'à 128 Go de mémoire unifiée contre 48 Go, ce qui signifie plus de tokens/seconde et la prise en charge de modèles plus grands.

Qwen3 4B est le meilleur modèle sous 8B pour le chat en temps réel : il concilie qualité de réponse et faible latence sur du matériel modeste.

EXAONE 3.5 de LG AI Research est le meilleur LLM local pour le coréen, conçu spécifiquement avec un entraînement bilingue coréen-anglais solide.

Qwen (Alibaba) et DeepSeek sont les LLM locaux les plus utilisés pour les déploiements destinés à la Chine — tous deux construits par des entreprises chinoises selon des normes de contrôle de contenu domestiques.

Les modèles locaux spécialisés en code dotés d'une grande fenêtre de contexte gèrent le mieux la génération SQL et l'analyse de données, car ils peuvent contenir un schéma de table entier en contexte en plus de la question.

La qualité de traduction dépend surtout de la quantité de données d'entraînement que le modèle a vues dans la langue source et la langue cible, pas du nombre total de paramètres.

Utilisez le décodage contraint par grammaire plutôt que de vous fier uniquement au prompting.

Privilégiez la constance du suivi des instructions plutôt que la capacité brute : le modèle doit rester fiablement dans son périmètre défini, refuser les demandes qu'il ne devrait pas traiter (comme promettre des remboursements) et respecter le format de réponse à chaque fois.

Le meilleur LLM local japonais dépend de votre usage.

Qwen3-Coder 32B est le meilleur avec 24 Go VRAM (91,5 % HumanEval).

Instructions en anglais + directive "répondre en chinois" est la meilleure approche sur tous les modèles.

Non.

Qwen3-72B Q4_K_M est le meilleur modèle local pour le jeu de rôle en chinois — entraîné nativement en chinois, vocabulaire riche, contexte 128K.

Qwen 3 Coder 14B Q4_K_M est le meilleur modèle de coding pour les GPU 12 Go de VRAM comme la RTX 3060.

Avec une RTX 3070 Ti (8 Go de VRAM), Llama 3 8B Q4_K_M et Mistral Small Q5_K_M sont les meilleurs LLMs locaux.

Oui.

RTX 3060 12 GB d'occasion à 200–250 € est la meilleure GPU sous 300 € pour les LLMs locaux — 12 Go de VRAM suffit pour tous les modèles 7B et la plupart des 14B.

RTX 4060 Ti 16 GB à ~440 € est le point idéal — 16 Go de VRAM gère les modèles 14B en quantification Q5 avec de la marge.

Samsung 990 Pro 2 To à 7 450 Mo/s charge un modèle 7B Q4 en moins de 2 secondes.

Oui — le Mac Mini M4 Pro avec 24 Go de mémoire unifiée fait tourner Llama 3 8B à ~36 tok/s via MLX.

Vast.ai est moins cher pour les instances spot (RTX 4090 à ~0,14 €/h vs RunPod ~0,40 €/h).

RTX 4090 : 0,30-0,80 $/h.

Oui — Ryzen AI Max (Strix Halo, RDNA 3.5) fait tourner Ollama via Vulkan sous Linux.

Le RTX 3060 12 Go offre le meilleur rapport qualité-prix pour les LLM locaux aux EAU, à environ 260–330 € neuf (env.

Une stratégie hybride justifie la complexité supplémentaire lorsque la demande est irrégulière plutôt que stable : les requêtes quotidiennes s'exécutent sur du matériel local déjà en votre possession, et seules les requêtes qui dépassent la capacité locale — modèles plus grands, tâches par lots, pics de trafic — basculent vers un GPU cloud loué.

Une RTX 4090 24 Go d'occasion (~900-1 100 $) est le meilleur GPU à moins de 1 000 $ pour les LLM locaux — 24 Go de VRAM font tourner tous les modèles 32B en Q4 et permettent de faire entrer un modèle 70B en quantification faible.

La RTX 3060 12 Go est meilleure que la RTX 4060 8 Go standard pour les LLM locaux — ses 4 Go de VRAM supplémentaires accueillent des modèles 14B qui ne tiennent pas du tout sur la 4060.

L'Intel Arc B580 12 Go (~249 $) est le meilleur GPU Intel Arc pour les LLM locaux — même palier de VRAM de 12 Go que la RTX 3060 12 Go, à un prix inférieur, mais avec plus de friction à l'installation.

Une seule RTX 4090 ne peut pas contenir entièrement un modèle 70B — il lui faut ~40 Go en Q4 contre 24 Go pour la 4090.

Non.

Qwen3 8B ou Llama 3.3 8B en Q4 est le meilleur LLM local pour un MacBook Air avec 16 Go de mémoire unifiée.

Qwen3 32B en Q4 est le meilleur choix pour un Mac à 32 Go de mémoire unifiée — il nécessite ~18-20 Go, laissant une marge confortable pour macOS.

Un ordinateur portable avec GPU mobile RTX 4070 8 Go et 32 Go de RAM système est le meilleur choix à moins de 1 500 $ — rapide sur les modèles 7B-8B via CUDA, exploitable en 14B (Q4) avec une VRAM serrée.

Un seul GPU avec 16-24 Go de VRAM permet le fine-tuning QLoRA local d'un modèle 7B — le RTX 4090 24 Go est confortable, le RTX 4060 Ti 16 Go fonctionne avec une taille de batch réduite et le gradient checkpointing.

La RTX 3060 12 Go à ~260 € neuve (~180 € d'occasion) est le meilleur choix au Japon.

Le meilleur mini PC pour LLMs locaux au Japon est le Beelink SER7 (Ryzen 7 7840HS, 32 Go DDR5) à ~¥70 000 sur Amazon.co.jp (environ €580 sur Amazon.fr).

Oui — le Xperia 1 VI (12 Go de RAM, Snapdragon 8 Gen 3) exécute Rinna 3.6B et Phi-4 Q4 via MLC Chat.

Oui — mais uniquement pour de petites collections de documents personnels.

Pour un laptop 16 Go de RAM sans GPU dédié, Qwen3 8B (Q4_K_M) est le meilleur polyvalent — il utilise ~6 Go et tourne à ~8–15 tok/s sur un CPU moderne.

nomic-embed-text est le meilleur modèle d'embedding pour un RAG local via Ollama — contexte de 8,192 tokens et efficace sur du matériel modeste.

Qwen3 14B et Llama 3.3 8B sont les meilleurs LLM locaux pour la synthèse de documents — tous deux prennent en charge un contexte de 128K+ sur Ollama, suffisant pour résumer de longs documents sans découpage.

Oui, mais uniquement de petits modèles — un Raspberry Pi 5 (8 Go) exécute des modèles 1B-3B en Q4 via llama.cpp sur son CPU, à environ 2-5 tokens/sec.

Le décodage spéculatif associe un petit modèle de brouillon à un modèle cible plus grand.

Utilisez LoRA sauf si vous disposez d'un jeu de données volumineux et de haute qualité ainsi que de suffisamment de VRAM pour un fine-tuning complet.

Cela dépend de la licence spécifique.

Le cache de prompt stocke le cache clé-valeur (KV) calculé pour le préfixe d'un prompt, afin qu'il n'ait pas besoin d'être recalculé lorsqu'une requête ultérieure partage ce même préfixe — un prompt système fixe, un document réutilisé, ou des tours de conversation précédents.

CO-STAR est une structure de prompt en six parties : Context (contexte), Objective (objectif), Style (style d'écriture), Tone (registre émotionnel), Audience (lecteurs cibles), Response (format de sortie).

Pour le cloud : Claude Opus 4.8 domine le code et les longs documents, GPT-5.5 Instant la conversation générale, Gemini 2.5 Pro les tâches multimodales.

Qwen exécuté localement sur votre propre infrastructure est conforme au RGPD, car aucune donnée de prompt ne quitte votre infrastructure et aucun transfert vers un pays tiers (Article 44) n'a lieu.

L'API DeepSeek présente le risque RGPD le plus élevé parmi les LLMs majeurs car les serveurs sont soumis à la loi chinoise d'accès aux données (PIPL), aucune décision d'adéquation UE n'existe pour la Chine, et les CGU se réservent explicitement le droit de partager les données avec les autorités chinoises.

Oui — exécuter un modèle open-weight localement élimine le transfert vers un pays tiers de l'Article 44 qui complexifie juridiquement l'IA cloud sous le RGPD : vos prompts et réponses ne quittent jamais votre serveur.

ProtonVPN (Suisse, formule gratuite) pour la confidentialité auditée.

Une station RTX 4090 24 Go ou un Mac Studio avec 32 Go+ de mémoire unifiée, exécutant Qwen3 14B entièrement hors ligne, est la meilleure configuration — elle garde les documents privilégiés et les PHI hors de toute API cloud.

Une bibliothèque d'anonymisation dédiée basée sur NER, exécutée comme étape de pré-traitement séparée avant que le texte n'atteigne le LLM (et éventuellement en post-traitement ensuite), est plus fiable que de demander à un LLM d'anonymiser les PII lui-même.

NordVPN (serveurs obfusqués) et ExpressVPN (protocole Lightway) sont les plus fiables pour HuggingFace, GitHub et Docker Hub.

Oui.

Oui.

Oui.

Oui.

Signée, mais pas encore en vigueur.

Signée, mais pas encore en vigueur à la date de rédaction.

Oui.

Signée, mais pas encore en vigueur.