Points clés
- Les modèles locaux 7B exigent des instructions plus explicites que GPT-4o. Prompts plus longs, instructions plus claires.
- Le prompting par chaîne de pensées (« Laisse-moi penser étape par étape ») améliore la précision du raisonnement de 10–20%.
- Spécifiez toujours le format de sortie (JSON, Markdown, texte brut). Les sorties non structurées sont imprévisibles.
- Les exemples Few-Shot (1–3) fonctionnent mieux que Zero-Shot pour les modèles locaux. Plus d'exemples = meilleure cohérence.
- La définition de rôles (« Tu es un expert Python ») améliore les réponses spécifiques au domaine.
Faits rapides
- Amélioration de la précision avec CoT : 10–20% d'amélioration sur les tâches de raisonnement
- Exigence Few-Shot : 7B local nécessite 3–5 exemples vs API cloud nécessite 1–2
- Consommation de contexte : Chaque exemple consomme 50–200 tokens
- Impact de la température : Réduire de 0.8 à 0.3 améliore la précision factuelle de 15–25%
- Différence de taille de modèle : Les modèles 7B exigent des instructions plus explicites que les modèles 70B
- Cohérence du format de sortie : Les spécifications JSON améliorent la fiabilité de 30–40%
Comment les modèles locaux diffèrent-ils ?
| Aspect | GPT-5.2 (ChatGPT Plus) | Local 7B (Llama 3.1 8B) | Local 70B (Llama 3.3) |
|---|---|---|---|
| Fenêtre de contexte | 128K tokens | 4K–128K tokens | 128K tokens |
| Suivi des instructions | Excellent | Bon avec prompts explicites | Très bon |
| Apprentissage Few-Shot | 1–2 exemples | 3–5 exemples nécessaires | 2–3 exemples |
| Raisonnement | Multi-étapes implicite | Étape par étape explicite requis | Implicite modéré |
| Prompt système | Traité par l'API | Configurer par outil | Configurer par outil |
| Température par défaut | 1.0 (API) | 0.8 (défaut Ollama) | 0.8 (défaut Ollama) |
Comment le prompting par chaîne de pensées améliore-t-il la précision ?
Le prompting par chaîne de pensées (CoT) demande au LLM de montrer son raisonnement étape par étape avant de répondre. Cette technique est particulièrement efficace pour les modèles locaux 7B–13B car ils manquent de la capacité de raisonnement implicite des modèles cloud plus grands. Pour un problème mathématique comme « 17 × 24 », les modèles locaux sans CoT devinent souvent mal. Avec un raisonnement explicite étape par étape, ils décomposent le problème et obtiennent 10–20% de précision supérieure.
Sans CoT : « Qu'est-ce que 17 × 24 ? » → Modèle répond directement, souvent mal.
Avec CoT : « Résous étape par étape : 17 × 24 » → Modèle montre : 17 × 20 = 340, 17 × 4 = 68, total = 408. Plus précis.
Découvrez comment cette technique s'étend aux agents IA locaux qui utilisent le raisonnement en interne pour sélectionner les outils.
📍 En une phrase
Le prompting par chaîne de pensées instructe le modèle à décomposer le raisonnement en étapes explicites avant de répondre, améliorant la précision de 10–20% sur les tâches complexes.
# Prompt avec CoT
prompt = """
You will answer a question by thinking step-by-step.
Let me think about this:
Question: Why do local LLMs require more explicit prompting than cloud APIs?
Thinking:
1. First, consider the differences in model size...
2. Then, think about training data and fine-tuning...
3. Finally, consider the architecture and inference optimization...
Answer:
"""
# This guides the model to reason through the problem•💡: Conseil Pro : CoT fonctionne mieux quand vous amorces la sortie avec un raisonnement partiel. Exemple : « Laisse-moi le décomposer étape par étape : d'abord, je remarque... »
Pourquoi spécifier le format de sortie est-il critique pour les modèles locaux ?
Spécifier le format de sortie exact (JSON, Markdown, texte brut) est critique pour les modèles locaux car ils produisent des sorties imprévisibles sans instructions explicites. Les modèles cloud comme GPT-4o peuvent déduire l'intention de demandes vagues ; les modèles locaux 7B–13B ne le peuvent pas. Pour les systèmes RAG locaux qui nécessitent une extraction de documents structurée, les spécifications de format JSON préviennent les erreurs d'analyse et augmentent la précision d'extraction de 30–40%.
Exemple : « Extrais les entités du texte » pourrait retourner du texte narratif au lieu d'une liste.
Mieux : « Extrais les entités en JSON avec clés : personne, lieu, organisation ».
# Bad: ambiguous output
prompt = "Summarize this text"
# Good: explicit format
prompt = """
Summarize the text in EXACTLY 3 bullet points.
Format as a JSON list:
{
"summary": [
"- Point 1",
"- Point 2",
"- Point 3"
]
}
"""•⚠️: Problème courant : Les modèles locaux refusent parfois de sortir du JSON brut. Ajoute « Sors UNIQUEMENT JSON, pas de clôture markdown » au prompt pour contourner cela.
Comment l'attribution de rôles améliore-t-elle les réponses des modèles locaux ?
Assigner un rôle spécifique (« Tu es un expert Python avec 10 ans d'expérience ») améliore dramatiquement les réponses spécifiques au domaine par rapport aux prompts génériques. Cette technique, appelée prompting de persona, fonctionne en ancrant la génération de réponse du modèle à un domaine d'expertise spécifique. Les modèles locaux réagissent 15–25% mieux à la définition de rôles que les modèles cloud, car ils manquent de l'alignement RLHF robuste qui permet aux prompts génériques de fonctionner. Exemples :
- « Tu es un expert Python » → meilleures explications de code
- « Tu es un chercheur médical » → réponses biomédicales plus détaillées
- « Tu es un analyste sceptique » → pensée plus critique
Combine la définition de rôles avec fine-tuning pour un alignement de domaine encore plus fort si tu déploies sur de nombreux cas d'usage.
💬 En termes simples
En termes simples, le prompting de persona dit au modèle quel « chapeau » porter en répondant. Un chapeau d'expert Python produit un code différent (et meilleur) qu'un chapeau d'assistant générique.
•🎯: Bonne pratique : La spécificité compte. « Tu es un expert » est faible ; « Tu es un expert Python avec 10 ans d'expérience backend, focalisé sur les patterns Async/Await » est fort.
Comment définir les prompts système dans Ollama, LM Studio et llama.cpp ?
Le prompt système définit le rôle et les contraintes du modèle avant le message de l'utilisateur, et chaque outil (Ollama, LM Studio, llama.cpp) exige un format différent pour le définir.
# Ollama (Modelfile)
FROM llama3.1:8b
SYSTEM """You are a Python expert with 10 years experience. Answer only Python questions. Provide code examples. Use type hints."""
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
# Ollama (API / OpenAI SDK)
response = client.chat.completions.create(
model="llama3.1:8b",
messages=[
{"role": "system", "content": "You are a Python expert..."},
{"role": "user", "content": "Write a FastAPI endpoint"}
],
temperature=0.7
)
# LM Studio (GUI)
# Settings → System Prompt field (paste your prompt)
# Or via API at localhost:1234 — identical format to Ollama
# llama.cpp (CLI)
./main -m llama-3.1-8b.gguf \
--system-prompt "You are a Python expert..." \
--temp 0.7 --top-p 0.9 --repeat-penalty 1.1 \
-p "Write a FastAPI endpoint"Comment la température et les paramètres d'échantillonnage impactent-ils la qualité de sortie ?
L'ajustement de la température, top_p et repeat_penalty a plus d'impact sur la qualité de sortie 7B local que le seul libellé des prompts, et les modèles locaux exigent des paramètres par défaut différents des API cloud.
Insight clé pour les modèles locaux : La température par défaut d'Ollama (0.8) est supérieure à celle par défaut d'OpenAI (1.0 avec nucleus sampling). Réduire la température à 0.3–0.5 améliore considérablement la précision factuelle sur les modèles locaux 7B. Pour les tâches de codage, définissez la température sur 0.1–0.2 et repeat_penalty sur 1.0 (le code nécessite des motifs répétés comme les imports et appels de fonctions).
| Paramètre | Ce qu'il contrôle | Défaut (Ollama) | Recommandé |
|---|---|---|---|
| temperature | Caractère aléatoire | 0.8 | 0.3–0.5 pour factuel, 0.7–0.9 pour créatif |
| top_p | Diversité du vocabulaire | 0.9 | 0.8 pour cohérent, 0.95 pour varié |
| repeat_penalty | Évitement de répétition | 1.1 | 1.1–1.2 pour chat, 1.0 pour code |
•📌: Point clé : La température est un multiplicateur sur les logits. À 0.0, choisissez toujours le token le plus probable. À 1.0+, le caractère aléatoire augmente. Les modèles locaux se saturent au-dessus de 1.5 de température.
Pourquoi les modèles locaux ont-ils besoin de plus d'exemples Few-Shot que les API cloud ?
Fournir 3–5 exemples (apprentissage Few-Shot) aux modèles locaux améliore la cohérence de sortie de 15–25% plus que Zero-Shot, tandis que les modèles cloud ne nécessitent que 1–2 exemples.
Les modèles locaux bénéficient de plus d'exemples car ils ont moins de paramètres et moins de données d'entraînement diversifiées. L'apprentissage Few-Shot est une technique d'apprentissage en contexte qui montre au modèle le motif entrée/sortie attendu avant de lui demander de résoudre la tâche réelle.
# Few-shot prompt
prompt = """
Classify sentiment. Examples:
"I love this product!" → positive
"Worst experience ever" → negative
"It's okay, nothing special" → neutral
Now classify: "This is amazing!"
Answer: """
# Model learns format and style from examples•🛠️: Conseil d'implémentation : Variez les exemples (1 facile, 1 moyen, 1 difficile) plutôt que 3 similaires. La diversité améliore la généralisation et évite le surapprentissage sur des motifs spécifiques.
Erreurs courantes en ingénierie des prompts
- Prompts verbeux sans structure. Les instructions divagantes confondent les modèles locaux. Soyez concis et explicite.
- Ne pas utiliser de chaîne de pensées. CoT améliore la précision de 10–20%. Toujours inclure pour les tâches de raisonnement.
- Supposer qu'un prompt fonctionne pour tous. Itérez et testez. Les petits changements de mots provoquent de grands changements de sortie.
- Ignorer le format de sortie. Sans spécification de format explicite, les sorties sont imprévisibles.
- Utiliser des définitions de rôles vagues. « Tu es un expert » est vague. « Tu es un expert Python avec 10 ans d'expérience » est mieux.
•📍: Le sais-tu ? Les prompts les plus efficaces itèrent 3–5 versions. Le prompting de modèle local n'est pas « une affaire à régler »—les petits perfectionnements se composent en gains de précision significatifs.
Considérations régionales pour l'ingénierie des prompts
UE (RGPD) : Lors du déploiement de l'ingénierie des prompts pour les modèles locaux sur l'infrastructure EU, assurez-vous que toutes les données d'entraînement utilisées pour l'itération des prompts respectent les principes de minimisation des données du RGPD. N'exportez pas les requêtes des utilisateurs vers des API externes pour tester ; itérez localement.
Japon (APPI) : Les entreprises japonaises utilisant des LLM locaux pour les données clients doivent mettre en œuvre une journalisation d'audit explicite de tous les prompts et réponses. La qualité du prompt impacte directement la sécurité des données — les prompts mal conçus peuvent exposer des informations sensibles dans les sorties.
Chine (Loi sur la sécurité des données 2021) : Les déploiements locaux d'LLM en Chine continentale doivent conserver toute l'inférence, le prompting et le tuning des modèles sur site. Qwen et d'autres modèles domestiques sont préférés pour assurer la conformité de résidence des données.
UE (CNIL) : La CNIL recommande l'IA locale pour traiter les données professionnelles sensibles (financières, médicales, juridiques), car elle élimine les transferts de données vers des serveurs externes et améliore le contrôle de la conformité.
Questions fréquemment posées sur le prompting des LLM locaux
Pourquoi les LLM locaux ont-ils besoin de prompts plus explicites que GPT-4o ?
Les modèles locaux 7B–13B ont moins de paramètres et des données d'entraînement moins diversifiées que GPT-4o (estimé 1,8T paramètres). Ils ne peuvent pas déduire les intentions ambiguës aussi bien. Les instructions explicites — format, rôle, raisonnement étape par étape — comblent cette lacune. Le prompting par chaîne de pensées améliore la précision des modèles locaux de 10–20% sur les tâches de raisonnement.
Combien d'exemples Few-Shot devrais-je inclure dans les prompts pour les LLM locaux ?
3–5 exemples sont optimaux pour les modèles locaux 7B. GPT-4o a généralement besoin de seulement 1–2 exemples. Plus d'exemples améliorent la cohérence mais consomment les tokens de fenêtre de contexte (4K–32K tokens selon le modèle). Pour Llama 3.2 8B avec une fenêtre de contexte 4K, limitez-vous à 3 exemples plus votre tâche. Pour les modèles avec 32K+ contexte, 5 exemples sont sûrs.
Le prompting par chaîne de pensées fonctionne-t-il avec tous les modèles locaux ?
Le prompting par chaîne de pensées fonctionne avec tout modèle réglé sur instructions (Llama 3.x, Qwen 2.5, Mistral 7B). Les modèles de base (non réglés sur instructions) ne suivent pas fiablement les instructions « pense étape par étape ». Pour les modèles locaux, les phrases CoT comme « Résous étape par étape : » ou « Raisonnement : » au début de la sortie attendue fonctionnent mieux.
Quel format de sortie est le plus fiable pour les LLM locaux ?
JSON est le format de sortie structuré le plus fiable pour les LLM locaux. Spécifiez le schéma JSON exact dans le prompt : « Réponds UNIQUEMENT avec un objet JSON avec clés : nom, score, raisonnement. » Les en-têtes Markdown (##) sont fiables pour les sections. Évitez de demander XML ou des formats personnalisés — les modèles locaux les gèrent de façon incohérente.
Comment empêcher un LLM local de s'éloigner du sujet ?
Ajoute une contrainte explicite au prompt système ou d'instruction : « Réponds UNIQUEMENT sur [sujet]. Si on te demande autre chose, dis : Je peux seulement aider avec [sujet]. » Pour Ollama, utilise le champ prompt système. Pour llama.cpp, prépends-le comme message système. Ce paramétrage fonctionne significativement mieux sur les modèles locaux 7B que sur les modèles cloud qui ont un alignement RLHF plus fort.
Quelle est la différence entre Zero-Shot et Few-Shot prompting pour les modèles locaux ?
Zero-Shot ne donne aucun exemple : « Classe cet e-mail comme spam ou non spam. » Few-Shot donne 2–5 exemples étiquetés avant la tâche. Pour les modèles locaux 7B, Few-Shot surpasse constamment Zero-Shot sur les tâches de classification et d'extraction de 15–25% de précision. Zero-Shot fonctionne bien pour les tâches de génération (résumé, traduction) où le format est moins critique.
Comment puis-je tester et itérer les prompts pour les modèles locaux ?
Testez sur 5–10 exemples divers. Changez une seule variable à la fois (rôle, format ou instruction CoT). Mesurez la précision ou la cohérence avant/après. Utilise un ensemble de test simple : 2–3 exemples faciles, 2–3 exemples difficiles. Suits quelles versions de prompts fonctionnent le mieux. Itère en cycles de 3–5 variations de prompts. Documente les prompts fonctionnels dans une bibliothèque.
Devrais-je faire de l'ingénierie des prompts ou du fine-tuning pour une tâche spécifique ?
Fais d'abord de l'ingénierie des prompts (rapide, gratuit, itératif). Si la précision plafonne après 20+ variations de prompts, alors fine-tune. Le fine-tuning nécessite 500+ exemples spécifiques à la tâche et 1–4 heures d'entraînement, mais produit des gains de 10–20% de précision. Pour les tâches généralistes, l'ingénierie des prompts suffit généralement. Pour les tâches spécifiques au domaine (médical, juridique, codage), le fine-tuning procure des améliorations durables.
Comment les prompts système diffèrent-ils des instructions utilisateur dans les LLM locaux ?
Les prompts système définissent le rôle et les contraintes du modèle avant le message de l'utilisateur et font partie de la structure de requête (dans Ollama, LM Studio ou via API). Les instructions utilisateur font partie de la conversation. Les prompts système définissent le comportement de base et sont plus fiables que d'intégrer les instructions dans le texte utilisateur. Pour les modèles locaux, un prompt système bien écrit améliore la cohérence de 15–25% car le modèle priorise les contraintes au niveau du système sur le texte au niveau utilisateur.
Puis-je utiliser le même prompt sur différents modèles locaux ?
Partiellement. La structure CoT basique et les définitions de rôles se transfèrent entre les modèles (Llama, Qwen, Mistral). Cependant, chaque modèle nécessite un ajustement de prompt pour des résultats optimaux. Les modèles Llama réagissent à « Laisse-moi penser étape par étape », tandis que les modèles Qwen préfèrent « D'abord, je dois... ». Teste ton prompt sur le modèle exact que tu déploies. Les modèles plus grands (70B) sont plus tolérants aux variations de prompt que les modèles plus petits (7B).
Sources
- Papier Chain-of-Thought Prompting (Wei et al.) — Recherche séminale sur le raisonnement par instructions étape par étape.
- Guide d'ingénierie des prompts (DAIR-AI) — Collection complète de techniques de prompting et de meilleures pratiques.
- Référence Ollama Modelfile — Documentation officielle pour les prompts système, les paramètres (température, top_p, repeat_penalty) et la création de modèles personnalisés.