Évaluer un LLM est difficile parce qu'il n'existe souvent pas une seule bonne réponse : un résumé, une explication ou un email peuvent être corrects de mille façons. Le pattern LLM-as-a-judge — utiliser un modèle pour noter les sorties d'un autre — est devenu le compromis dominant entre la scalabilité de l'automatique et la finesse du jugement humain. Mais c'est un instrument biaisé, à calibrer contre l'humain, jamais à croire aveuglément.
Pourquoi l'évaluation est intrinsèquement difficile
La qualité d'une sortie ouverte combine fluidité, factualité, pertinence, ton et format — des dimensions souvent en tension, irréductibles à un seul nombre. S'ajoutent l'absence de vérité terrain pour les tâches génératives et le non-déterminisme (la même entrée donne des sorties variables). Enfin, le coût est combinatoire : N modèles × M prompts × K critères. L'évaluation n'est pas un exercice académique, c'est de l'ingénierie continue : détecter les régressions à chaque déploiement, comparer modèles et prompts, surveiller la production.
Les métriques automatiques classiques, et leurs limites
L'exact-match / accuracy est parfaite pour le QA fermé, la classification ou un calcul à réponse unique — et inutile dès que la formulation varie. BLEU et ROUGE mesurent le recouvrement de n-grammes avec une référence : conçues pour la traduction et le résumé, elles corrèlent faiblement avec le jugement humain sur le texte ouvert. BERTScore capte la similarité sémantique mais dépend encore d'une référence et ignore la factualité. Le défaut de fond : ces métriques mesurent la ressemblance à une référence, pas la qualité absolue — aveugles aux paraphrases correctes comme aux hallucinations bien tournées.
L'évaluation humaine : étalon-or, mais…
L'humain reste la référence ultime : il capte la nuance, la factualité et la préférence réelle des utilisateurs. Mais il est coûteux, lent et inconsistant : les experts ne sont d'accord entre eux qu'environ 80 % du temps, et l'annotation ne passe pas à l'échelle d'un cycle CI/CD. On distingue la notation pointwise (note absolue) de la préférence pairwise (A vs B) — cette dernière plus fiable, car comparer est plus facile que noter dans l'absolu.
Le pattern LLM-as-a-judge
L'idée : confier l'évaluation à un LLM fort, guidé par un prompt et une grille de notation. Bien cadré, il corrèle fortement avec l'humain tout en restant automatisable. Sur MT-Bench, l'accord juge-LLM ↔ humains atteint ~85 % (hors égalités), soit l'ordre de grandeur de l'accord humain ↔ humain (~81 %). À traiter comme un composant qu'on teste et calibre, pas comme un oracle.
Schéma : les trois modes du LLM-as-a-judge.
Les trois modes
- Pointwise (note absolue) : le juge attribue une note (ex. 1–5) à une réponse selon une rubrique. Rapide, mais notes peu calibrées et instables dans le temps.
- Pairwise (comparaison) : le juge choisit A vs B (ou égalité). Plus robuste car comparatif ; c'est la base des arènes, mais coûteux en O(n²) si l'on compare toutes les paires.
- Reference-guided : on fournit au juge une réponse de référence (ou on le fait répondre lui-même d'abord). Réduit fortement les erreurs sur le raisonnement et les mathématiques.
Écrire un bon prompt de juge
Donnez au juge un rôle, des critères explicites et une rubrique avec des descripteurs par niveau — pas une consigne vague. Faites-le raisonner avant de noter, utilisez une échelle entière courte (1–5, pas de flottant), et exigez une sortie structurée pour un parsing fiable :
Note la réponse de 1 à 5 sur :
- Exactitude factuelle (les affirmations sont-elles vraies ?)
- Pertinence (répond-elle à la question posée ?)
- Clarté (est-elle compréhensible et bien structurée ?)
Justifie chaque note en une phrase, PUIS donne le total.Des exemples notés (few-shot) ancrent le barème ; pour plusieurs critères, décomposez plutôt qu'une note globale (façon RAGAS : faithfulness, answer relevancy, etc.).
Les biais à neutraliser
Les juges LLM ont des biais documentés (la taxonomie CALM en recense une douzaine) :
- Position : préférence pour la première (ou la deuxième) réponse, indépendamment de la qualité.
- Verbosité : préférence pour les réponses plus longues, même sans contenu supérieur.
- Auto-préférence : un modèle note plus haut ses propres sorties.
- Format / autorité : sensibilité au markdown soigné, aux citations (même fausses), au ton.
Mitigations éprouvées : permuter l'ordre (appeler le juge deux fois en inversant A/B, ne déclarer gagnant que s'il l'emporte dans les deux sens) ; ne jamais juger un modèle avec lui-même (utiliser un juge tiers) ; ajouter du few-shot et du raisonnement (chain-of-thought) ; et passer en reference-guided sur les tâches à réponse vérifiable.
L'accord avec l'humain : le seul vrai critère de validité
Un juge n'a de valeur que s'il corrèle avec l'humain — et cet accord est dépendant de la tâche et du domaine, il ne se transfère pas automatiquement. Avant de lui faire confiance, mesurez vous-même son accord sur un jeu de validation humain (accuracy, kappa de Cohen, corrélation de Spearman), puis re-calibrez régulièrement. G-Eval, par exemple, atteint une corrélation de Spearman ~0,51 avec l'humain sur le résumé — nettement au-dessus de BLEU/ROUGE, mais loin d'être parfaite.
Arènes et Elo : la préférence humaine à grande échelle
Pour comparer des modèles « dans la vraie vie », les arènes (comme Chatbot Arena) opposent deux réponses anonymes et collectent un vote pairwise en aveugle, à très grande échelle. Le classement, d'abord en Elo (importé des échecs), est désormais estimé par un modèle Bradley-Terry avec intervalles de confiance par bootstrap, plus stable.
Figure : évolution de scores Elo. Source : Wikimedia Commons (CC BY-SA).
Limites : la population des arènes est auto-sélectionnée et la distribution des prompts n'est pas représentative ; elles mesurent surtout l'« utilité » perçue, pas la sécurité ni la factualité.
Offline vs online ; et quand NE PAS croire le juge
L'évaluation offline (jeux de tests figés, juge en CI) détecte les régressions ; l'évaluation online (préférences réelles en production) est plus représentative mais bruitée. HELM rappelle d'être holistique : au-delà de l'accuracy, mesurer calibration, robustesse, biais, toxicité, équité.
Méfiez-vous de l'echo-chamber (un LLM qui juge un LLM renforce leurs biais communs), de la prompt-injection sur le contenu jugé, et de la loi de Goodhart (optimiser le juge ≠ optimiser l'utilisateur). Basculez vers l'humain pour les enjeux de sécurité, conformité ou factualité critique, sur un domaine non validé, ou quand l'accord juge ↔ humain est faible.
En pratique : le trépied
Une évaluation fiable combine trois niveaux : tests déterministes pour ce qui est vérifiable, LLM-as-a-judge pour le qualitatif à grande échelle, et un échantillon de revue humaine pour calibrer le juge. C'est ce trépied — automatisable mais ancré dans l'humain — qui rend l'évaluation à la fois scalable et digne de confiance.