Table des Matières
Pour évaluer un LLM sur vos propres documents, écrivez un jeu de test composé de vraies questions de vos utilisateurs, chacune avec une réponse de référence et le passage qui la justifie. Faites ensuite passer chaque modèle candidat par le même pipeline et notez les réponses par code, par des ingénieurs et par un LLM juge calibré. Les scores des benchmarks publics ne remplacent pas cette étape.
Points clés
- Les scores publics peuvent être gonflés par la contamination : sur un nouveau jeu de problèmes de mathématiques de niveau primaire construit sur le modèle du benchmark public GSM8k, des chercheurs ont observé des baisses de précision allant jusqu'à 8 % (Zhang et al., 2024).
- Testez le modèle et la recherche séparément : d'abord en fournissant le bon passage, puis de bout en bout.
- Un petit jeu de test a une marge d'erreur large. Avec 100 questions et un score de 80 %, l'intervalle de confiance à 95 % est d'environ ±8 points, selon la formule recommandée par Miller (2024).
- Les LLM juges performants sont d'accord avec les préférences humaines dans plus de 80 % des cas, mais présentent des biais de position, de verbosité et d'auto-valorisation (Zheng et al., 2023). Calibrez un juge par rapport aux notes des ingénieurs avant de lui faire confiance.
- Évaluez exactement la version que vous allez déployer : même quantification, même serveur d'inférence, même prompt et même longueur de contexte.
Pourquoi les scores des benchmarks publics ne suffisent-ils pas ?
Les classements comparent les modèles sur des jeux de questions publics. Trois problèmes apparaissent quand on transpose ces scores à une usine.
La contamination. Les questions des benchmarks se retrouvent dans les données d'entraînement. Les auteurs de GSM1k ont rédigé de nouveaux problèmes de mathématiques de niveau primaire calqués sur GSM8k et ont constaté que plusieurs familles de modèles montraient des signes de surapprentissage systématique, avec des baisses de précision allant jusqu'à 8 %. Ils suggèrent que certains modèles ont en partie mémorisé GSM8k (Zhang et al., 2024). Vos manuels de maintenance n'ont jamais figuré dans un classement, et c'est justement ce qui en fait un test équitable.
Le mauvais domaine et la mauvaise langue. ArabicMMLU contient 14 575 questions à choix multiples en arabe standard moderne, tirées d'examens scolaires d'Afrique du Nord, du Levant et du Golfe. En 2024, le meilleur modèle centré sur l'arabe testé a obtenu 62,3 % (Koto et al., 2024). C'est un benchmark sérieux, mais des examens scolaires disent peu de chose sur la capacité d'un modèle à lire une fiche technique de pompe en français et à répondre à une question posée en arabe.
Contexte annoncé et contexte réellement utilisable. Le benchmark RULER a testé des modèles qui annoncent tous un contexte de 32K tokens ou plus. Seule la moitié a gardé des performances satisfaisantes à 32K, et presque tous se sont dégradés à mesure que le contexte s'allongeait (Hsieh et al., 2024). Si vos procédures sont longues, testez avec leur longueur réelle.
Utilisez les scores publics pour établir une liste restreinte, et vos propres documents pour décider. Notre guide pour choisir un LLM open-weight traite de la présélection.
Qu'évaluez-vous exactement ?
Un assistant documentaire est un système : OCR, recherche, modèle et prompt. Pour savoir quelle partie a échoué, testez à trois niveaux.
| Niveau | Ce que reçoit le modèle | Ce que cela vous apprend |
|---|---|---|
| Sans contexte (closed book) | La question seule | Ce que le modèle sait par lui-même, et sa tendance à inventer des réponses |
| Bon passage fourni | La question et le passage qui contient la réponse | Si le modèle sait lire, raisonner et répondre quand la recherche est parfaite |
| De bout en bout | La question, via votre vrai pipeline de recherche | Ce que les utilisateurs obtiendront réellement |
L'écart entre les deux derniers niveaux correspond à votre perte due à la recherche. Si un modèle échoue alors qu'il a le bon passage sous les yeux, une meilleure recherche ne le sauvera pas. S'il réussit avec le passage fourni mais échoue de bout en bout, corrigez l'OCR, le découpage ou la recherche avant de changer de modèle ; notre guide du RAG pour les manuels de maintenance couvre ce pipeline. Si les faits sont justes mais que la forme de la réponse ne l'est pas, c'est là que le fine-tuning peut aider.
Comment construire un jeu de test à partir de vos propres documents ?
- Collectez de vraies questions. Demandez aux techniciens, ingénieurs procédés, planificateurs et équipes HSE les questions qu'ils ont réellement posées récemment, dans la langue où ils les ont posées. Des questions générées peuvent combler des manques plus tard ; vérifiez-les à la main, car elles ont tendance à reprendre la formulation du document.
- Notez la réponse de référence et sa source. Pour chaque question, un ingénieur écrit la bonne réponse avec le numéro du document, la révision et la page. La source permet de noter la recherche séparément.
- Couvrez les types de questions qui mettent les systèmes en défaut (voir le tableau ci-dessous).
- Incluez des questions sans réponse. La bonne réponse est « introuvable dans les documents », pas une supposition plausible.
- Signalez les questions critiques. Couples de serrage, consignes, étapes de consignation, compatibilités chimiques. Une seule mauvaise réponse sur ces points compte plus que le score moyen.
- Figez et versionnez le jeu. Gardez une partie réservée sur laquelle personne n'ajuste les prompts, et archivez le jeu avec la liste des révisions de documents à partir desquelles il a été écrit.
- Gardez-le sur votre infrastructure. Un bon jeu de test est un résumé du savoir-faire de votre usine.
Le guide d'évaluation d'Anthropic formule les mêmes principes de manière générale : concevoir des évaluations qui reflètent la distribution réelle des tâches, inclure les cas limites et structurer les questions pour qu'elles puissent être notées automatiquement (Anthropic).
| Type de question | Exemple en usine | Ce qu'il teste |
|---|---|---|
| Fait unique | « Quel est le couple de serrage des boulons d'accouplement de la pompe P-101 ? » | La recherche et la lecture exacte d'une valeur |
| Lecture de tableau | « Quelle est la périodicité de vidange du réducteur à température ambiante élevée ? » | L'extraction des tableaux |
| Identifiant exact | « Que signifie le code d'alarme TS-104 ? » | La recherche sur les codes et références de pièces |
| Plusieurs documents | « La procédure du site utilise-t-elle le même jeu que le manuel du constructeur ? » | La combinaison et la comparaison de sources |
| Multilingue | Une question en arabe dont la réponse est dans une procédure en français | La recherche multilingue et la langue de la réponse |
| Sensible à la révision | « Quelles sont les étapes de consignation actuelles du compresseur ? » quand deux révisions existent | Le filtrage des documents périmés |
| Sans réponse | Une valeur qui ne figure dans aucun document | Répondre « introuvable » au lieu d'inventer |
Les corpus mêlant arabe, français et anglais méritent leur propre part du jeu ; voir gérer des documents multilingues.
Combien de questions faut-il ?
Le guide d'OpenAI sur la précision considère qu'un ensemble de 20 questions ou plus avec des réponses de référence est le point de départ d'une évaluation de base (OpenAI). Cela révèle les défaillances grossières, mais ne permet pas de classer deux bons modèles.
Tout score a une marge d'erreur. Miller recommande de publier l'erreur type avec chaque score, et un intervalle de confiance à 95 % égal à la moyenne plus ou moins 1,96 erreur type (Miller, 2024). Pour un score réussi/échoué p sur n questions indépendantes, l'erreur type vaut √(p(1−p)/n), ce qui donne :
| Questions | Score | Intervalle de confiance à 95 % (approx.) |
|---|---|---|
| 50 | 80 % | ±11 points |
| 100 | 80 % | ±8 points |
| 300 | 80 % | ±4,5 points |
| 1 000 | 80 % | ±2,5 points |
Deux précisions tirées du même article. Les questions rédigées à partir du même passage ne sont pas indépendantes, et les erreurs types groupées (clustered) peuvent être plus de trois fois supérieures aux erreurs types naïves. Quand deux modèles répondent aux mêmes questions, comparez-les question par question (différences appariées), ce qui réduit le bruit. Dans l'exemple chiffré de Miller, détecter un écart de 3 points avec une puissance de 80 % et un seuil de signification de 5 % demande environ 969 questions, et il conclut que les nouvelles évaluations devraient compter au moins 1 000 questions.
En pratique, quelques centaines de questions font apparaître les grands écarts et les types de défaillance ; les petits écarts entre deux bons modèles relèvent du bruit. Ventilez les résultats par type de question.
Comment noter les réponses ?
Anthropic classe ainsi les méthodes de notation : la notation par code est la plus rapide et la plus fiable mais manque de nuance ; la notation humaine est la plus souple mais lente et coûteuse ; la notation par LLM est rapide et souple, mais sa fiabilité doit être testée avant de la généraliser (Anthropic).
| Méthode de notation | À utiliser pour | Points de vigilance |
|---|---|---|
| Code (correspondance exacte, recherche de chaîne, tolérance numérique) | Valeurs, unités, codes, références de pièces, réponses « introuvable » | Variantes de format comme « 25 N·m » et « 25 Nm » |
| Revue par un ingénieur | Questions critiques, échantillon du reste, calibrage du juge | Le temps, et les désaccords entre relecteurs |
| LLM juge | Réponses en texte libre, fidélité au passage cité | Biais connus ; il doit tourner on-premise pour les documents confidentiels |
Les LLM juges sont utiles mais biaisés. Dans l'étude MT-Bench, GPT-4 utilisé comme juge a atteint plus de 80 % d'accord avec les préférences humaines, le même niveau que celui des humains entre eux, tout en montrant des biais de position, de verbosité et d'auto-valorisation (Zheng et al., 2023). Dans une autre étude, le simple fait de changer l'ordre de présentation de deux réponses a permis à Vicuna-13B de battre ChatGPT sur 66 requêtes sur 80, avec ChatGPT comme juge (Wang et al., 2023).
Règles pratiques pour un juge :
- Donnez-lui une grille de notation détaillée et la réponse de référence, et demandez un verdict net, par exemple correct ou incorrect, ou une note de 1 à 5, comme le recommande Anthropic.
- Utilisez comme juge un modèle différent de celui que vous testez ; les exemples d'Anthropic en font une bonne pratique générale.
- Faites noter un échantillon de réponses par des ingénieurs, faites passer le juge sur le même échantillon, et vérifiez leur taux d'accord avant de confier le reste au juge.
- Mesurez la fidélité séparément. Ragas la définit comme la part des affirmations d'une réponse étayées par le contexte récupéré, de 0 à 1 (Ragas). Pour la recherche, la métrique de rappel du contexte de Ragas inclut une variante par identifiants, qui compare les identifiants des passages récupérés à ceux de référence sans appeler de LLM (Ragas).
Le juge voit les mêmes données que le modèle testé. Un juge appelé via une API cloud étrangère envoie des documents confidentiels à l'extérieur à chaque notation.
Pourquoi les résultats changent-ils entre le test et la production ?
Le non-déterminisme. Thinking Machines Lab a échantillonné 1 000 fois le même prompt à température 0 sur Qwen3-235B et a obtenu 80 réponses différentes. L'équipe l'attribue principalement à la charge du serveur, qui fait varier la taille des lots (batch) (He, 2025). Faites passer chaque question plusieurs fois, ou au moins relancez les échecs, avant de conclure.
La quantification. Une étude portant sur plus de 500 000 évaluations a trouvé le FP8 pratiquement sans perte à toutes les tailles de modèle, et l'INT8 bien réglé avec une perte de précision de seulement 1 à 3 % (Kurtic et al., 2024). Ce sont des résultats sur des benchmarks publics ; testez la version quantifiée que vous servirez réellement. Le choix du matériel est traité dans matériel et dimensionnement GPU pour un LLM on-premise.
Le contexte et le prompt. Testez avec le nombre de passages et les longueurs de documents que vous utiliserez en production. Un nouveau prompt système, un autre template de chat ou un nouveau réglage de recherche font un nouveau système : relancez le jeu de test.
Comment comparer équitablement deux modèles candidats ?
- Utilisez le même jeu de test, le même index de recherche, le même prompt (adapté seulement au format de chat de chaque modèle) et les mêmes paramètres de génération.
- Passez les trois niveaux : sans contexte, bon passage fourni, de bout en bout.
- Notez d'abord par code, puis par le juge, puis par revue d'ingénieur des réponses critiques et litigieuses.
- Présentez les scores par type de question avec leurs intervalles de confiance, et la différence appariée entre les modèles.
- Considérez toute mauvaise réponse à une question critique comme bloquante, quelle que soit la moyenne.
- Enregistrez la version du modèle, la quantification, la version du prompt et celle de l'index à chaque passage, pour pouvoir le reproduire.
Pour les benchmarks standards sur des candidats locaux, lm-evaluation-harness d'EleutherAI, sous licence MIT, implémente plus de 60 benchmarks académiques et prend en charge les modèles servis avec vLLM ou chargés avec Hugging Face transformers (EleutherAI). Il complète votre jeu de test ; il ne le remplace pas.
Ce que nous avons constaté chez KABAS AI
DALILE fonctionne entièrement on-premise et répond en citant ses sources exactes. Cela rend la méthode ci-dessus praticable : chaque réponse peut être vérifiée sur la page citée, et le jeu de test, le modèle juge et les journaux peuvent rester sur les mêmes serveurs que les documents.
Quand nous cadrons un assistant documentaire avec un client, nos conseils sont les suivants :
- Écrire le jeu de test avec les ingénieurs qui utiliseront l'assistant, avant de choisir un modèle.
- Convenir à l'avance des questions critiques et des défaillances qui bloquent la mise en production.
- Garder le jeu de test, les résultats et tout modèle juge sur l'infrastructure du client et sous sa propriété.
- Relancer l'ensemble du jeu après chaque changement de modèle, de quantification, de prompt, de documents ou d'index, et conserver l'historique.
Si votre assistant doit aussi agir sur les systèmes de l'usine, nos services d'IA agentique couvrent la conception et le déploiement, et l'article sur la validation humaine (human-in-the-loop) précise quelles actions exigent encore une personne.
Sources
- Zhang et al., A Careful Examination of Large Language Model Performance on Grade School Arithmetic (arXiv, 2024)
- Koto et al., ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic (arXiv, 2024)
- Hsieh et al., RULER: What's the Real Context Size of Your Long-Context Language Models? (arXiv, 2024)
- Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (arXiv, 2024)
- OpenAI, Optimizing LLM accuracy
- Anthropic, Define success criteria and build evaluations
- Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv, 2023)
- Wang et al., Large Language Models are not Fair Evaluators (arXiv, 2023)
- Documentation Ragas, Faithfulness
- Documentation Ragas, Context Recall
- He et Thinking Machines Lab, Defeating Nondeterminism in LLM Inference (septembre 2025)
- Kurtic et al., "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization (arXiv, 2024)
- EleutherAI, lm-evaluation-harness (GitHub)
Questions fréquentes
Combien de questions de test faut-il pour évaluer un LLM ?
Une vingtaine de questions avec réponses connues suffit pour une première référence et pour repérer les défaillances grossières. Pour comparer deux bons modèles, il en faut beaucoup plus : avec 100 questions et un score de 80 %, l'intervalle de confiance à 95 % est d'environ plus ou moins 8 points. Un exemple statistique publié demande environ 1 000 questions pour détecter un écart de 3 points.
Peut-on utiliser un LLM pour noter les réponses ?
Oui, pour les réponses en texte libre, mais seulement après l'avoir vérifié. Dans les tests publiés, des LLM juges performants étaient d'accord avec les préférences humaines dans plus de 80 % des cas, tout en montrant des biais de position, de verbosité et d'auto-valorisation. Faites noter un échantillon par des ingénieurs, comparez le juge avec eux, et gardez des contrôles exacts par code pour les valeurs, unités et codes.
Le jeu de test doit-il contenir des questions sans réponse dans les documents ?
Oui. Un assistant d'usine doit dire quand les documents ne contiennent pas la réponse au lieu d'en inventer une. Incluez des questions dont la réponse ne figure dans aucun document et comptez combien de fois le système répond correctement qu'il n'a rien trouvé.
Peut-on mener toute l'évaluation on-premise ?
Oui. Des outils open source comme lm-evaluation-harness d'EleutherAI peuvent évaluer des modèles servis localement, et le modèle juge peut être un modèle open-weight sur vos propres serveurs. Si le juge est une API cloud étrangère, vos documents et vos réponses quittent votre réseau à chaque appel de notation.
À quelle fréquence faut-il relancer l'évaluation ?
Après chaque changement qui peut modifier les réponses : nouveau modèle ou nouvelle version, autre quantification, nouveau prompt ou template de chat, nouveaux documents ou révisions, ou modification de l'OCR, du découpage et de la recherche. Conservez les résultats de chaque passage pour voir les régressions dans le temps.



