Table des Matières
Pour mesurer les hallucinations d'un assistant industriel, découpez chaque réponse en affirmations factuelles et vérifiez chacune dans le passage qu'elle cite. Comptez les affirmations non étayées, les citations qui ne soutiennent pas leur phrase et les réponses fausses aux questions sans réponse dans les documents. Vérifiez les nombres critiques par code et continuez à mesurer après la mise en service.
Points clés
- Le NIST définit la confabulation, appelée couramment « hallucination », comme un contenu erroné ou faux affirmé avec assurance, susceptible d'induire les utilisateurs en erreur (NIST AI 600-1).
- La recherche documentaire réduit les hallucinations sans les supprimer : dans un test préenregistré, des outils de recherche juridique fondés sur ce principe hallucinaient chacun dans 17 % à 33 % des cas (Magesh et al., 2024).
- Les citations doivent aussi être vérifiées. Dans un audit de quatre moteurs de recherche génératifs, seules 51,5 % des phrases étaient entièrement étayées par leurs citations (Liu et al., 2023).
- Notez « non trouvé » séparément des réponses fausses. Une exactitude brute récompense le fait de deviner plutôt que d'admettre l'incertitude (Kalai et al., 2025).
- Mesurez au niveau de l'affirmation, distinguez hallucination et échec de recherche, et traitez toute valeur critique fausse comme bloquante.
Qu'est-ce qui compte comme hallucination dans un assistant d'usine ?
Le profil IA générative du NIST emploie le terme de confabulation : la production d'un contenu erroné ou faux affirmé avec assurance (appelé couramment « hallucinations » ou « fabrications »), par lequel les utilisateurs peuvent être induits en erreur ou trompés (NIST AI 600-1).
Une revue sur les hallucinations des grands modèles de langage distingue deux catégories (Huang et al., 2023). Une hallucination de factualité contredit des faits vérifiables du monde réel. Une hallucination de fidélité s'écarte de l'instruction de l'utilisateur ou du contexte fourni, ou se contredit elle-même. Pour un assistant qui répond à partir de vos documents, c'est la fidélité qu'on mesure en premier : les documents sont la référence, même quand les connaissances générales du modèle disent autre chose.
Dans une usine, elle prend le plus souvent l'une de ces formes :
- Une valeur qui ne figure dans aucun document, comme un jeu ou un couple de serrage plausible.
- Une valeur réelle avec la mauvaise unité, le mauvais repère d'équipement ou la mauvaise condition de marche.
- Une affirmation correcte avec une citation renvoyant à une page qui ne la contient pas.
- Des étapes mélangées entre deux procédures, ou reprises d'une révision périmée.
- Une réponse à une question à laquelle les documents ne répondent pas, au lieu de « non trouvé ».
Distinguez-la d'une erreur de recherche, où le bon passage n'a jamais atteint le modèle. Les deux se corrigent différemment, comme le rappelle notre glossaire de l'IA industrielle, et le guide RAG pour les manuels de maintenance traite du volet recherche. Les confusions de révision relèvent souvent de la recherche et des métadonnées plutôt que du modèle.
La recherche documentaire (RAG) arrête-t-elle les hallucinations ?
Non, et les audits publiés montrent dans quelle mesure elle n'y parvient pas.
Magesh et al. (2024) ont mené une évaluation préenregistrée d'outils juridiques d'IA dont les éditeurs présentaient la recherche documentaire comme un moyen d'éviter les hallucinations. Sur 202 requêtes, Lexis+ AI, Westlaw AI-Assisted Research et Ask Practical Law AI hallucinaient chacun dans 17 % à 33 % des cas. C'est moins que GPT-4 utilisé comme chatbot généraliste, mais loin de zéro. Leur définition est utile pour une usine : une réponse est considérée comme hallucinée si elle est incorrecte ou mal fondée, c'est-à-dire si elle cite une source qui n'étaye pas l'affirmation. Leur jeu comprenait aussi des questions à prémisse fausse, qui ont un équivalent direct en usine : une question qui suppose une étape de procédure ou une pièce qui n'existe pas.
Les citations elles-mêmes peuvent être fausses. Liu et al. (2023) ont audité Bing Chat, NeevaAI, perplexity.ai et YouChat : seules 51,5 % des phrases générées étaient entièrement étayées par des citations, et seules 74,5 % des citations étayaient la phrase associée. Sur le benchmark ALCE, même les meilleurs modèles n'avaient pas un appui complet de leurs citations dans 50 % des cas sur l'un des jeux de données (Gao et al., 2023).
Une citation affichée à côté de la réponse la rend vérifiable. Elle ne la rend pas exacte. La mesure doit ouvrir le passage cité.
Quelles métriques d'hallucination suivre ?
Aucun chiffre unique ne suffit. Le tableau liste les mesures utiles pour un assistant documentaire et leur origine.
| Métrique | Ce qu'elle compte | Comment la calculer | Origine |
|---|---|---|---|
| Fidélité (faithfulness) | Part des affirmations de la réponse étayées par les passages récupérés | Découper la réponse en affirmations, vérifier chacune dans le contexte, diviser les affirmations étayées par le total (de 0 à 1) | Ragas |
| Appui des citations | Part des phrases citées que le passage cité étaye réellement | Vérifier chaque phrase par rapport à sa propre citation, pas à l'ensemble du contexte | Liu et al., 2023 ; Gao et al., 2023 |
| Précision factuelle | Part des faits atomiques étayés par une source de référence | Découper les réponses longues en faits atomiques et vérifier chacun | Min et al., 2023 |
| Taux de réponses fausses aux questions sans réponse | Fréquence à laquelle l'assistant invente une réponse quand les documents sont muets | Classer chaque réponse comme correcte, incorrecte ou non tentée | Wei et al., 2024 |
| Taux d'erreur sur les valeurs critiques | Points de consigne, couples de serrage, limites, unités ou repères faux | Correspondance exacte ou tolérance numérique par code par rapport à la réponse de référence | Votre propre jeu de test |
| Cohérence des réponses | Désaccord entre plusieurs tirages de la même question | Générer la réponse plusieurs fois et comparer | Manakul et al., 2023 |
La notation au niveau de l'affirmation compte, car les réponses longues mélangent le vrai et le faux. FActScore a été conçu pour cela : il découpe un texte généré en faits atomiques et calcule le pourcentage étayé par une source de connaissance fiable. Sur des biographies, ChatGPT n'atteignait que 58 % (Min et al., 2023). Une note réussi ou échoué sur la réponse entière masquerait un fait faux parmi cinq faits justes.
La cohérence est un signal d'alerte peu coûteux, pas une preuve. SelfCheckGPT repose sur l'idée que, si un modèle connaît un fait, ses réponses tirées plusieurs fois tendent à concorder, tandis que les faits inventés varient d'un tirage à l'autre (Manakul et al., 2023).
Pourquoi un score d'exactitude unique masque-t-il les hallucinations ?
Parce qu'il traite « je ne sais pas » comme un échec, il pousse le modèle à deviner. Kalai et ses coauteurs soutiennent que les modèles de langage hallucinent parce que les procédures d'entraînement et d'évaluation récompensent le fait de deviner plutôt que de reconnaître l'incertitude, et que la solution consiste à modifier la notation des benchmarks existants (Kalai et al., 2025).
Le benchmark SimpleQA montre l'alternative : chaque réponse y est classée comme correcte, incorrecte ou non tentée (Wei et al., 2024). Utilisez les trois mêmes issues sur votre jeu de test d'usine :
| Issue | Question avec réponse | Question sans réponse |
|---|---|---|
| Correcte | Bonne valeur, bonne source | Indique que les documents ne la contiennent pas |
| Non tentée | Répond « non trouvé » alors que la réponse existe | (sans objet) |
| Incorrecte | Valeur fausse ou affirmation non étayée | Invente une réponse |
Publiez le taux de réponses incorrectes à part. Pour un technicien, un « non trouvé » coûte un passage par le manuel ; une étape de consignation inventée peut coûter bien plus. Décidez avec l'usine quel compromis est acceptable avant de comparer des modèles.
Comment construire un jeu de test d'hallucinations ?
Partez de la méthode générale de notre guide pour évaluer un LLM sur vos propres documents, puis ajoutez ce que demandent les hallucinations :
- Étiqueter les affirmations, pas seulement les réponses. Sur un échantillon de réponses, les ingénieurs marquent chaque affirmation factuelle comme étayée, non étayée ou contredite par le passage cité. Le corpus RAGTruth montre le format : près de 18 000 réponses RAG annotées à la main au niveau du mot (Niu et al., 2023).
- Ajouter des questions sans réponse et à prémisse fausse. Demander une valeur qui ne figure dans aucun document, ou interroger sur une pompe que l'unité ne possède pas.
- Marquer les questions critiques. Points de consigne, seuils de déclenchement, couples de serrage, compatibilités chimiques et étapes de consignation. Une seule réponse fausse ici bloque la mise en service, quelle que soit la moyenne.
- Tester avec le bon passage fourni, et aussi de bout en bout. Si le modèle invente des détails alors que le bon passage est sous ses yeux, c'est un problème de modèle ou de prompt ; s'il n'échoue que de bout en bout, regardez d'abord la recherche.
- Poser chaque question plusieurs fois. Les réponses varient d'une exécution à l'autre ; rééchantillonner les réponses fait partie des moyens de réduire la variance que recommande Miller (2024).
- Publier les marges d'erreur et comparer les modèles question par question. Miller recommande les erreurs types, des erreurs types groupées quand les questions forment des groupes liés, et des différences appariées quand deux modèles répondent aux mêmes questions.
Qui note les réponses : le code, un modèle juge ou les ingénieurs ?
Les trois, chacun là où il est le plus fort.
Le code vérifie ce qui peut l'être exactement : chaque nombre de la réponse doit figurer dans le passage cité avec la même unité, et chaque document et page cités doivent exister et être en vigueur.
Un modèle juge note à grande échelle les affirmations en texte libre. Ragas calcule la fidélité avec un LLM, et sa documentation propose aussi HHEM-2.1-Open de Vectara, un petit classifieur T5 ouvert entraîné à détecter les hallucinations, pour l'étape de vérification des affirmations (Ragas). La même famille de modèles alimente le classement public de Vectara, qui mesure la fréquence à laquelle les modèles ajoutent un contenu non étayé quand on leur demande de résumer un passage en n'utilisant que ce passage (Vectara). Ce classement est un test de résumé, pas un test sur vos documents. Les auteurs de RAGTruth ont aussi constaté qu'un modèle relativement petit, affiné, peut atteindre une détection des hallucinations compétitive par rapport à GPT-4 utilisé par prompt (Niu et al., 2023), ce qui compte quand le vérificateur doit tourner on-premise.
Les ingénieurs notent les questions critiques et un échantillon du reste, et calibrent le juge. Les LLM juges performants sont d'accord avec les préférences humaines dans plus de 80 % des cas, mais présentent des biais de position, de verbosité et d'auto-valorisation (Zheng et al., 2023). Mesurez à quelle fréquence le juge et les ingénieurs sont d'accord avant de lui faire confiance.
Comment continuer à mesurer après la mise en service ?
Un jeu de test mesure le système que vous avez construit ; la production montre les questions que les gens posent réellement.
- Appliquer les contrôles par code à chaque réponse : nombres, unités, repères et citations par rapport aux passages cités. Signaler les échecs au lieu de les afficher sans avertissement.
- Faire relire chaque semaine un échantillon de réponses réelles par des ingénieurs, avec les mêmes étiquettes d'affirmation que le jeu de test.
- Permettre aux utilisateurs de signaler une réponse fausse en un clic, et transmettre les signalements au responsable du document.
- Relancer tout le jeu de test après chaque changement de modèle, de quantification, de prompt, de documents ou d'index, comme décrit dans maintenir à jour un LLM on-premise. Suivre la tendance avec les autres métriques des modèles ; voir la surveillance de la dérive des modèles.
La mesure indique où agir. Les recommandations d'un éditeur pour réduire les hallucinations citent le fait d'autoriser le modèle à dire qu'il ne sait pas, d'ancrer les réponses dans des citations textuelles et de lui faire retirer toute affirmation qu'il ne peut pas étayer par une citation, et précisent que ces techniques réduisent les hallucinations sans les éliminer (documentation Anthropic). Le fine-tuning ne compense pas une connaissance manquante ; voir fine-tuning ou RAG. Quand l'assistant prépare des actions, une personne doit les approuver : voir l'humain dans la boucle pour les agents IA.
Ce que nous avons constaté chez KABAS AI
DALILE tourne entièrement on-premise et répond avec les sources exactes. Cela rend la méthode ci-dessus applicable : chaque affirmation peut être vérifiée dans le passage cité, et le jeu de test, le modèle juge et les journaux restent sur les mêmes serveurs que les documents.
Quand nous cadrons un assistant avec un client, nos conseils sont les suivants :
- Convenir avec les ingénieurs qui l'utiliseront de ce qui compte comme hallucination et des questions critiques, avant de choisir un modèle.
- Noter « non trouvé » et « faux » séparément, et fixer le nombre acceptable de réponses fausses aux questions critiques, qui devrait normalement être nul.
- Garder les contrôles d'hallucination dans le code partout où la réponse est un nombre, une unité ou une référence de document.
- Conserver le jeu de test, les étiquettes et les résultats sur l'infrastructure du client et sous sa propriété.
Si votre assistant doit aussi interroger les systèmes de l'usine ou agir sur eux, nos services d'IA agentique couvrent la conception et le déploiement.
Sources
- NIST, AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (juillet 2024)
- Huang et al., A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions (arXiv, 2023)
- Magesh et al., Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv, 2024)
- Liu, Zhang et Liang, Evaluating Verifiability in Generative Search Engines (arXiv, 2023)
- Gao et al., Enabling Large Language Models to Generate Text with Citations (arXiv, 2023)
- Min et al., FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation (arXiv, 2023)
- Wei et al., Measuring short-form factuality in large language models (arXiv, 2024)
- Kalai et al., Why Language Models Hallucinate (arXiv, 2025)
- Manakul, Liusie et Gales, SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (arXiv, 2023)
- Niu et al., RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models (arXiv, 2023)
- Documentation Ragas, Faithfulness
- Vectara, Hallucination Leaderboard (GitHub)
- Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv, 2023)
- Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (arXiv, 2024)
- Documentation Anthropic, Reduce hallucinations
Questions fréquentes
Qu'est-ce qu'une hallucination dans un assistant IA industriel ?
C'est une réponse affirmée avec assurance mais fausse ou non étayée par les documents de l'usine, par exemple un couple de serrage inventé, une mauvaise unité, ou une citation renvoyant à une page qui ne dit pas ce que la réponse affirme. Le NIST parle de confabulation. Il ne faut pas la confondre avec une erreur de recherche, où le bon passage n'a jamais été trouvé.
Le RAG empêche-t-il un assistant d'halluciner ?
Il réduit les hallucinations mais ne les supprime pas. Dans une étude préenregistrée portant sur des outils de recherche juridique fondés sur la recherche documentaire, chaque outil hallucinait encore dans 17 % à 33 % des cas. Ancrer les réponses dans les documents rend toutefois les hallucinations plus faciles à détecter, car chaque affirmation peut être vérifiée dans le passage cité.
Quelle est la métrique la plus utile pour mesurer les hallucinations ?
Il n'y en a pas une seule. Suivez la part des affirmations de la réponse étayées par les passages récupérés (la fidélité), la part des citations qui étayent réellement leur phrase, et le taux de réponses fausses aux questions auxquelles les documents ne répondent pas. Pour les valeurs critiques comme les points de consigne et les couples de serrage, vérifiez chaque nombre par code.
Un LLM juge peut-il détecter les hallucinations de façon fiable ?
Il peut aider, mais il doit d'abord être comparé aux ingénieurs. Dans les tests publiés, des LLM juges performants sont d'accord avec les préférences humaines dans plus de 80 % des cas, mais présentent des biais de position, de verbosité et d'auto-valorisation. De petits classifieurs ouverts comme HHEM-2.1-Open peuvent aussi noter les affirmations et tourner sur vos propres serveurs.
À quelle fréquence faut-il mesurer les hallucinations ?
Avant la mise en service sur un jeu de test figé, après chaque changement de modèle, de quantification, de prompt, de documents ou d'index, et en continu en production sur un échantillon de réponses réelles relues par des ingénieurs. Conservez les résultats de chaque campagne pour qu'une régression soit visible.



