Table des Matières
Pour traiter des documents qui mêlent arabe, français et anglais, la langue doit être gérée à chaque étape : OCR avec les trois langues chargées, normalisation de l'orthographe arabe et des chiffres avant l'indexation, modèle d'embeddings multilingue combiné à une recherche par mots-clés propre à chaque langue, modèle de langage qui prend officiellement en charge les trois, et tests séparés pour chaque combinaison de langues.
Points clés
- Le mélange des langues se produit à trois niveaux : entre documents, à l'intérieur d'un document et à l'intérieur d'une phrase. Chaque niveau casse une partie différente de la chaîne de traitement.
- La recherche par mots-clés ne franchit pas la barrière des langues. Dans le test multilingue de l'article sur BGE-M3, BM25 retrouvait un passage contenant la réponse parmi les 100 premiers résultats pour 18,9 % des questions en arabe portant sur un texte anglais, contre 71,5 % pour le modèle d'embeddings multilingue (Chen et al., 2024).
- Le texte arabe doit être normalisé (formes de hamza, ta marbouta, alif maqsoura, voyelles et tatwil) (Apache Lucene), et les chiffres convertis en 0 à 9.
- Les fiches de modèles diffèrent : Llama 3.1 annonce huit langues prises en charge, dont l'arabe ne fait pas partie (Meta), tandis que Llama 4 cite l'arabe et le français (Meta).
- Les modèles de langage répondent parfois dans la mauvaise langue, plus souvent avec des prompts complexes et des températures d'échantillonnage élevées (Marchisio et al., 2024). Testez explicitement la langue des réponses.
Pourquoi les documents industriels en Algérie mêlent-ils trois langues ?
La Constitution algérienne fait de l'arabe la langue nationale et officielle, et de tamazight également une langue nationale et officielle (Constitution de 2020, articles 3 et 4) ; vérifiez avec un juriste la langue qu'un document donné doit utiliser. Les fonds documentaires industriels sont généralement plus mélangés. Les manuels d'équipement arrivent souvent du constructeur en anglais, les procédures internes et les rapports sont souvent rédigés en français, et la correspondance, les formulaires et les notes de poste peuvent être en arabe. Notre guide du RAG pour les manuels de maintenance cite ce point parmi les principaux pièges d'une installation basique.
Le mélange se produit à trois niveaux, et chacun demande une solution différente.
| Niveau | Exemple | Ce qui casse | Que faire |
|---|---|---|---|
| Entre documents | Manuel constructeur en anglais, procédure en français, rapport en arabe sur la même pompe | Une question en arabe ne retrouve pas la procédure en français | Embeddings multilingues plus recherche par mots-clés propre à chaque langue |
| Dans un document | Page de garde et titres en arabe, corps en français, tableaux de données en anglais | OCR avec une seule langue chargée ; un seul analyseur pour tout le fichier | OCR avec les trois langues ; détection de la langue par paragraphe |
| Dans une phrase | Une note de poste comme « تم تغيير الـ joint d'étanchéité على المضخة P-201 » | Découpage en tokens, racinisation et ordre d'affichage des parties en caractères latins | Garder les identifiants comme tokens exacts ; isoler les segments latins à l'affichage |
Comment faire l'OCR de pages qui mêlent écriture arabe et latine ?
Chargez toutes les langues attendues. Tesseract accepte plusieurs langues à la fois avec -l suivi des codes de langue reliés par +, comme ara+fra+eng, et sa documentation précise que le temps de traitement comme le résultat peuvent varier selon l'ordre des langues (documentation Tesseract). Essayez plusieurs ordres sur un échantillon de vos propres pages.
Attendez-vous à ce que l'arabe soit le point faible. Les auteurs de KITAB-Bench citent l'écriture cursive de l'arabe et son sens de lecture de droite à gauche comme des difficultés propres, et sur leur tâche de conversion PDF vers Markdown le meilleur modèle testé n'atteignait que 65 % de précision (Heakl et al., 2025). Pour les pages mixtes, les règles pratiques sont :
- Garder un lien entre chaque passage extrait et l'image de sa page, pour que l'utilisateur puisse vérifier l'original.
- Contrôler à la main, sur un échantillon, les nombres, unités et repères, car ce sont les valeurs sur lesquelles les techniciens agissent.
Pourquoi les nombres et les repères d'équipement posent-ils problème dans un texte arabe ?
Deux jeux de chiffres. Unicode code les chiffres arabes-indiens (U+0660 à U+0669) et un second jeu étendu (U+06F0 à U+06F9) séparément des chiffres européens 0 à 9, et note que les chiffres européens sont utilisés même dans de nombreux pays arabophones d'Afrique du Nord (Unicode Standard, chapitre 9). Un corpus peut donc contenir la même valeur de pression sous la forme « ١٢ » dans un document et « 12 » dans un autre. Dans l'index de recherche, convertissez tous les chiffres en 0 à 9. Le filtre decimal_digit d'Elasticsearch, par exemple, convertit tout chiffre décimal Unicode en 0 à 9 (documentation Elastic). Conservez le texte original pour l'affichage et les citations.
Les séparateurs décimaux diffèrent aussi : le français écrit 4,5 bar et l'anglais 4.5 bar. Normalisez-les dans un champ numérique distinct si les utilisateurs recherchent par valeur.
Ordre d'affichage. L'arabe s'affiche de droite à gauche, alors que les repères comme P-201 et les unités comme kPa se lisent de gauche à droite. L'algorithme bidirectionnel Unicode détermine l'ordre d'affichage, et sa spécification reconnaît que l'ordre implicite ne suffit pas toujours à produire un texte compréhensible, raison pour laquelle elle définit des caractères de formatage directionnel (Unicode UAX #9). Dans une interface en arabe, testez des réponses contenant des repères, des plages et des unités, et isolez les segments latins et les nombres pour qu'ils ne s'affichent pas dans le mauvais ordre.
Comment normaliser le texte arabe et français avant l'indexation ?
La recherche par mots-clés ne trouve que ce qui s'écrit de la même façon. L'arabe admet plusieurs graphies d'un même mot. Le normaliseur arabe d'Apache Lucene, la bibliothèque sur laquelle reposent des moteurs de recherche comme Elasticsearch, ramène le hamza sur alif à un alif simple, le ta marbouta à ha et l'alif maqsoura à ya, et supprime les voyelles (harakat) et le caractère d'allongement tatwil (Apache Lucene).
Le français a ses propres difficultés : les articles élidés comme l' et qu' se collent au mot suivant. Les analyseurs intégrés d'Elasticsearch traitent les deux cas. Son analyseur arabe enchaîne passage en minuscules, conversion des chiffres, mots vides, normalisation arabe et racinisation ; son analyseur français commence par un filtre d'élision et utilise une racinisation légère (documentation Elastic).
Pour appliquer le bon analyseur, il faut connaître la langue de chaque passage :
- Détecter la langue par paragraphe ou par segment (chunk), pas par fichier. Les modèles d'identification de langue de fastText reconnaissent 176 langues, et la version compressée pèse environ 917 Ko (fastText). Notez leur licence Creative Commons Attribution-ShareAlike 3.0.
- Indexer chaque segment avec l'analyseur de sa langue principale, et indexer les segments mixtes sous les deux.
- Garder un champ de correspondance exacte, sans racinisation, pour les références de pièces, les repères et les codes défaut.
- Appliquer exactement la même normalisation à la question de l'utilisateur au moment de la requête.
Faut-il traduire les documents ou chercher d'une langue à l'autre ?
| Approche | Fonctionnement | Points forts | Limites |
|---|---|---|---|
| Embeddings multilingues | Un seul modèle multilingue place questions et passages de langues différentes dans le même espace vectoriel | Pas d'étape de traduction ; les originaux restent la référence | Faible sur les chaînes exactes ; à tester sur votre propre vocabulaire |
| Traduction de la requête ou enrichissement par glossaire | La question est traduite ou complétée par des termes équivalents avant la recherche par mots-clés | La recherche par mots-clés fonctionne alors d'une langue à l'autre | Une mauvaise traduction d'un terme technique fait manquer le document |
| Traduction à l'indexation | Les documents sont traduits automatiquement et les traductions indexées à côté des originaux | Une seule langue pour la recherche et la relecture | Coût et erreurs sur les termes techniques ; licence et confidentialité du modèle de traduction |
La recherche par mots-clés seule ne franchit pas la barrière des langues. Dans le test multilingue MKQA présenté avec BGE-M3, où des questions en 25 langues doivent retrouver des passages en anglais, BM25 atteignait un rappel à 100 de 18,9 % pour les questions en arabe et de 45,3 % pour celles en français, tandis que BGE-M3, en combinant ses modes dense, creux et multi-vecteurs, atteignait 71,5 % et 76,6 % (Chen et al., 2024).
Si vous traduisez, vérifiez la licence. La fiche du modèle NLLB-200 de Meta, par exemple, indique une licence non commerciale CC BY-NC 4.0, le présente comme un modèle de recherche non destiné à la production, et exclut de son périmètre les textes spécialisés et la traduction de documents, avec des entrées d'entraînement ne dépassant pas 512 tokens (fiche du modèle NLLB-200).
Une approche hybride est un bon choix par défaut : embeddings multilingues pour le sens, recherche par mots-clés propre à chaque langue pour les identifiants exacts, et un petit glossaire trilingue de vos propres termes d'équipement et de procédé (pompe, مضخة, pump) pour enrichir les questions.
Quel modèle de langage peut répondre dans les trois langues ?
Lisez la fiche du modèle, pas la page marketing. Vérification faite en novembre 2026, Meta annonce huit langues prises en charge pour Llama 3.1 (anglais, allemand, français, italien, portugais, hindi, espagnol et thaï), considère les autres langues comme hors périmètre et « déconseille fortement » de l'utiliser pour converser dans ces langues (fiche du modèle Llama 3.1). La fiche de Llama 4 cite l'arabe, le français et l'anglais parmi douze langues prises en charge (fiche du modèle Llama 4 Scout). Notre article sur le choix d'un LLM open-weight traite des autres critères.
Vérifiez ensuite deux points :
- Le coût en tokens selon la langue. Un même texte peut produire des nombres de tokens très différents selon la langue, jusqu'à 15 fois plus dans certains cas (Petrov et al., 2023). Mesurez des échantillons en arabe, en français et en anglais avec le tokenizer du modèle candidat avant de dimensionner le matériel, comme décrit dans notre guide de dimensionnement GPU.
- La langue de la réponse. Les chercheurs appellent « confusion de langue » l'incapacité à répondre de façon constante dans la langue de l'utilisateur. Leur benchmark couvre 15 langues, dont l'arabe et le français ; parmi les modèles testés en 2024, les modèles Llama Instruct et Mistral en présentaient un niveau élevé. La confusion augmentait avec des prompts complexes et des températures d'échantillonnage élevées, et elle était en partie réduite par le few-shot prompting et le fine-tuning multilingue (Marchisio et al., 2024). Indiquez la langue de réponse dans les instructions et gardez une température basse.
À lire aussi : fine-tuning ou RAG et notre article sur la terminologie industrielle arabe.
Comment tester un assistant documentaire trilingue ?
Construisez le jeu de test comme une grille croisant la langue de la question et la langue du document, et notez chaque case.
- Recueillir de vraies questions de techniciens et d'ingénieurs en arabe, en français et en anglais, y compris des questions mixtes, par exemple une phrase en arabe contenant un nom de pièce en français.
- Pour chaque question, noter le bon passage, sa langue et la langue de réponse attendue.
- Inclure des valeurs écrites avec les deux formes de chiffres, des repères avec et sans tiret, et des questions dont la réponse ne figure pas dans les documents.
- Mesurer le rappel de la recherche pour chaque case de la grille (question en arabe vers document en français, question en français vers document en anglais, etc.).
- Vérifier que chaque réponse est dans la langue attendue et que les valeurs citées correspondent exactement à la source.
- Faire relire la terminologie arabe et française d'un échantillon de réponses par un ingénieur qui maîtrise ces langues.
- Relancer toute la grille après chaque modification de l'OCR, de la normalisation, des embeddings, du modèle ou du prompt.
Notre guide pour évaluer un LLM sur vos propres documents détaille les méthodes de notation.
Ce que nous avons constaté chez KABAS AI
DALILE, notre assistant de connaissances IA, fonctionne sur les serveurs du client et répond à partir de documents, de tableurs et de bases de données en citant les sources exactes. Le déploiement sur site a une conséquence directe pour les documents multilingues : l'OCR, la détection de langue, la normalisation, les embeddings et toute traduction doivent eux aussi tourner en local. On ne peut pas envoyer une procédure confidentielle en français à une API de traduction dans le cloud simplement pour la rendre consultable en arabe, et chaque modèle local de la chaîne, y compris le traducteur, doit avoir une licence qui autorise votre usage.
ADFC (groupe Sonatrach) et ENAD Shymeca, deux clients qui utilisent notre Virtual Lab, étudient une intégration avec DALILE pour améliorer la découverte de connaissances et, dans le cas d'ADFC, la documentation technique (étude de cas ADFC, étude de cas ENAD Shymeca).
Notre conseil est de commencer par un inventaire des langues : quelles familles de documents existent dans quelle langue, qui rédige les nouveaux, et dans quelle langue les utilisateurs posent leurs questions. Cet inventaire détermine les réglages de l'OCR, les analyseurs, le glossaire et la grille de tests. Notre service d'IA agentique déploie DALILE et le connecte à vos systèmes de gestion documentaire et à vos bases de données.
Sources
- Chen et al., M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation (arXiv 2402.03216, 2024)
- Apache Lucene, documentation d'ArabicNormalizer
- Meta, fiche du modèle Llama 3.1 8B Instruct (Hugging Face)
- Meta, fiche du modèle Llama 4 Scout 17B-16E Instruct (Hugging Face)
- Marchisio et al., Understanding and Mitigating Language Confusion in LLMs (arXiv 2406.20052, 2024)
- Constitution de l'Algérie, 2020 (Constitute Project)
- Documentation Tesseract, Command line usage
- Heakl et al., KITAB-Bench: A Comprehensive Multi-Domain Benchmark for Arabic OCR and Document Understanding (arXiv 2502.14949, 2025)
- The Unicode Standard, version 18.0, Core Specification, chapitre 9
- Documentation Elastic, Decimal digit token filter
- Unicode Standard Annex #9, Unicode Bidirectional Algorithm
- Documentation Elastic, Language analyzers
- fastText, Language identification
- Meta, fiche du modèle NLLB-200 distilled 600M (Hugging Face)
- Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, 2023)
Questions fréquentes
Faut-il traduire tous nos documents dans une seule langue avant de les indexer ?
En général, pas dans un premier temps. Un modèle d'embeddings multilingue permet à une question en arabe de retrouver un passage en français ou en anglais sans traduire le corpus, et le texte original reste la référence. La traduction à l'indexation peut servir pour un petit ensemble de documents clés, mais elle exige un modèle dont la licence autorise l'usage en production et un glossaire pour les termes techniques.
Un assistant peut-il répondre en arabe à partir d'un document en français ou en anglais ?
Oui. La recherche retrouve le passage dans sa langue d'origine et le modèle de langage rédige la réponse dans la langue de la question. Affichez le passage cité dans sa langue d'origine à côté de la réponse, pour que le lecteur puisse vérifier les valeurs et les termes par rapport à la source.
Pourquoi la recherche manque-t-elle des mots arabes qui figurent bien dans le document ?
Les causes habituelles sont les variantes orthographiques et les erreurs d'OCR. Un même mot peut s'écrire avec différentes formes de hamza, avec ou sans voyelles, ou avec un caractère d'allongement ; il faut donc normaliser le texte arabe de la même façon à l'indexation et à la requête. Vérifiez ensuite à la main un échantillon de la sortie OCR.
Comment gérer les chiffres arabes-indiens et les chiffres occidentaux ?
Unicode code les chiffres arabes-indiens séparément des chiffres 0 à 9, si bien qu'une même valeur peut être stockée sous deux formes. Convertissez tous les chiffres en 0 à 9 dans l'index de recherche, pour que les requêtes trouvent l'une ou l'autre forme, et conservez le texte original pour l'affichage et les citations.
Dans quelle langue l'assistant doit-il répondre ?
Dans la langue de la question, sauf demande contraire de l'utilisateur, en l'indiquant explicitement dans les instructions données au modèle. Les modèles de langage changent parfois de langue d'eux-mêmes ; vérifiez donc la langue des réponses dans vos tests et citez les passages sources dans leur langue d'origine.
L'assistant doit-il comprendre la darija algérienne ?
Cela dépend de vos documents. Les manuels et procédures formels sont surtout rédigés en arabe standard moderne, en français ou en anglais, tandis que les notes informelles et les messages peuvent contenir de la darija mêlée de français. Les fiches de modèles citées ici mentionnent l'arabe sans préciser de dialecte ; testez donc les modèles candidats sur des échantillons de vos propres notes.



