Table des Matières
Le text-to-SQL permet à un modèle de langage de transformer une question en langage courant en requête SQL, de l'exécuter et de renvoyer le résultat. Sur une base de production, c'est faisable si le modèle interroge des vues préparées en lecture seule sur une réplique, avec son propre compte restreint, le SQL affiché à l'utilisateur et des tests préalables sur des réponses connues.
Points clés
- Les scores des benchmarks surestiment la précision réelle. Un agent fondé sur o1-preview n'a résolu que 21,3 % des tâches d'entreprise de Spider 2.0 ; ses auteurs comparent ce chiffre aux 91,2 % obtenus sur le benchmark Spider d'origine (Lei et al., 2024).
- La difficulté vient des schémas de production : des centaines de tables, des noms de colonnes abrégés, des termes métier ambigus et des codes que seuls les experts comprennent (Floratou et al., 2024).
- Le SQL généré est une entrée non fiable. L'OWASP cite le SQL généré par un LLM et non contrôlé comme exemple de traitement inapproprié des sorties, et recommande de traiter le modèle comme n'importe quel autre utilisateur (OWASP LLM05:2025).
- L'accès en lecture seule bloque les attaques en écriture, mais pas tout : des instructions stockées dans des champs texte de la base peuvent encore tromper le modèle (Pedro et al., 2025).
- Affichez le SQL avec chaque réponse, et testez sur de vraies questions dont la réponse est connue avant que quiconque se fie aux chiffres.
Qu'est-ce que le text-to-SQL ?
Un système de text-to-SQL prend une question comme « Combien d'ordres de travail correctifs avons-nous ouverts sur les pompes d'alimentation le trimestre dernier ? », transmet au modèle de langage la question et une description des tables concernées, reçoit une requête SQL, l'exécute et renvoie le résultat, souvent sous forme de tableau ou de graphique.
Dans une usine, les bases utiles sont la GMAO, le LIMS, le reporting de production et de poste, les stocks et les achats. La plupart des agents ne savent pas écrire de SQL sur ces bases, et les questions qu'ils posent sont rarement couvertes par un rapport existant.
Dans le vocabulaire de notre article sur les chatbots, copilotes et agents IA, un assistant text-to-SQL est un chatbot doté d'un seul outil : il lit des données et ne modifie rien. Le maintenir dans ce rôle représente l'essentiel du travail de sécurité.
Quelle est la précision du text-to-SQL aujourd'hui ?
La précision se mesure généralement en exactitude d'exécution : la requête générée est exécutée et son résultat est comparé à celui d'une requête de référence. Trois benchmarks publics montrent à quel point le résultat dépend de la base.
| Benchmark | Contenu | Résultat publié |
|---|---|---|
| Spider (2018) | 10 181 questions, 5 693 requêtes SQL, 200 bases dans 138 domaines (Yu et al.) | 91,2 %, le chiffre cité pour comparaison par les auteurs de Spider 2.0 (Lei et al.) |
| BIRD (2023) | 12 751 paires question-SQL, 95 bases, 33,4 Go, 37 domaines professionnels (Li et al.) | 40,08 % pour ChatGPT à la publication, contre 92,96 % pour des humains ; meilleure entrée du classement 83,40 % sur le jeu de test (classement BIRD, consulté en novembre 2026) |
| Spider 2.0 (2024) | 632 tâches issues de workflows d'entreprise, sur des bases comptant souvent plus de 1 000 colonnes, dans des systèmes comme BigQuery et Snowflake (Lei et al.) | 21,3 % pour un agent fondé sur o1-preview, à la publication |
Deux précautions. Les premières entrées du classement BIRD sont signalées comme utilisant l'« oracle knowledge », les indications fournies par le benchmark pour relier les questions aux valeurs de la base ; vos utilisateurs ne fourniront pas ces indications. Et il s'agit de bases publiques bien documentées. Les scores sur votre propre schéma peuvent être plus bas, et seul votre propre jeu de test le dira.
Pourquoi les bases de production sont-elles plus difficiles que les benchmarks ?
Taille du schéma et nommage. Floratou et ses collègues, de Microsoft et d'une start-up spécialisée dans le text-to-SQL, décrivent un entrepôt de données financières interne de 632 tables, plus de 4 000 colonnes et 200 vues, avec des noms abrégés et une terminologie propre que seuls les experts du domaine comprennent (Floratou et al., 2024). Les ERP et les GMAO leur ressemblent. Le même article constate que ne fournir au modèle que les tables et colonnes pertinentes améliore la précision, même quand le schéma complet tient dans le prompt.
Ambiguïté. Quand les auteurs ont examiné les 272 questions du benchmark KaggleDBQA, 112 d'entre elles, soit 41,1 %, étaient ambiguës, et les deux annotateurs humains ne s'accordaient sur lesquelles qu'environ 62 % du temps. Dans une usine, « la production du mois dernier » peut signifier brute ou nette, en tonnes ou en mètres cubes, mois calendaire ou mois comptable, une ligne ou tout le site.
Questions auxquelles la base ne peut pas répondre. Les utilisateurs ne savent pas ce que signifie chaque colonne. Dans l'exemple de l'article, une colonne year contient l'année du premier album d'un chanteur, mais le modèle filtre dessus pour répondre à une question sur l'année du décès. Dans la même étude, face à des questions auxquelles la base ne pouvait pas répondre, GPT-3.5 a quand même écrit une requête pour 40 % d'entre elles, généralement avec des noms de tables et de colonnes inventés ; GPT-4 les a toutes reconnues.
Valeurs sales et connaissances implicites. Les auteurs de BIRD citent les contenus de base « sales », la connaissance externe nécessaire pour relier les questions aux valeurs, et l'efficacité des requêtes sur de grandes bases (Li et al., 2023). Les données d'usine cumulent les trois : codes de statut, repères d'équipement écrits de trois façons, unités qui changent d'une table à l'autre.
À quoi ressemble une architecture sûre ?
Le guide de LangChain sur les agents SQL pose clairement le problème : répondre à des questions sur une base exige d'exécuter des requêtes SQL générées par le modèle, des permissions restreintes atténuent les risques sans les éliminer, et il peut être prudent de vérifier les requêtes avant leur exécution. Une architecture pratique compte sept niveaux.
- Interroger une copie, pas la base principale. Faites travailler l'assistant sur une réplique en lecture ou une base de reporting. SQL Server, par exemple, permet de déporter les charges de reporting et d'analyse vers des répliques en lecture seule pour libérer des ressources sur la base principale (Microsoft Learn). Une mauvaise requête ne peut alors pas ralentir le système qu'utilisent planificateurs et exploitants.
- Lui donner son propre compte, limité à des vues préparées. L'exemple de l'OWASP pour une extension de base de données est qu'elle ne doit pas avoir accès aux autres tables, ni pouvoir insérer, modifier ou supprimer des enregistrements, ce qu'imposent les permissions de la base (OWASP LLM06:2025). Les rôles larges vont trop loin : le rôle PostgreSQL
pg_read_all_datalit toutes les tables, vues et séquences (documentation PostgreSQL). - Filtrer les lignes par utilisateur. Si les utilisateurs ont des droits différents, c'est la base qui doit les appliquer. Les politiques de sécurité au niveau des lignes de PostgreSQL restreignent, utilisateur par utilisateur, les lignes que peut renvoyer une requête ; les superutilisateurs et les rôles dotés de
BYPASSRLSy échappent, et les propriétaires de table aussi en temps normal (documentation PostgreSQL). - Valider avant d'exécuter. Analysez la requête, n'acceptez qu'un seul
SELECTportant sur des vues autorisées, et ajoutez une limite de lignes. L'OWASP recommande de traiter le modèle comme n'importe quel autre utilisateur, selon une approche « zero trust » (OWASP LLM05:2025). - Fixer un délai maximal sur le rôle de l'assistant. Le paramètre PostgreSQL
statement_timeoutinterrompt toute instruction qui dépasse la limite ; la documentation déconseille de le définir danspostgresql.conf, car il s'appliquerait à toutes les sessions (documentation PostgreSQL). Notez quedefault_transaction_read_onlyne fixe qu'une valeur par défaut ; le vrai contrôle, ce sont les permissions. - Afficher le SQL et les vues utilisées avec chaque réponse. La personne qui pose la question, ou un responsable des données, peut alors repérer un filtre erroné. Toute action au-delà de la lecture, comme exporter ou envoyer des résultats, attend une validation, comme décrit dans l'humain dans la boucle pour les agents IA.
- Journaliser la question, le SQL, l'utilisateur et le nombre de lignes. Notre guide pour sécuriser un LLM on-premise précise ce qu'il faut enregistrer en plus et comment protéger le journal.
Si les vues contiennent des données personnelles, comme des noms de techniciens ou des matricules, la loi algérienne 18-07 s'applique. Selon le guide CMS, son article 38 impose des mesures de sécurité proportionnées aux risques, et la loi 25-11 du 24 juillet 2025 ajoute un journal automatisé des opérations de traitement et la notification des violations dans un délai de cinq jours. Vérifiez avec votre conseil juridique comment ces dispositions s'appliquent à votre système.
L'accès en lecture seule empêche-t-il l'injection de prompt ?
En partie. Pedro et ses collègues ont testé ce qu'ils appellent l'injection prompt-to-SQL sur des applications construites avec LangChain, et les attaques ont fonctionné sur les sept modèles de langage évalués (Pedro et al., 2025). Restreindre l'assistant à SELECT a bloqué les attaques en écriture. Mais les permissions au niveau des tables offrent une protection grossière, qui laisse exposés les enregistrements sensibles des tables autorisées.
L'article montre aussi des attaques indirectes. Un utilisateur externe écrit une instruction dans la description d'une offre d'emploi ; quand quelqu'un interroge plus tard l'assistant sur les offres, le modèle lit ce texte et donne une réponse fausse. Dans une usine, les champs équivalents sont les commentaires d'ordres de travail, les noms de fournisseurs, les remarques du laboratoire et tout ce que saisissent des sous-traitants.
Les réponses en découlent :
| Risque | Exemple | Contrôle |
|---|---|---|
| Écriture ou suppression via le SQL généré | Un utilisateur demande à l'assistant de « faire le ménage » dans les anciens enregistrements | Compte limité à SELECT sur des vues ; validation des requêtes |
| Lecture de lignes interdites à l'utilisateur | Un planificateur demande les salaires croisés avec les ordres de travail | Vues sans colonnes sensibles ; sécurité au niveau des lignes |
| Instructions cachées dans les données | Un champ commentaire contient « ignore les instructions précédentes » | Exclure les colonnes de texte libre dont la question n'a pas besoin ; traiter le texte renvoyé comme des données |
| Requête coûteuse sur un système en service | Une jointure sur des années d'historique au moment de la relève | Réplique ; délai maximal d'exécution ; limite de lignes |
| Chiffre plausible mais faux | « La production » additionnée sur des unités différentes | SQL affiché avec la réponse ; jeu de questions testé |
Les défenses plus larges contre l'injection de prompt sont traitées dans sécuriser un LLM on-premise.
Comment donner au modèle le contexte métier ?
Un schéma brut porte rarement le sens. La documentation de Snowflake pour son service de text-to-SQL indique que les solutions d'IA génériques ont souvent du mal avec la conversion text-to-SQL quand elles ne disposent que du schéma de la base, car les schémas n'incluent ni les définitions métier ni les indicateurs ; ses vues sémantiques ajoutent descriptions, synonymes, indicateurs et chemins de jointure prédéfinis (documentation Snowflake).
Vous pouvez faire de même sur vos propres serveurs :
- Des vues aux noms lisibles, une par objet métier : ordres de travail clôturés, résultats de laboratoire par point de prélèvement, production journalière par ligne.
- Des descriptions de colonnes avec les unités, et la signification de chaque code de statut.
- Un glossaire des termes de l'usine et de leurs synonymes dans les langues qu'utilise le personnel. Notre glossaire de l'IA industrielle est un point de départ pour le volet IA.
- Des exemples résolus : quelques dizaines de vraies questions avec leur SQL correct, écrit par quelqu'un qui connaît les données.
Ce travail de préparation représente l'essentiel de l'effort, et il revient aux responsables des données, pas seulement à l'informatique.
Comment le tester avant que les utilisateurs s'y fient ?
Recueillez de vraies questions auprès des planificateurs, du laboratoire et des ingénieurs de production, et faites écrire le SQL de référence de chacune par un responsable des données. Notez en comparant les résultats, pas le texte des requêtes. Incluez des questions ambiguës, où le bon comportement est de demander quelle unité ou quelle période est visée, et des questions auxquelles la base ne peut pas répondre, où le bon comportement est de le dire. Relancez le jeu de test après chaque mise à jour du modèle et chaque changement de schéma. Notre guide pour évaluer un LLM sur vos propres documents traite de la taille du jeu de test et de la notation.
Le text-to-SQL complète la recherche documentaire, il ne la remplace pas. Les questions de comptage, de totaux et de tendances demandent du SQL ; les questions sur les procédures demandent du RAG sur les manuels.
Ce que nous avons constaté chez KABAS AI
DALILE permet de poser des questions en langage courant et se charge des requêtes SQL, se connecte aux bases SQL, à SAP, à Oracle et aux LIMS, et fonctionne sur les serveurs du client. Chaque nouvelle connexion à une base soulève les questions de cet article ; nous recommandons donc trois étapes avant tout pilote :
- Commencer par une seule base et une courte liste de vues validée avec son responsable, plutôt que le schéma complet.
- Écrire les questions de test avant la connexion, avec les personnes qui l'utiliseront, y compris les questions ambiguës.
- Décider qui vérifie le SQL pour les chiffres qui alimentent une décision ou un rapport.
Notre équipe IA agentique cadre les assistants et leurs outils, et notre équipe data science peut aider à préparer et documenter les données dont dépendent les vues.
Sources
- Lei et al., Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows, arXiv 2411.07763, 2024
- Yu et al., Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task, arXiv 1809.08887, 2018
- Li et al., Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs (BIRD), arXiv 2305.03111, 2023
- Classement BIRD-SQL
- Floratou et al., NL2SQL is a solved problem... Not!, CIDR 2024
- Pedro et al., From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?, arXiv 2308.01990, ICSE 2025
- OWASP GenAI Security Project, LLM05:2025 Improper Output Handling
- OWASP GenAI Security Project, LLM06:2025 Excessive Agency
- Documentation LangChain, Build a SQL agent
- Documentation Snowflake, Cortex Analyst
- Documentation PostgreSQL, Row Security Policies
- Documentation PostgreSQL, Predefined Roles
- Documentation PostgreSQL, Client Connection Defaults
- Microsoft Learn, Use read-scale with availability groups
- Guide CMS sur les lois relatives à la protection des données et à la cybersécurité : Algérie
Questions fréquentes
Peut-on connecter sans risque un LLM à notre ERP ou à notre GMAO en production ?
Pas directement. Faites-le travailler sur une réplique en lecture ou une base de reporting, donnez-lui son propre compte de base de données limité à la lecture d'un ensemble de vues préparées, et fixez un délai maximal d'exécution des requêtes. Traitez chaque requête générée comme une entrée non fiable, validez-la avant exécution, et journalisez la question, le SQL et l'utilisateur.
Un compte en lecture seule suffit-il à sécuriser le text-to-SQL ?
Il bloque le pire scénario : un attaquant qui pousse le modèle à modifier ou supprimer des données. Il n'empêche pas le modèle de lire des lignes que l'utilisateur ne devrait pas voir, ni d'être trompé par des instructions cachées dans des champs texte libres comme les commentaires. Des vues restreintes, la sécurité au niveau des lignes et le traitement du texte renvoyé comme de simples données restent nécessaires.
Quelle est la différence entre text-to-SQL et RAG ?
Le RAG récupère des passages de documents, comme des manuels et des procédures, et le modèle rédige une réponse à partir de ceux-ci. Le text-to-SQL écrit une requête sur des tables structurées, comme les ordres de travail, les résultats de laboratoire ou les chiffres de production, et la réponse est le résultat de la requête. Les questions de comptage, de totaux, de tendances et de listes demandent généralement du SQL ; les questions sur la manière de faire quelque chose demandent des documents.
Le text-to-SQL peut-il remplacer nos tableaux de bord et nos rapports ?
Non. Les tableaux de bord et les rapports validés restent la référence pour les chiffres récurrents comme la production mensuelle ou les KPI. Le text-to-SQL sert aux questions ponctuelles pour lesquelles personne n'a construit de rapport. Quand il donne un chiffre important, comparez-le au rapport officiel ou faites vérifier la requête par un responsable des données.
Comment savoir si le SQL généré est correct ?
Affichez le SQL et les tables utilisées à côté de chaque réponse, pour qu'une personne qui connaît les données puisse le vérifier. Avant la mise en service, testez le système sur un ensemble de vraies questions dont la réponse est connue, y compris des questions ambiguës et des questions auxquelles la base ne peut pas répondre, et répétez le test après chaque changement de modèle ou de schéma.



