Table des Matières
Un modèle de 7 milliards de paramètres suffit souvent quand la tâche est ciblée et que les faits viennent de vos propres documents : classer des rapports de maintenance, extraire des champs ou répondre à partir de passages retrouvés. Il atteint ses limites quand le modèle doit fournir lui-même les faits, lire des entrées très longues ou bien écrire dans des langues peu présentes dans son entraînement. Votre propre jeu de test tranche.
Points clés
- Il n'existe pas de seuil officiel. Des chercheurs de NVIDIA classent comme petits modèles de langage (SLM) la plupart des modèles de moins de 10 milliards de paramètres (Belcak et al., 2025).
- Les petits modèles ont progressé vite. Mistral 7B a dépassé Llama 2 13B sur tous les benchmarks évalués par ses auteurs (Jiang et al., 2023), et Phi-3-mini, avec 3,8 milliards de paramètres, a obtenu 69 % sur MMLU (Abdin et al., 2024).
- Leur principale faiblesse est la connaissance mémorisée. Les auteurs de Phi-3 indiquent que le modèle n'a pas la capacité de stocker beaucoup de connaissances factuelles et proposent de l'adosser à un moteur de recherche, ce que fait la recherche documentaire (RAG).
- Sur vos propres serveurs, la taille fait le coût : un modèle de 8 milliards de paramètres demande environ 16 Go pour ses poids en 16 bits, contre environ 145 Go pour un modèle de 72 milliards, et il génère plus vite sur le même GPU.
- Choisissez par le test : commencez par le plus petit candidat sérieux sur vos propres questions et ne montez en taille que s'il échoue.
Qu'est-ce qu'un petit modèle de langage ?
« Petit » est relatif, et la limite bouge chaque année. Un article de 2025 rédigé par des chercheurs de NVIDIA Research et de Georgia Tech en donne une définition de travail : un petit modèle de langage est un modèle qui « peut tenir sur un appareil électronique grand public courant » et répond assez vite pour servir un utilisateur. En 2025, les auteurs considèrent comme petits la plupart des modèles de moins de 10 milliards de paramètres (Belcak et al., 2025).
Pour un acheteur industriel, la limite utile est pratique : le modèle peut-il tourner sur un seul GPU modeste, voire une station de travail, en laissant de la place pour les utilisateurs ? Plusieurs familles open-weight proposent désormais de telles tailles. Le tableau donne des exemples, pas un classement ; les informations ont été vérifiées sur les pages des modèles en novembre 2026.
| Modèle | Paramètres | Licence | Longueur de contexte | Arabe et français |
|---|---|---|---|---|
| Qwen3-4B | 4B | Apache 2.0 | 32K | Qwen3 cite 119 langues et dialectes, dont le français et l'arabe standard |
| Qwen3-8B | 8,2B | Apache 2.0 | 32 768 en natif ; 131 072 avec YaRN | Même liste que la famille |
| Phi-4-mini-instruct | 3,8B | MIT | 128K | Les deux sont cités ; la fiche prévient que les langues autres que l'anglais donnent de moins bons résultats |
| Gemma 3 4B | 4B | Gemma Terms of Use | 128K | « Plus de 140 langues » ; non nommées sur la fiche |
| ALLaM-7B-Instruct-preview | 7B | Vérifier le fichier LICENSE du dépôt | 4 096 | Arabe et anglais ; français non cité |
ALLaM, développé par l'autorité saoudienne SDAIA, a été entraîné sur 4 000 milliards de tokens en anglais, puis sur 1 200 milliards de tokens mixtes arabe et anglais, selon sa fiche modèle. Notre guide pour choisir un LLM open-weight traite des licences et des modèles plus grands.
Pourquoi les petits modèles sont-ils meilleurs qu'avant ?
Les résultats publiés montrent que les petits modèles ont comblé une bonne partie de l'écart avec les grands sur les benchmarks publics :
- Mistral 7B (2023) a dépassé Llama 2 13B « sur tous les benchmarks évalués » et Llama 1 34B en raisonnement, en mathématiques et en génération de code, selon ses auteurs (Jiang et al., 2023).
- Phi-3-mini, avec 3,8 milliards de paramètres entraînés sur 3 300 milliards de tokens, a obtenu 69 % sur MMLU, ce que Microsoft présente comme comparable à Mixtral 8x7B et GPT-3.5. Quantifié en 4 bits, il occupe environ 1,8 Go et a généré plus de 12 tokens par seconde hors ligne sur un iPhone 14 (Abdin et al., 2024).
- Qwen3 : les développeurs affirment que « même un modèle minuscule comme Qwen3-4B peut rivaliser avec les performances de Qwen2.5-72B-Instruct » (Qwen).
- Distillation : DeepSeek a affiné de petits modèles ouverts sur des exemples générés par son grand modèle DeepSeek-R1. La version 7B annonce 55,5 % sur le benchmark de mathématiques AIME 2024, contre 9,3 % pour GPT-4o-0513 dans le même tableau (DeepSeek sur Hugging Face).
À lire avec prudence. Ce sont les résultats des développeurs eux-mêmes, surtout sur des benchmarks en anglais, en mathématiques et en code. Aucun ne mesure la façon dont un modèle répond sur vos manuels de compresseurs ou vos procédures HSE.
Qu'économise un modèle plus petit sur vos propres serveurs ?
Deux choses : la mémoire et la vitesse.
Mémoire. Charger un modèle de X milliards de paramètres demande environ 2 × X Go en précision 16 bits (Hugging Face). Chaque requête en cours a aussi besoin d'un cache clé-valeur (KV cache). D'après la configuration de Qwen3-8B (36 couches, 8 têtes clé-valeur, 128 dimensions par tête), le cache occupe 2 × 36 × 8 × 128 × 2 octets, soit environ 0,15 Mo par token en 16 bits. Notre guide de dimensionnement GPU détaille la méthode et donne 0,33 Mo par token pour Qwen2.5-72B.
Vitesse. La génération de texte est limitée par la mémoire : le temps de transfert des poids et du cache depuis la mémoire domine la latence (NVIDIA). Une limite haute approximative pour une requête est la bande passante mémoire du GPU divisée par la taille des poids. Sur une carte à 1 597 Go/s, comme la RTX PRO 6000 Blackwell Server Edition, notre calcul donne :
| Qwen3-8B | Qwen2.5-72B | |
|---|---|---|
| Poids en 16 bits | environ 16,4 Go | environ 145 Go |
| Poids en 8 bits | environ 8,2 Go | environ 73 Go |
| Poids en 4 bits | environ 4,1 Go | environ 36 Go |
| KV cache pour une question documentaire de 6 500 tokens, en 16 bits | environ 0,96 Go | environ 2,1 Go |
| Limite haute pour une requête en 8 bits, à 1 597 Go/s | environ 195 tokens par seconde | environ 22 tokens par seconde |
Ce sont des limites calculées, pas des mesures ; le débit réel dépend du moteur de service, du batching et de la longueur des prompts.
En pratique, Qwen3-8B en pleine précision 16 bits tient sur une seule NVIDIA L40S de 48 Go, avec environ 27 Go restants pour le cache une fois 10 % réservés au surcoût d'exécution, de quoi traiter environ 28 questions documentaires de cette longueur en parallèle. Un modèle de 72B demande deux cartes de ce type, même en 8 bits.
Les auteurs de NVIDIA vont plus loin et estiment que servir un SLM de 7 milliards de paramètres coûte 10 à 30 fois moins cher en latence, en énergie et en calcul qu'un modèle de 70 à 175 milliards (Belcak et al., 2025). C'est leur estimation, dans un article qui défend les petits modèles, et non un résultat mesuré sur votre charge.
Où les petits modèles atteignent-ils leurs limites ?
Connaissance mémorisée. Les auteurs de Phi-3 écrivent que le modèle « n'a tout simplement pas la capacité de stocker beaucoup de connaissances factuelles », ce qui se voit dans ses scores faibles sur un benchmark de culture générale, et proposent de l'adosser à un moteur de recherche (Abdin et al., 2024). La fiche de Phi-4-mini reprend cet avertissement (Microsoft). Pour une usine, c'est moins grave qu'il n'y paraît : les faits qui comptent, comme les couples de serrage, les codes d'alarme et les révisions de procédures, doivent de toute façon venir de vos documents au moment de la question. Voir fine-tuning ou RAG.
Langues autres que l'anglais. La fiche de Phi-4-mini indique que les langues autres que l'anglais « auront de moins bonnes performances ». Sur l'Open Arabic LLM Leaderboard v2, les grands modèles obtiennent en général de meilleurs scores moyens. Les auteurs notent que les modèles 7B de deux familles orientées vers l'arabe n'ont pas progressé d'une version à l'autre, et l'attribuent aux performances plus faibles des petits modèles sur ALRAGE, une tâche RAG générative en arabe. C'est proche de ce que fait un assistant documentaire.
Entrées longues. Dans le benchmark RULER, la taille du modèle est corrélée à de meilleures performances en contexte long, et Yi-34B a fait nettement mieux que Yi-6B avec le même contexte d'entraînement (Hsieh et al., 2024). Les petits modèles ont parfois aussi une fenêtre native plus courte : les trois plus petits modèles Qwen3 proposent 32K tokens (Qwen).
Quelles tâches industrielles conviennent à un petit modèle ?
Ce tableau est un point de départ pour vos propres tests, fondé sur les forces et limites ci-dessus, et non sur des résultats de benchmarks pour ces tâches.
| Tâche | Petit modèle comme premier candidat ? | Ce qu'il faut vérifier |
|---|---|---|
| Classer les rapports de maintenance par mode de défaillance ou criticité | Oui | Sortie ciblée et répétitive ; un adaptateur affiné peut aider si le prompt ne suffit pas |
| Extraire des champs d'ordres de travail, de certificats ou de fiches techniques | Oui | Les faits sont dans l'entrée ; vérifier le format de sortie et la qualité des documents scannés |
| Répondre à partir de passages de procédures retrouvés (RAG) | Souvent | Qualité de la recherche ; tester séparément les réponses en arabe et en français |
| Résumer de courts journaux de poste et notes d'incident | Souvent | Longueur réelle des entrées face au contexte du modèle ; textes multilingues |
| Questions en langage naturel sur des bases de données (text-to-SQL) | À tester | Taille du schéma et complexité des requêtes ; voir text-to-SQL sur des bases de production |
| Rapports longs s'appuyant sur de nombreux documents, ou longue rédaction en arabe | Un modèle plus grand est en général plus sûr | Résultats en contexte long et en génération arabe ci-dessus |
| Planification d'actions d'agent en plusieurs étapes | Commencer grand, puis tester des modèles plus petits étape par étape | Précision de chaque étape, avec validation humaine des actions |
C'est sur les tâches ciblées que les petits modèles gagnent le plus au fine-tuning. Dans LoRA Land, 310 modèles ont été affinés sur 31 tâches ; les modèles affinés par LoRA en 4 bits ont dépassé leurs modèles de base de 34 points et GPT-4 de 10 points en moyenne (Zhao et al., 2024).
Peut-on combiner petits et grands modèles ?
Oui, et c'est souvent l'architecture la plus économique.
Routage. Un routeur envoie chaque requête vers un modèle plus fort ou plus faible. Les auteurs de RouteLLM rapportent des réductions de coût de plus de 2 fois dans certains cas, sans dégrader la qualité des réponses (Ong et al., 2024).
Agents. L'article de NVIDIA observe que, dans les systèmes agentiques, les modèles de langage « exécutent un petit nombre de tâches spécialisées de manière répétitive », et défend des systèmes « où les SLM sont utilisés par défaut et les LLM appelés de façon sélective et parcimonieuse » (Belcak et al., 2025).
Le compromis. Chaque modèle supplémentaire est un élément de plus à évaluer, mettre à jour, sécuriser et inscrire à l'inventaire. N'ajoutez un deuxième modèle que si vos tests montrent un gain qui justifie ce travail.
Comment décider, étape par étape ?
- Séparez les tâches. « Un assistant d'usine » regroupe plusieurs tâches : recherche, extraction, classification, résumés, questions sur les bases de données.
- Construisez un jeu de test par tâche, avec de vraies questions d'ingénieurs en arabe, en français et en anglais, des réponses de référence et les passages sources. Notre guide pour évaluer un LLM sur vos documents en décrit la méthode.
- Présélectionnez un petit modèle et un modèle plus grand qui passent vos contrôles de licence et de langues.
- Faites tourner les deux à la précision de déploiement, avec la même recherche documentaire et les mêmes prompts, sur des entrées de longueur réelle.
- Gardez le petit modèle là où il passe avec de la marge. Là où il échoue, vérifiez si une meilleure recherche ou quelques exemples dans le prompt règlent le problème avant de monter en taille.
- Dimensionnez le matériel à partir du résultat, en incluant le KV cache pour la pointe attendue.
- Relancez les tests à chaque nouvelle version de modèle.
Ce que nous avons observé chez KABAS AI
DALILE tourne sur les serveurs du client, hors ligne si nécessaire, et répond aux questions à partir de documents techniques, de tableurs et de bases de données grâce à un ensemble d'agents spécialisés. La taille du modèle est donc une décision de planification dans chaque déploiement, car elle fixe le matériel qu'un site doit acheter, alimenter et refroidir. Les chiffres de cet article proviennent des sources publiques citées, et non de benchmarks que nous avons réalisés.
Les recommandations pratiques qui en découlent : garder l'application indépendante d'un modèle donné, pour qu'un modèle plus petit ou plus récent puisse le remplacer après test ; évaluer chaque tâche séparément plutôt que le système dans son ensemble ; et laisser les propres questions du client, en arabe, en français et en anglais, départager les tailles de modèle. Pour l'infrastructure et la gouvernance, voir notre guide de l'IA souveraine sur site. Si vous souhaitez de l'aide pour construire le jeu de test et comparer des tailles de modèle sur vos documents, notre équipe de conseil en IA peut le mener avec vous.
Sources
Informations sur les modèles vérifiées en novembre 2026. Elles changent avec les nouvelles versions ; revérifiez avant de décider.
- Belcak et al., Small Language Models are the Future of Agentic AI, arXiv 2506.02153, 2025
- Jiang et al., Mistral 7B, arXiv 2310.06825, 2023
- Abdin et al., Phi-3 Technical Report, arXiv 2404.14219, 2024
- Qwen, Qwen3: Think Deeper, Act Faster
- Fiche du modèle Qwen3-8B, Hugging Face
- Fichier config.json de Qwen3-8B, Hugging Face
- Fiche du modèle Phi-4-mini-instruct, Hugging Face
- Fiche du modèle Gemma 3 4B, Hugging Face
- Fiche du modèle ALLaM-7B-Instruct-preview, Hugging Face
- Fiche du modèle DeepSeek-R1-Distill-Qwen-7B, Hugging Face
- Hugging Face : Optimizing LLMs for speed and memory
- NVIDIA : Mastering LLM Techniques, Inference Optimization
- NVIDIA RTX PRO 6000 Blackwell Server Edition
- GPU NVIDIA L40S
- Hugging Face, The Open Arabic LLM Leaderboard 2
- Hsieh et al., RULER: What's the Real Context Size of Your Long-Context Language Models?, 2024
- Zhao et al., LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, arXiv 2405.00732, 2024
- Ong et al., RouteLLM: Learning to Route LLMs with Preference Data, arXiv 2406.18665, 2024
Questions fréquentes
Qu'est-ce qu'un petit modèle de langage ?
Il n'existe pas de seuil officiel. Des chercheurs de NVIDIA définissent un petit modèle de langage comme un modèle qui tient sur un appareil grand public courant et répond assez vite pour un utilisateur, et classent comme petits la plupart des modèles de moins de 10 milliards de paramètres. Cette limite évolue avec le matériel et les modèles : c'est un repère, pas une norme.
Un modèle 7B peut-il tourner sans GPU de data center ?
Souvent, oui. Selon la règle empirique de Hugging Face, un modèle de 7 milliards de paramètres a besoin d'environ 14 Go pour ses poids en précision 16 bits, et d'environ un quart de cela en 4 bits. Microsoft indique que son Phi-3-mini, de 3,8 milliards de paramètres, tourne sur un téléphone en 4 bits. Un assistant partagé par de nombreux utilisateurs a toutefois besoin de mémoire pour chaque requête en cours : faites un test de charge avant de choisir le matériel.
Les petits modèles gèrent-ils bien l'arabe ?
Cela dépend du modèle. Phi-4-mini cite l'arabe et le français mais prévient que les langues autres que l'anglais donnent de moins bons résultats, tandis qu'ALLaM-7B a été entraîné spécifiquement sur l'arabe et l'anglais. Sur l'Open Arabic LLM Leaderboard, les grands modèles obtiennent en général de meilleurs scores, et les auteurs relient les résultats plus faibles des modèles 7B à une tâche RAG générative en arabe. Testez les candidats sur vos propres documents en arabe.
Faut-il faire du fine-tuning sur un petit modèle ?
Pas toujours. Commencez par un bon prompt et une recherche dans vos documents (RAG), puis ne faites du fine-tuning que si une tâche ciblée échoue encore. Quand il est justifié, les petits modèles en tirent bien parti : dans une étude, des modèles affinés par LoRA en 4 bits ont dépassé leurs modèles de base de 34 points et GPT-4 de 10 points en moyenne sur 31 tâches.
Vaut-il mieux un seul grand modèle ou plusieurs petits ?
Un seul modèle est plus simple à tester, à mettre à jour et à sécuriser. Plusieurs modèles se justifient quand la charge se découpe en tâches distinctes de difficulté différente, avec un routeur ou une architecture d'agents qui envoie chaque requête au plus petit modèle capable de la traiter. Chaque modèle supplémentaire ajoute du travail d'évaluation et de maintenance : n'en ajoutez que si vos tests montrent un gain.



