Fiabiliser un RAG : mesurer ses erreurs, puis les réduire pour de bon

Votre assistant documentaire fonctionne en démonstration, puis des utilisateurs signalent une réponse fausse, un chiffre inventé, une source qui ne dit pas ce qu'on lui fait dire. Pour fiabiliser un RAG, nous commençons par le mesurer : jeu de questions de référence construit avec vos experts, notation de chaque réponse, diagnostic des causes (mauvais passage retrouvé, découpage inadapté, consigne trop libre, document obsolète). Nous corrigeons ensuite par ordre d'impact et nous remesurons. Le service s'applique à un RAG que nous n'avons pas conçu, quelle que soit la technologie employée.

Un assistant documentaire se juge sur ses erreurs, pas sur ses réussites. Or sans mesure, personne ne sait si les corrections d'un mois améliorent ou dégradent l'ensemble : on règle une question, on en casse trois autres. Pour fiabiliser un RAG, il faut distinguer deux familles de pannes : la recherche (le bon passage n'est pas retrouvé) et la génération (le bon passage est là, mais la réponse l'ignore ou le déforme). Elles n'appellent pas les mêmes remèdes. Les entreprises nous sollicitent après un pilote prometteur et avant un déploiement plus large, ou quand la confiance des utilisateurs a chuté. Au quotidien, la direction dispose d'un chiffre, d'un tableau des échecs par cause et d'un plan de corrections. Le service ne garantit pas zéro erreur : aucun système n'y parvient. Il rend les erreurs mesurables, rares sur les sujets critiques et signalées par un refus plutôt que par une invention.

• La recherche et la génération sont notées séparément, pour corriger la vraie cause d'une réponse fausse
• Le jeu de référence inclut des questions sans réponse, qui testent la capacité de l'assistant à refuser
• Chaque correction est remesurée sur l'ensemble, afin de ne pas améliorer un cas en dégradant d'autres
• Le service s'applique à un RAG existant, quelle que soit la technologie ou l'équipe qui l'a bâti
• Le jeu de test est livré et rejouable à chaque changement de modèle ou de documents

• Rapport d'audit du RAG existant
• Jeu de référence de 50 à 100 questions avec réponses attendues
• Mesure avant et après correction
• Liste des échecs classés par cause
• Corrections appliquées et documentées
• Script de test rejouable et tableau de suivi

• Les utilisateurs ne font plus confiance aux réponses de l'assistant
• Chaque correction semble en dégrader une autre
• Personne ne sait dire quel pourcentage de réponses est juste
• L'assistant répond avec assurance même quand il n'a aucune source

Industriel de 250 salariés dont le pilote d'assistant qualité inquiète la direction : le taux de réponses vérifiées passe d'une mesure inconnue à un chiffre suivi, avant tout déploiement sur les sites.

Cabinet juridique de 40 personnes : l'assistant de recherche citait parfois des clauses inexistantes ; les refus justifiés sont renforcés.

Éditeur de logiciels de 60 personnes : l'assistant du service client cesse de citer des fonctions de versions périmées, après filtrage des anciennes documentations et mesure sur cinquante questions de support.

Public visé

DSI · Chef de projet IA · Directeur de l'innovation · Responsable qualité

Tailles d’entreprise

PME · ETI

Secteurs adaptés

Industrie · Services juridiques · Éditeurs de logiciels · Assurance · Santé · Distribution

Prérequis

Accès au RAG existant et à sa configuration · Journaux de questions des utilisateurs, si disponibles · Deux experts métier pour valider les réponses attendues

• Python
• Ragas
• LlamaIndex
• LangChain
• Langfuse
• Claude
• Mistral
• Qdrant

Le coût d'un assistant peu fiable se mesure en confiance perdue et en vérifications manuelles. Savoir où il se trompe permet souvent de sauver un investissement déjà engagé plutôt que de le reconstruire. Gain à confirmer lors de l'audit.