FRENES

Hallucinations d'un agent IA : comment réduire les erreurs

Par · · 6 min

Un cartographe corrige à la règle une carte dont une île imaginaire a été dessinée par erreur

Un agent IA se trompe parce qu’un modèle de langage produit du texte plausible, pas des faits vérifiés, et que l’agent enchaîne des actions sur ce texte. On ne supprime pas ces erreurs : on les mesure sur ses propres tâches, puis on les réduit avec des parades ciblées (sources fournies, sorties structurées, droits limités, validation humaine, journaux).

Ce qu’on appelle une hallucination d’agent

Une hallucination est une sortie fausse présentée avec assurance : un fait inventé, une source qui n’existe pas, un chiffre faux. Chez un simple chatbot, l’erreur reste dans le texte. Chez un agent, elle déclenche des actes : un fichier modifié, un e-mail envoyé, une commande lancée. C’est la différence expliquée dans agent IA ou chatbot, et c’est ce qui rend la question de fiabilité plus sérieuse.

Les erreurs d’agent ne sont pas toutes des inventions de faits. Cinq familles reviennent.

ErreurCe qui se passeCause fréquenteParade principale
Fait inventéLe modèle affirme une information faussePas de source dans le contexteFournir des documents, exiger les citations
Outil mal appeléMauvais paramètre, mauvais outilDescription d’outil floue, modèle peu fiableSchémas stricts, sorties structurées
Résultat mal luLe modèle ignore ou déforme la réponse d’un outilRésultat trop long ou bruitéRésumer, filtrer, vérifier le résultat
BoucleL’agent répète la même actionPas de condition d’arrêtLimites de tours et de budget
Dérive de contexteL’agent oublie une consigne en cours de tâcheHistorique trop longRappels, résumés, mémoire maîtrisée

Mesurer avant de corriger

Sans mesure, on corrige à l’aveugle. La méthode la plus utile est la plus simple :

  1. Rassemblez 20 à 50 tâches réelles de votre agent, avec la réponse ou l’action attendue.
  2. Rejouez-les à chaque changement de modèle, d’instructions ou d’outils.
  3. Notez pour chaque tâche : réussie, échec, correction humaine nécessaire, coût.
  4. Classez les échecs selon les cinq familles du tableau ci-dessus.

Les benchmarks publics donnent un repère mais ne remplacent pas ce jeu de tests : notre guide pour lire les classements des modèles explique leurs limites, et le guide évaluer un agent IA détaille la démarche. Certains benchmarks ciblent l’exactitude factuelle, comme SimpleQA publié par OpenAI, mais ils testent des questions fermées, pas des tâches d’agent.

Un exemple concret : un agent de support qui répond aux clients

Prenons un agent fictif chargé de répondre aux questions de livraison d’une boutique. Cet exemple est construit pour illustrer la méthode, il ne repose sur aucune donnée réelle. L’agent dispose de deux outils : la recherche d’une commande et la lecture des conditions de livraison.

Premier incident : un client demande si sa commande arrivera avant vendredi. L’agent ne trouve pas la commande, ne le dit pas, et répond avec un délai « habituel » qu’il a deviné. C’est un fait inventé, causé par l’absence de source. La parade est une règle explicite : sans résultat d’outil, l’agent répond qu’il ne sait pas et transmet à un humain.

Deuxième incident : l’outil de recherche renvoie une longue fiche de 40 lignes et l’agent cite le statut d’une autre commande. C’est un résultat mal lu. La parade consiste à ne renvoyer à l’agent que les champs utiles (numéro, statut, date) plutôt que la fiche brute.

Troisième incident : l’agent relance cinq fois la même recherche avec le même numéro mal saisi. C’est une boucle. Un plafond de tours par conversation et un message d’échec clair y mettent fin.

Chaque incident se corrige à un endroit différent : le prompt, l’outil, la configuration. C’est pourquoi la classification en familles est utile avant de « changer de modèle ».

Construire son jeu de tests pas à pas

Un jeu de tests ne demande ni outil sophistiqué, un tableur suffit.

  1. Collectez les vraies demandes reçues par l’agent (ou par l’humain qu’il remplace), anonymisées.
  2. Écrivez le résultat attendu pour chacune : réponse correcte, ou action à déclencher, ou « refuser et escalader ».
  3. Ajoutez des cas pièges : informations absentes, demandes ambiguës, consignes contradictoires, texte piégé dans un document.
  4. Rejouez le jeu à chaque changement et conservez les résultats datés pour comparer.
  5. Relisez les échecs un par un : un échec dû à un mauvais résultat attendu se corrige dans le jeu, pas dans l’agent.

Gardez une petite part des cas de côté, sans les utiliser pour régler les instructions, afin de vérifier que vos corrections ne servent pas seulement les cas déjà vus.

Les parades qui réduisent vraiment les erreurs

Donner des sources plutôt que laisser deviner

Un agent qui répond depuis des documents que vous lui fournissez invente moins qu’un agent qui répond de mémoire. C’est le principe du RAG, détaillé dans notre guide de référence. Demandez des citations traçables et refusez les réponses sans source quand l’exactitude compte.

Cadrer les sorties et les outils

Des sorties structurées (un format de réponse imposé, validé par du code) évitent les paramètres mal remplis. Décrivez chaque outil précisément et limitez leur nombre : plus un agent a d’outils, plus il se trompe de choix. Les protocoles d’accès aux outils comme MCP aident à standardiser ces descriptions.

Garder un humain pour les étapes à risque

La validation humaine coûte du temps mais coupe les erreurs les plus chères : paiement, suppression, envoi externe. Réservez-la aux actions irréversibles ou coûteuses, et laissez l’agent travailler seul sur le reste. Notre article sur les agents autonomes discute de cette frontière.

Limiter les droits

Si l’agent se trompe, les dégâts sont bornés par ce qu’il peut faire. Appliquez le moindre privilège, travaillez dans un bac à sable et fixez des plafonds de tours et de budget pour éviter les boucles.

Journaliser pour comprendre

Conservez les étapes, les appels d’outils et les résultats : sans trace, impossible de savoir où l’agent a déraillé. Le guide pour surveiller un agent IA présente journaux, traces et alertes.

Choisir le bon modèle, pas forcément le plus gros

Un modèle plus grand se trompe souvent moins, mais coûte plus cher, et l’écart varie d’une tâche à l’autre. Testez deux ou trois modèles sur votre jeu de tests avec le Benchmark LLM pour présélectionner, et estimez le budget avec le calculateur de prix. Notre guide choisir un modèle LLM détaille les critères.

Quand accepter l’erreur, quand la refuser

Toutes les erreurs ne se valent pas. Une reformulation maladroite dans un brouillon se corrige en secondes ; un remboursement envoyé par erreur ne se rattrape pas. Classez les actions de votre agent selon deux critères : l’erreur est-elle réversible, et quel est son coût ?

  • Réversible et peu coûteuse (résumer, classer, proposer un brouillon) : l’agent peut agir seul, avec relecture par échantillon.
  • Réversible mais visible (publier, envoyer à un client) : validation humaine avant l’envoi, au moins au début.
  • Irréversible ou coûteuse (payer, supprimer, modifier des droits) : validation humaine systématique, ou pas d’automatisation.

Cette grille se révise avec les mesures : quand le jeu de tests montre qu’une famille d’erreurs a disparu pendant plusieurs semaines, vous pouvez alléger le contrôle correspondant, jamais le supprimer d’un coup.

Les risques voisins : injection et données

Une partie des erreurs ne vient pas du modèle mais d’un contenu piégé que l’agent lit. L’injection de prompt pousse un agent à suivre des instructions cachées dans une page ou un e-mail. Elle se combine avec les hallucinations : un agent qui accepte sans contrôle ce qu’il lit agit sur de fausses informations. Le panorama complet des risques est dans la sécurité des agents IA, et le Labo sécurité aide à repérer les points faibles.

Sources à consulter

  • SimpleQA, publié par OpenAI : un benchmark d’exactitude factuelle sur des questions fermées.
  • La documentation officielle de votre fournisseur de modèle sur les sorties structurées et l’appel d’outils, à relire à chaque changement de version.
  • Notre glossaire pour la définition de référence.

Checklist avant de laisser un agent travailler

  • Un jeu de 20 à 50 tâches réelles existe et a été rejoué sur le modèle retenu.
  • Les réponses factuelles s’appuient sur des documents fournis, avec citations.
  • Les outils sont peu nombreux, décrits précisément et appelés avec des sorties structurées.
  • Les actions irréversibles passent par une validation humaine.
  • Les droits de l’agent sont limités au strict nécessaire.
  • Des plafonds de tours et de budget arrêtent les boucles.
  • Les étapes sont journalisées et relues régulièrement.

Ce qu’il faut savoir

  • Aucune méthode ne garantit zéro erreur : prévoyez un contrôle pour toute décision importante.
  • Le taux d’erreur n’a de sens que sur vos tâches : mesurez-le vous-même.
  • Les sources et les droits limités réduisent plus que le choix d’un modèle plus gros.
  • Relancez vos tests à chaque changement de modèle ou d’instructions.
  • Pour comprendre le fonctionnement sous-jacent, lisez notre explication sur la mémoire des agents.

Questions fréquentes

Pourquoi un agent IA invente-t-il des informations ?

Un modèle de langage produit la suite la plus probable d'un texte, pas une réponse vérifiée. Quand il manque d'information ou que le contexte est ambigu, il peut compléter avec du plausible mais faux. Un agent cumule ce risque avec celui de ses actions.

Peut-on supprimer complètement les hallucinations ?

Non. On peut les réduire fortement sur un cadre précis en donnant des sources, en limitant les actions et en faisant vérifier les étapes à risque, mais aucune méthode ne garantit zéro erreur. Prévoyez donc toujours un contrôle pour les décisions importantes.

Comment mesurer le taux d'erreur de mon agent ?

Constituez un jeu de 20 à 50 tâches réelles avec la réponse attendue, rejouez-le à chaque changement de modèle ou d'instructions et comptez les réussites, les erreurs et les interventions humaines. Le chiffre n'est valable que pour vos tâches.

Un modèle plus grand hallucine-t-il moins ?

Souvent, mais pas toujours, et il coûte plus cher. Comparez sur vos propres tâches : un modèle moyen bien outillé (sources, sorties structurées) peut surpasser un grand modèle laissé sans garde-fous.

Ajouter Info Agent IA comme source préférée sur Google Nos articles remontent plus souvent dans vos résultats Google « À la une ».

Dans la même rubrique

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons