Interprétabilité : ouvrir la boîte noire des modèles d'IA
L'interprétabilité est le domaine de recherche qui tente de comprendre comment un modèle d'IA arrive réellement à sa réponse, en examinant ses calculs internes plutôt que ce qu'il raconte. C'est un sujet d'experts, mais il conditionne la confiance que l'on peut accorder aux systèmes les plus puissants.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
De quoi parle-t-on ?
En une phrase : l’interprétabilité, c’est essayer de lire « dans la tête » d’un modèle. Un grand modèle de langage est un réseau de neurones composé de milliards de nombres ajustés pendant l’entraînement ; personne ne les a écrits à la main, et personne ne sait d’emblée ce qu’ils encodent. L’interprétabilité dite mécaniste cherche à identifier, dans les activations d’un Transformer, des concepts (les features) et les enchaînements de calculs qui les relient (les circuits).
La difficulté de départ : un neurone isolé ne correspond presque jamais à une idée unique. Il réagit à plusieurs concepts sans rapport, car le modèle « superpose » davantage de concepts qu’il n’a de neurones. Les chercheurs utilisent donc l’apprentissage de dictionnaire (autoencodeurs parcimonieux) pour reconstituer des unités plus lisibles. Dans l’étude « Towards Monosemanticity » publiée par Anthropic en octobre 2023, cette méthode a fait apparaître sur un petit modèle des features dédiées par exemple à l’ADN, au langage juridique ou aux requêtes HTTP.
Un exemple concret
Dans des travaux publiés en mars 2025 sur le traçage des « pensées » de Claude, Anthropic décrit des graphes d’attribution qui suivent le chemin d’un calcul. Résultats marquants : pour écrire un vers rimé, le modèle sélectionne la rime à atteindre avant de rédiger la ligne ; pour une addition, il combine en parallèle une estimation approximative et un calcul exact du dernier chiffre, alors que, interrogé, il décrit la méthode scolaire de la retenue.
Pourquoi ça compte
- Sécurité et alignement : vérifier qu’un modèle ne poursuit pas un objectif caché demande de regarder ses mécanismes, pas seulement ses réponses.
- Diagnostic : comprendre pourquoi un modèle produit une hallucination ou cède à une manipulation aide à corriger la cause.
- Complément aux tests : le red teaming observe le comportement de l’extérieur ; l’interprétabilité tente d’expliquer ce comportement de l’intérieur.
Idées reçues
- « Le raisonnement affiché, c’est ce que pense le modèle. » Ce n’est pas garanti : l’explication écrite peut diverger du calcul réel.
- « On sait déjà tout lire. » Les analyses couvrent des fragments de comportement, avec un coût élevé, et ne passent pas encore à l’échelle de tout un modèle.
- « C’est purement académique. » Ces outils éclairent déjà des comportements très concrets : pourquoi un modèle refuse, pourquoi il invente une réponse, ou quand il fabrique un raisonnement pour justifier une conclusion suggérée.
Termes voisins : alignement, red teaming, biais de l’IA, IA constitutionnelle.
Termes liés
- Alignement de l'IA · Ensemble des recherches et méthodes visant à ce qu'une IA poursuive réellement les intentions et les valeurs de ceux qui l'utilisent.
- Réseau de neurones · Programme formé de nombreuses petites unités de calcul reliées entre elles, qui apprend en ajustant la force de ces liens.
- Transformer · Architecture de réseau de neurones fondée sur l'attention, présentée en 2017, qui sert de base à presque tous les grands modèles de langage.
- Red teaming · Tests adverses où des personnes ou d'autres IA attaquent volontairement un modèle pour découvrir ses failles avant qu'elles ne soient exploitées.
- Biais de l'IA · Erreur systématique d'une IA qui traite moins bien certains groupes ou reproduit des stéréotypes, souvent hérités de ses données.
- IA constitutionnelle · Méthode d'Anthropic où une IA critique et corrige ses propres réponses à partir d'une liste écrite de principes, appelée constitution.
Tout le glossaire
Questions fréquentes
Quelle différence entre interprétabilité et explicabilité ?
Les deux mots sont souvent employés l'un pour l'autre. En pratique, l'explicabilité désigne plutôt des explications fournies à l'utilisateur sur une décision, tandis que l'interprétabilité, surtout dite « mécaniste », étudie directement les mécanismes internes du réseau.
Ne suffit-il pas de demander au modèle d'expliquer son raisonnement ?
Non. Les travaux publiés par Anthropic en mars 2025 montrent des cas où le modèle décrit une méthode de calcul différente de celle qu'il utilise réellement en interne. L'explication écrite est un texte produit comme un autre, pas une lecture fiable de ses calculs.
Qu'est-ce qu'une « feature » en interprétabilité ?
C'est une direction dans l'espace des activations du modèle qui correspond à un concept repérable, par exemple du code, une langue ou une notion juridique. Ces features sont extraites avec des méthodes d'apprentissage de dictionnaire, comme les autoencodeurs parcimonieux.
L'interprétabilité est-elle un problème résolu ?
Non. Les méthodes actuelles éclairent une partie des mécanismes, sur certaines tâches, avec un effort d'analyse important. Comprendre l'ensemble du fonctionnement d'un grand modèle reste un objectif de recherche ouvert.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.