Mécanisme d'attention : comment un modèle relie les mots entre eux
Le mécanisme d'attention est le procédé qui permet à un modèle de langage de pondérer, pour chaque mot qu'il traite, l'importance de tous les autres mots du texte. C'est le cœur de l'architecture Transformer, et donc des assistants IA actuels.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2014 |
| Introduit par | Bahdanau, Cho et Bengio |
Le principe
Quand vous lisez « Marie a prêté son vélo à Paul parce qu’il avait raté son bus », vous savez que « il » désigne Paul. Pour le comprendre, votre cerveau a relié ce mot à un autre, plus haut dans la phrase. Le mécanisme d’attention fait quelque chose de comparable : pour chaque token (mot ou morceau de mot), le modèle calcule un score de pertinence avec tous les autres tokens, puis combine leurs informations en donnant plus de poids aux plus pertinents.
Chaque mot obtient ainsi une représentation « enrichie » de son contexte. Le mot « avocat » n’aura pas la même représentation dans « l’avocat plaide » et dans « l’avocat est mûr », parce que l’attention ne l’aura pas relié aux mêmes voisins.
D’où vient l’idée
Le mécanisme a été popularisé en 2014 par Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio dans l’article « Neural Machine Translation by Jointly Learning to Align and Translate ». Leur modèle de traduction pouvait, à chaque mot produit, « chercher » dans la phrase d’origine les parties utiles, au lieu de tout résumer dans un seul vecteur de taille fixe. En 2017, l’article « Attention Is All You Need » a franchi une étape : le Transformer repose uniquement sur l’attention, appliquée au texte lui-même.
Pourquoi ça compte pour vous
L’attention explique deux choses que vous constatez en utilisant un assistant. D’abord, sa capacité à tenir compte d’un détail donné bien plus tôt dans la conversation. Ensuite, l’existence d’une fenêtre de contexte : comme chaque token est comparé à tous les autres, le coût en calcul et en mémoire grimpe vite avec la longueur. Des techniques comme le cache clé-valeur évitent de refaire certains calculs, et la recherche sur le contexte long cherche à repousser cette limite.
L’outil fenêtre de contexte du site vous aide à voir concrètement combien de texte tient dans la mémoire de travail d’un modèle.
Idées reçues fréquentes
- « Les poids d’attention expliquent les décisions du modèle. » Ils donnent des indices, mais les chercheurs débattent de leur valeur comme explication : un modèle comporte de nombreuses couches et têtes d’attention qui interagissent.
- « Le modèle prête autant attention à tout le contexte. » En pratique, les informations noyées au milieu d’un très long document peuvent être moins bien prises en compte.
- « L’attention est une invention de 2017. » Elle existait avant ; 2017 marque le moment où elle est devenue le seul pilier de l’architecture.
Termes liés
- Transformer · Architecture de réseau de neurones fondée sur l'attention, présentée en 2017, qui sert de base à presque tous les grands modèles de langage.
- Fenêtre de contexte · Quantité maximale de texte (en tokens) qu'un modèle peut lire et produire en une seule fois, réponse comprise.
- Cache clé-valeur (KV cache) · Mémoire où un modèle garde les calculs déjà faits sur les tokens précédents, pour ne pas les refaire à chaque nouveau mot.
- Contexte long · Capacité d'un modèle à traiter en une seule fois de très longs textes (livres, dépôts de code), et techniques qui la rendent possible.
- Token · Petit morceau de texte (mot, bout de mot, signe) que lit et produit un modèle d'IA ; sert d'unité de mesure, de limite et de prix.
À essayer
Tout le glossaire
Questions fréquentes
L'attention d'un modèle ressemble-t-elle à l'attention humaine ?
Seulement par analogie. Chez le modèle, il s'agit d'un calcul de scores entre des représentations de tokens, pas d'une concentration consciente. Le mot a été choisi parce qu'il décrit bien l'effet : se focaliser sur ce qui compte.
Quelle différence entre attention et self-attention ?
Dans la version d'origine, un modèle de traduction regardait la phrase source pendant qu'il écrivait la traduction. Dans la self-attention (auto-attention), chaque mot d'un texte regarde les autres mots de ce même texte. Les Transformers utilisent surtout la seconde.
Pourquoi l'attention limite-t-elle la longueur des textes ?
Chaque token est comparé à tous les autres, donc le nombre de comparaisons augmente beaucoup plus vite que la longueur du texte. Les fabricants utilisent diverses optimisations pour repousser cette limite, mais elle pèse sur le coût et la mémoire nécessaires.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.