Transformer : l'architecture derrière les grands modèles de langage

Une définition simple

Un réseau de neurones peut être construit de bien des façons. Le Transformer est une façon particulière de l’organiser, dont la pièce maîtresse est le mécanisme d’attention : pour traiter chaque mot, le modèle regarde tous les autres mots du texte et décide lesquels comptent le plus.

Avant lui, les modèles de langage lisaient le texte mot après mot, dans l’ordre, comme on suit une ligne du doigt. Le Transformer, lui, peut examiner tous les mots en parallèle. Cette différence a deux conséquences majeures : il saisit mieux les liens entre des mots éloignés, et il s’entraîne beaucoup plus efficacement sur des processeurs graphiques capables de faire de nombreux calculs en même temps.

D’où il vient

L’architecture a été présentée en juin 2017 dans l’article « Attention Is All You Need » (Vaswani et al., Google). Le titre résume l’idée : un modèle fondé uniquement sur l’attention, sans les mécanismes récurrents utilisés jusque-là. Il visait d’abord la traduction automatique. Dès 2018, OpenAI avec GPT et Google avec BERT ont montré qu’un Transformer pré-entraîné sur de grandes quantités de texte pouvait ensuite être adapté à de nombreuses tâches. Vous pouvez situer ces étapes dans la chronologie de l’IA.

Un exemple concret

Prenez la phrase : « La tasse est tombée de la table parce qu’elle était fragile. » À quoi renvoie « elle » ? Pour un humain, c’est évident : la tasse. Un Transformer établit ce lien en calculant, pour le mot « elle », un poids d’attention élevé vers « tasse » et faible vers « table ». Remplacez « fragile » par « bancale » et l’attention bascule vers « table ». C’est cette capacité à relier les mots selon le sens qui rend les réponses des assistants si fluides.

Pourquoi ça compte

Comprendre que les grands modèles de langage sont des Transformers aide à comprendre leurs forces et leurs limites. Ils découpent le texte en tokens, et le coût de l’attention augmente fortement avec la longueur du texte : c’est l’une des raisons pour lesquelles la fenêtre de contexte est limitée. Des variantes comme le mélange d’experts modifient certaines parties du Transformer pour le rendre plus efficace, sans en changer le principe.

Idées reçues fréquentes

• « Transformer est un nom de produit. » C’est une architecture publique, décrite dans un article de recherche, utilisée par presque tous les laboratoires.
• « Un Transformer comprend le texte comme nous. » Il calcule des relations statistiques entre tokens ; le résultat paraît compréhensif, mais le mécanisme est très différent du nôtre.
• « Tous les Transformers se valent. » La taille, les données d’entraînement et les réglages font des modèles très différents à partir de la même architecture de base.