FRENES

Glossaire · Modèles de langage

Transformer

Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention. Cette organisation sert notamment à construire des modèles capables de générer du texte, de le classer ou d'en produire une représentation numérique.

Transformer : l'explication

Dans un Transformer, le texte devient une suite de représentations numériques. Plusieurs couches transforment ces représentations en combinant un mécanisme d'attention avec d'autres calculs. L'attention permet de relier les éléments accessibles entre eux, tandis que des informations de position aident à tenir compte de leur ordre. Selon le modèle, certains éléments peuvent consulter toute une entrée ou seulement ce qui les précède. Le résultat dépend donc aussi des règles qui encadrent ces échanges.

Cette architecture sert à plusieurs tâches, dont la traduction, la recherche documentaire et la génération de texte. Certains modèles analysent une entrée pour en extraire une représentation. D'autres prédisent la suite d'un texte, étape après étape. Un agent peut utiliser un tel modèle pour préparer une réponse ou choisir un appel d'outil, mais l'architecture ne constitue pas à elle seule un agent. L'article de référence décrit ses principes techniques : https://arxiv.org/abs/1706.03762.

Le mot Transformer ne désigne ni une marque, ni un niveau de qualité, ni une garantie de raisonnement correct. Deux modèles utilisant cette architecture peuvent avoir des capacités très différentes selon leurs données, leur entraînement et leur taille. Le coût du traitement dépend aussi de la longueur du contexte et des variantes techniques employées. Pour votre usage, les résultats observés comptent davantage que la présence de ce seul nom dans une présentation de produit.

Un exemple concret

Vous demandez à un outil de résumer un échange sur l'organisation d'un voyage. Le modèle met en relation les destinations, les dates et les corrections présentes dans la conversation. Il peut ainsi associer une nouvelle date à la réservation concernée. La réponse reste toutefois une production du modèle : vous vérifiez les informations importantes, notamment si plusieurs participants ont changé leurs choix au fil des messages.

Pourquoi c'est important

Comprendre ce terme aide à distinguer la structure d'un modèle des fonctions offertes par une application. Un outil fondé sur un Transformer peut proposer une recherche, une rédaction ou une commande d'action selon son intégration. Pour le choisir, examinez la qualité sur vos tâches, la rapidité, les limites de contexte et la gestion des données, plutôt que de considérer cette architecture comme une garantie suffisante.

Idées reçues

  • Un Transformer ne consulte pas nécessairement Internet, car son architecture décrit des calculs internes tandis que l'accès au Web dépend des outils et des autorisations ajoutés par l'application qui l'utilise pour répondre à votre demande.
  • Tous les modèles Transformer ne produisent pas leurs résultats de la même manière, car certains analysent une entrée complète tandis que d'autres génèrent une suite progressivement, selon leur architecture précise et leur objectif d'entraînement.

Autres termes : modèles de langage

hallucination
L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.
embedding
Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.
token
Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.
fenêtre de contexte
La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.
poids ouverts
Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.
IA open source
L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.
quantification
La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.
GGUF
GGUF est un format de fichier utilisé pour distribuer des modèles destinés à des logiciels d'inférence compatibles.

Où le site en parle

Le terme apparaît dans 221 pages du site. Quelques-unes :

Dans la même famille

Pour aller plus loin

Questions fréquentes

Est-ce un modèle précis ?

Non. Transformer désigne une famille d'architectures. De nombreux modèles différents l'utilisent, avec des tailles, des données et des objectifs variés. Pour connaître leurs capacités, vous devez examiner le modèle et son application concrète.

Fonctionne-t-il seulement avec du texte ?

Non. Cette architecture peut aussi traiter des représentations d'images, de sons ou d'autres données. Les éléments manipulés et leur préparation changent selon le système, mais le principe de calcul de relations reste utile.

Est-ce la même chose qu'un agent ?

Non. Un Transformer peut être le modèle utilisé par un agent. L'agent ajoute généralement une organisation des étapes, des outils et des règles d'action pour poursuivre un objectif dans un environnement donné.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons