Transformer: la arquitectura detrás de los grandes modelos de lenguaje

Una definición sencilla

Una red neuronal puede organizarse de muchas maneras. El Transformer es una disposición concreta cuya pieza clave es el mecanismo de atención: para procesar cada palabra, el modelo mira todas las demás palabras del texto y decide cuáles importan más.

Antes, los modelos de lenguaje leían el texto palabra a palabra, en orden, como quien sigue una línea con el dedo. El Transformer puede examinar todas las palabras en paralelo. Eso tuvo dos efectos importantes: capta mucho mejor la relación entre palabras alejadas y se entrena con mucha más eficiencia en procesadores gráficos, capaces de hacer muchos cálculos a la vez.

De dónde viene

La arquitectura se presentó en junio de 2017 en el artículo «Attention Is All You Need» (Vaswani et al., Google). El título lo resume: un modelo basado únicamente en la atención, sin los mecanismos recurrentes usados hasta entonces. Su primer objetivo era la traducción automática. Ya en 2018, OpenAI con GPT y Google con BERT mostraron que un Transformer preentrenado con enormes cantidades de texto podía adaptarse después a muchas tareas. Puede situar estos hitos en la cronología de la IA.

Un ejemplo concreto

Tome la frase: «La taza se cayó de la mesa porque era frágil». ¿A qué se refiere «era frágil»? Para una persona, es obvio: a la taza. Un Transformer establece ese vínculo dando un peso de atención alto hacia «taza» y bajo hacia «mesa». Cambie «frágil» por «inestable» y la atención se desplaza hacia «mesa». Esa capacidad de relacionar palabras según su sentido es lo que hace tan fluidas las respuestas de los asistentes.

Por qué importa

Saber que los grandes modelos de lenguaje son Transformers ayuda a entender sus puntos fuertes y sus límites. Dividen el texto en tokens, y el coste de la atención crece con fuerza a medida que el texto se alarga: es una de las razones por las que la ventana de contexto es limitada. Variantes como la mezcla de expertos modifican partes del Transformer para hacerlo más eficiente sin cambiar su principio.

Ideas equivocadas frecuentes

• «Transformer es el nombre de un producto». Es una arquitectura pública, descrita en un artículo de investigación y usada por la gran mayoría de los laboratorios.
• «Un Transformer entiende el texto como nosotros». Calcula relaciones estadísticas entre tokens; el resultado parece comprensión, pero el mecanismo es muy distinto del nuestro.
• «Un Transformer vale lo mismo que otro». El tamaño, los datos de entrenamiento y los ajustes producen modelos muy diferentes a partir de la misma arquitectura base.