Mecanismo de atención: cómo un modelo relaciona las palabras
El mecanismo de atención es el procedimiento que permite a un modelo de lenguaje ponderar, para cada palabra que procesa, la importancia de todas las demás palabras del texto. Es el núcleo de la arquitectura Transformer y, por tanto, de los asistentes de IA actuales.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|---|
| Origen | 2014 |
| Introducido por | Bahdanau, Cho et Bengio |
El principio
Cuando lee «Marta le prestó la bici a Pablo porque él había perdido el autobús», usted sabe que «él» es Pablo. Para entenderlo, su cerebro ha relacionado esa palabra con otra anterior. El mecanismo de atención hace algo comparable: para cada token (palabra o fragmento de palabra), el modelo calcula una puntuación de relevancia con cada uno de los demás tokens y combina su información dando más peso a los más relevantes.
Así, cada palabra obtiene una representación «enriquecida» por su contexto. La palabra «banco» no se representará igual en «se sentó en el banco del parque» que en «el banco aprobó el préstamo», porque la atención la habrá relacionado con vecinos distintos.
De dónde viene la idea
El mecanismo se popularizó en 2014 gracias a Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio, en el artículo «Neural Machine Translation by Jointly Learning to Align and Translate». Su modelo de traducción podía, para cada palabra que generaba, «buscar» en la frase original las partes útiles, en lugar de resumir la frase entera en un único vector de tamaño fijo. En 2017, el artículo «Attention Is All You Need» dio un paso más: el Transformer se basa únicamente en la atención, aplicada al propio texto.
Por qué le importa
La atención explica dos cosas que usted nota al usar un asistente. Primero, su capacidad de tener en cuenta un detalle mencionado mucho antes en la conversación. Segundo, la existencia de una ventana de contexto: como cada token se compara con cada uno de los demás, el coste de cálculo y memoria sube rápido con la longitud. Técnicas como la caché clave-valor evitan repetir parte del trabajo, y la investigación sobre contexto largo intenta ampliar ese límite.
La herramienta ventana de contexto del sitio le ayuda a ver de forma concreta cuánto texto cabe en la memoria de trabajo de un modelo.
Ideas equivocadas frecuentes
- «Los pesos de atención explican las decisiones del modelo». Dan pistas, pero los investigadores debaten su valor como explicación: un modelo tiene muchas capas y cabezas de atención que interactúan.
- «El modelo atiende por igual a la totalidad del contexto». En la práctica, la información perdida en mitad de un documento muy largo puede tenerse menos en cuenta.
- «La atención se inventó en 2017». Ya existía; 2017 marca el momento en que se convirtió en el único pilar de la arquitectura.
Términos relacionados
- Transformer · Arquitectura de red neuronal basada en la atención, presentada en 2017, que sirve de base a casi todos los grandes modelos de lenguaje.
- Ventana de contexto · Cantidad máxima de texto (en tokens) que un modelo puede leer y producir de una sola vez, incluida su propia respuesta.
- Caché clave-valor (KV cache) · Memoria donde un modelo guarda los cálculos ya hechos sobre los tokens anteriores para no repetirlos en cada palabra nueva.
- Contexto largo · Capacidad de un modelo para procesar de una vez textos muy extensos (libros, repositorios de código) y técnicas que la hacen posible.
- Token · Pequeño fragmento de texto (palabra, parte de palabra o signo) que lee y produce un modelo de IA; unidad de medida, límite y precio.
Para probar
Todo el glosario
Preguntas frecuentes
¿La atención de un modelo se parece a la atención humana?
Solo por analogía. En el modelo se trata de un cálculo de puntuaciones entre representaciones de tokens, no de una concentración consciente. La palabra se eligió porque describe bien el efecto: centrarse en lo que importa.
¿Qué diferencia hay entre atención y autoatención?
En la versión original, un modelo de traducción miraba la frase de origen mientras escribía la traducción. En la autoatención (self-attention), cada palabra de un texto mira las demás palabras de ese mismo texto. Los Transformers usan principalmente la segunda.
¿Por qué la atención limita la longitud de los textos?
Cada token se compara con cada uno de los demás, así que el número de comparaciones crece mucho más rápido que la longitud del texto. Los fabricantes aplican diversas optimizaciones para ampliar el límite, pero sigue pesando en el coste de cálculo y memoria.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.