Ventana de contexto: ¿cuánto texto puede leer una IA?

La memoria de trabajo de una conversación

Cuando conversa con un asistente de IA, el modelo no recuerda como lo haría una persona. Con cada mensaje vuelve a leer todo lo que se le proporciona: sus instrucciones, el historial de la conversación, los documentos adjuntos y su nueva pregunta. La ventana de contexto es la cantidad máxima de texto que puede tener en cuenta a la vez. Se mide en tokens, fragmentos de palabras. Lo que la supera se rechaza, se corta o se resume, según la aplicación.

Piense en ella como en un escritorio: cuanto más grande es, más documentos puede extender al mismo tiempo. Pero al acabar la conversación, el escritorio se despeja.

No hay que confundirla con la memoria a largo plazo

Algunos asistentes ofrecen una función de «memoria» que conserva información de una conversación a otra: su nombre, su profesión, sus preferencias. Es un mecanismo distinto. Esos datos se guardan aparte y se insertan en la ventana de contexto al inicio de una nueva conversación. La memoria a largo plazo decide qué se recuerda; la ventana de contexto limita cuánto texto se lee a la vez.

Cómo leer las conversiones

Un número de tokens dice poco por sí solo. La herramienta de arriba lo traduce en equivalencias concretas: páginas A4, novelas de 300 páginas y horas de reunión transcrita. Estas conversiones se basan en promedios (palabras por página, ritmo al hablar, tokens por palabra) que varían según el idioma, la maquetación y la densidad del texto. Una hoja de cálculo, código o un texto en español no llenan la ventana al mismo ritmo que una novela en inglés.

Tome estas equivalencias como órdenes de magnitud para comparar modelos, no como medidas exactas. Las barras muestran las diferencias de un vistazo; elija después un documento tipo para ver qué modelos pueden aceptarlo completo. Para un texto concreto, el estimador de tokens ofrece una estimación más precisa.

Una ventana grande no garantiza una lectura perfecta

Que un documento quepa en la ventana no significa que el modelo preste la misma atención a cada línea. Varios investigadores han descrito un fenómeno conocido como «perdido en el medio» (lost in the middle): los modelos suelen recuperar mejor la información situada al principio o al final de un texto largo que la que está en el centro. Los modelos recientes mejoran en este aspecto, pero conviene ser prudente.

Cuanto más largo es el contexto, mayor es el riesgo de olvidos o confusiones, y más cuesta cada solicitud, ya que todos esos tokens se cobran en cada llamada. La calculadora de coste de un agente le permite medir ese efecto.

Consejos para trabajar con documentos largos

• Dividir: procese un documento largo por capítulos o secciones y pida después una síntesis de las respuestas parciales.
• Resumir: en una conversación larga, pida un resumen de vez en cuando y empiece una conversación nueva a partir de él.
• Colocar lo esencial en su sitio: ponga su pregunta y las instrucciones principales después del documento, o repítalas al final.
• Usar RAG: la generación aumentada por recuperación (RAG, por sus siglas en inglés) consiste en guardar sus documentos en una base de búsqueda y dar al modelo solo los fragmentos útiles para cada pregunta. Como un bibliotecario que le trae las páginas adecuadas en lugar de toda la biblioteca. Es un enfoque habitual para los agentes que trabajan con grandes colecciones de documentos.

Para comparar otras características de los modelos, consulte el comparador de modelos. El itinerario Profundizar y el glosario explican estos conceptos con más detalle.