Latencia: por qué la IA tarda más o menos en responder
La latencia es el tiempo que transcurre entre el envío de una petición a un modelo de IA y la obtención de su respuesta. En la práctica se distinguen dos partes que se perciben de forma muy distinta: la espera hasta la primera palabra y la duración total de la generación.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|
Una definición, dos sensaciones
La documentación de Anthropic define la latencia como el tiempo que necesita el modelo para procesar un prompt y generar una respuesta. Depende del tamaño del modelo, de la complejidad de la petición y de la infraestructura que lo ejecuta. Hay dos medidas que aparecen a menudo:
- El tiempo hasta el primer token (Time To First Token, TTFT): cuánto tarda la respuesta en empezar a aparecer.
- La duración total de la generación: el tiempo necesario para producir toda la respuesta, que crece con su longitud, porque un modelo de lenguaje escribe token a token.
Un ejemplo concreto
Imagine un asistente de voz de atención al cliente. Si la primera frase llega rápido, la conversación resulta natural aunque la respuesta completa tarde más. En cambio, un silencio largo antes de la primera palabra da la impresión de que el sistema ha fallado, por buena que sea la respuesta final.
En un procesamiento por lotes, como resumir miles de documentos durante la noche, la latencia de cada respuesta importa mucho menos: priman el coste total y el volumen procesado. Para preseleccionar modelos por precio y capacidades antes de medir su rapidez con sus propias peticiones, use nuestro comparador de modelos.
Por qué importa
La latencia suele ser un compromiso con la calidad y el coste:
- un modelo grande o un modelo de razonamiento suele dar mejores respuestas, pero más despacio;
- un prompt muy largo alarga el tiempo de lectura durante la inferencia;
- el streaming no acelera el cálculo, pero mejora mucho la sensación de rapidez.
Entre las palancas técnicas están el almacenamiento en caché del prompt, que evita volver a procesar un contexto largo idéntico, y la decodificación especulativa, que usan los proveedores para generar más rápido.
Errores e ideas equivocadas frecuentes
- «El modelo más rápido es la mejor opción.» Solo si su calidad basta para la tarea. La documentación de Anthropic aconseja conseguir primero un prompt que funcione bien y optimizar la latencia después.
- «Basta con pedir una respuesta de pocas palabras.» Los modelos cuentan en tokens; limitar el número de frases o párrafos suele ser más eficaz.
- «La latencia de un modelo es fija.» Varía según la longitud de los textos, la hora, la carga de los servidores y ajustes como el nivel de esfuerzo de razonamiento.
- «El streaming hace que el modelo sea más rápido.» Hace la espera más agradable, sin reducir el tiempo total de cálculo.
Términos relacionados
- Inferencia · Momento en que un modelo ya entrenado se usa para producir una respuesta: cada pregunta enviada a una IA desencadena una inferencia.
- Token · Pequeño fragmento de texto (palabra, parte de palabra o signo) que lee y produce un modelo de IA; unidad de medida, límite y precio.
- Modelo de razonamiento · Modelo de lenguaje entrenado para «pensar» por pasos antes de responder: más lento y caro, pero más sólido en matemáticas, código y lógica.
- Cómputo en inferencia (test-time compute) · Potencia de cálculo que gasta un modelo en el momento de responder, por ejemplo para razonar más tiempo o comparar varias soluciones.
- Caché de prompts · Técnica que reutiliza el inicio de un prompt ya procesado por el modelo para responder más rápido y cobrar menos en peticiones repetidas.
- Decodificación especulativa · Técnica de aceleración en la que un modelo pequeño propone varios tokens por adelantado y el modelo grande los verifica de una vez.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué es el tiempo hasta el primer token (TTFT)?
Es el intervalo entre el envío de la petición y la llegada del primer token de la respuesta. Con streaming, es lo que más percibe el usuario: en cuanto el texto empieza a aparecer, la espera parece más corta. La documentación de Anthropic lo distingue de la latencia base del modelo.
¿Por qué los modelos de razonamiento son más lentos?
Porque primero generan un razonamiento interno, a veces largo, antes de la respuesta visible. Esos tokens adicionales tardan en producirse. Es el compromiso del cómputo en tiempo de inferencia: más reflexión, a menudo mejores respuestas, pero más espera.
¿Cómo reducir la latencia de una aplicación?
Las palancas habituales son elegir un modelo más rápido, acortar el prompt y la respuesta esperada y activar el streaming para mostrar el texto a medida que se genera. El almacenamiento en caché del prompt también acelera las peticiones que repiten un contexto largo.
¿La latencia depende de mi conexión a internet?
Solo en parte. El trayecto por la red añade algo de retraso, pero lo principal suele ser el tiempo de cálculo del modelo, la cantidad de texto que debe leer y producir y la carga de los servidores del proveedor en ese momento.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.