Caché clave-valor (KV cache): la memoria de trabajo de un LLM
La caché clave-valor (KV cache) es la memoria de trabajo de un modelo de lenguaje: guarda los cálculos ya hechos sobre el texto anterior para no repetirlos en cada palabra nueva. Acelera mucho la generación, pero ocupa un espacio que crece con la longitud de la conversación.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|
La definición
La caché KV evita que un modelo vuelva a leer y recalcular todo el texto anterior cada vez que escribe una palabra nueva.
Un modelo genera su respuesta token a token. En cada paso, el mecanismo de atención compara el token actual con todos los anteriores mediante dos vectores calculados para cada uno: una clave (key) y un valor (value). Como un token nunca depende de los que vienen después, esas claves y valores ya no cambian una vez calculados. Por eso se guardan en memoria, capa por capa: es la caché clave-valor. En el paso siguiente, el modelo solo calcula la clave y el valor del token nuevo y los añade.
Un ejemplo con cifras
La documentación de Hugging Face analiza un modelo de 15 500 millones de parámetros. Para una secuencia hipotética de 16 000 tokens, su caché KV contendría casi 8000 millones de números, unos 15 GB en 16 bits: aproximadamente la mitad de lo que ocupan los pesos del modelo. Ese mismo modelo usa atención multiconsulta, que reduciría la caché a menos de 400 MB. Este cálculo muestra por qué la ventana de contexto anunciada no lo dice todo: la memoria realmente disponible en la máquina cuenta igual.
Por qué es importante
La caché KV está en el centro de la economía de la inferencia. Varias innovaciones buscan reducirla:
- la atención multiconsulta (MQA), propuesta por Noam Shazeer en 2019, comparte un solo par clave-valor entre todas las cabezas de atención;
- la atención agrupada (GQA), publicada por Ainslie y sus coautores en 2023, elige un punto intermedio con unos pocos pares compartidos;
- PagedAttention, presentada en 2023 junto con vLLM, divide la caché en páginas como la memoria virtual de un sistema operativo; sus autores indican un rendimiento entre 2 y 4 veces mayor con la misma latencia.
Esa misma caché es la que reutiliza el almacenamiento en caché del prompt que ofrecen varias API, de ahí las tarifas reducidas para los tokens de entrada repetidos.
Ideas erróneas
- «La caché cambia las respuestas.» En principio da el mismo resultado que un recálculo completo; Hugging Face solo menciona diferencias mínimas debidas a los cálculos numéricos.
- «La memoria son solo los pesos.» Con contextos largos y muchos usuarios simultáneos, la caché puede superar a los pesos.
- «Es la memoria del asistente.» No: la caché KV dura lo que una generación o una sesión técnica. La memoria de un asistente es otra función distinta.
Términos relacionados: contexto largo, VRAM y servidor de inferencia.
Términos relacionados
- Mecanismo de atención · Procedimiento que permite a un modelo ponderar, para cada palabra que procesa, la importancia de todas las demás palabras del texto.
- Ventana de contexto · Cantidad máxima de texto (en tokens) que un modelo puede leer y producir de una sola vez, incluida su propia respuesta.
- Contexto largo · Capacidad de un modelo para procesar de una vez textos muy extensos (libros, repositorios de código) y técnicas que la hacen posible.
- Caché de prompts · Técnica que reutiliza el inicio de un prompt ya procesado por el modelo para responder más rápido y cobrar menos en peticiones repetidas.
- VRAM (memoria de vídeo) · Memoria integrada en la tarjeta gráfica donde debe caber el modelo de IA para funcionar rápido; suele ser lo que limita el uso en local.
- Servidor de inferencia · Software que carga un modelo de IA en memoria y responde a peticiones mediante una API, optimizando el rendimiento y la memoria de la GPU.
Para probar
Todo el glosario
Preguntas frecuentes
¿La caché KV es lo mismo que el almacenamiento en caché del prompt?
Están relacionados, pero no son lo mismo. La caché KV existe en toda generación. El almacenamiento en caché del prompt, que ofrecen algunas API, conserva esa caché entre dos peticiones que empiezan con el mismo texto; por eso los tokens de entrada repetidos pueden cobrarse más baratos.
¿Por qué la caché KV limita en la práctica la longitud del contexto?
Su tamaño crece de forma lineal con el número de tokens y con el número de peticiones atendidas en paralelo. En un servidor, a menudo es ella, más que los pesos, la que decide cuántos usuarios o documentos largos caben en la memoria de la GPU.
¿Se puede reducir su tamaño?
Sí: con la arquitectura del modelo (atención multiconsulta o agrupada), cuantizando la caché o con una gestión de memoria más eficiente, como PagedAttention en vLLM.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.