Decodificación especulativa: que un LLM escriba más rápido sin cambiar sus respuestas

La idea en una frase y luego en detalle

La decodificación especulativa consiste en dejar que un ayudante rápido escriba un borrador que el modelo principal revisa y aprueba de una sola vez.

Un modelo de lenguaje produce normalmente un token cada vez, y cada token exige una pasada completa por el modelo grande. Ese trabajo suele estar limitado por la velocidad de lectura de la memoria más que por la potencia de cálculo: la GPU pasa más tiempo esperando que calculando. La decodificación especulativa aprovecha ese margen:

1. un modelo borrador, pequeño y rápido, propone varios tokens por adelantado;
2. el modelo objetivo evalúa todas esas propuestas en una sola pasada en paralelo;
3. acepta el prefijo más largo compatible con lo que él mismo habría producido, corrige el primer token rechazado y el ciclo vuelve a empezar.

Una regla de muestreo por rechazo garantiza que el resultado sigue exactamente la distribución del modelo grande. La idea la publicaron en noviembre de 2022 Yaniv Leviathan, Matan Kalman y Yossi Matias en el artículo original en arXiv; Chen y sus coautores describieron un método muy parecido, el speculative sampling, en febrero de 2023.

Un ejemplo concreto

El modelo debe completar «La capital de Italia es». El modelo borrador propone «Roma , una ciudad». El modelo grande comprueba los cuatro tokens en una pasada: acepta «Roma» y la coma, pero habría escrito «situada» en lugar de «una». Conserva los dos primeros, sustituye el tercero y empieza un nuevo ciclo. Tres tokens con una sola pasada del modelo grande, en lugar de tres.

Por qué es importante

La latencia es decisiva para los agentes y los asistentes de voz, que encadenan muchas llamadas. Leviathan y sus coautores indican una aceleración de 2 a 3 veces respecto a la implementación estándar T5X, con salidas idénticas; Chen y sus coautores hablan de 2 a 2,5 veces con Chinchilla 70B. La ganancia real depende de la tasa de aceptación: en textos previsibles, como código o un formato repetitivo, el borrador acierta más a menudo. La técnica ya está integrada en servidores de inferencia como vLLM o llama.cpp.

Ideas erróneas

• «El modelo pequeño responde en lugar del grande.» No: solo propone, y el modelo grande tiene siempre la última palabra.
• «Siempre es más rápido.» Si el borrador falla a menudo, o si el servidor ya está saturado de peticiones, la ganancia se reduce e incluso se invierte.
• «Reduce el cálculo total.» Al contrario: se calcula un poco más. Se gana tiempo de espera, no operaciones.

Términos relacionados: inferencia, caché clave-valor y modelo de lenguaje pequeño.