Cuantización: hacer que un modelo de IA quepa en menos memoria

La idea en una frase y luego en detalle

Cuantizar consiste en escribir los números de un modelo de IA con menos cifras para que ocupe menos espacio.

Un gran modelo de lenguaje es una enorme tabla de números decimales llamados parámetros o pesos. Normalmente se guardan en 16 bits (bfloat16 o float16), es decir, 2 bytes por parámetro. La cuantización los convierte a un formato más corto: 8 bits, 4 bits y a veces 3 o 2. Hay dos grandes familias:

• la cuantización posterior al entrenamiento (PTQ), que se aplica a un modelo terminado sin reentrenarlo; GPTQ, AWQ o los formatos de llama.cpp pertenecen a ella;
• el entrenamiento consciente de la cuantización (QAT), en el que el modelo aprende desde el entrenamiento a tolerar la pérdida de precisión.

Los métodos actuales trabajan por bloques: un pequeño grupo de pesos comparte un factor de escala, lo que limita el error. También tratan aparte los valores atípicos, escasos pero capaces de estropear todo el cálculo si se redondean sin cuidado.

Un ejemplo con cifras

La documentación de Hugging Face propone una regla sencilla: en 16 bits, un modelo de X mil millones de parámetros necesita unos 2 × X GB de VRAM solo para sus pesos. Un modelo de 15 mil millones de parámetros exige, por tanto, unos 30 GB, más de lo que ofrece una tarjeta gráfica doméstica. En la misma guía, ese modelo baja a unos 15 GB en 8 bits y a algo más de 9 GB en 4 bits, con una respuesta casi idéntica en el ejemplo mostrado.

Por qué es importante

Es la técnica que hizo viable la IA local. Dos artículos de 2022 marcaron el camino: LLM.int8(), de Tim Dettmers y sus coautores, que reduce a la mitad la memoria de inferencia sin pérdida medida en sus pruebas, y GPTQ, que baja a 3 o 4 bits por peso. Hoy muchos modelos de pesos abiertos se distribuyen en versiones cuantizadas, a menudo en formato GGUF. Para un proveedor de API, menos memoria por modelo significa además más peticiones atendidas por máquina.

Ideas erróneas

• «Cuantizado quiere decir estropeado.» Los artículos de referencia indican una pérdida insignificante en 8 bits y pequeña en 4 bits. Por debajo, la degradación se nota y cada modelo reacciona de forma distinta.
• «Siempre es más rápido.» La ganancia principal es la memoria; la velocidad depende de los núcleos de cálculo y de la tarjeta.
• «Solo se cuantizan los pesos.» La caché clave-valor y las activaciones también pueden cuantizarse.
• «No se puede ajustar un modelo cuantizado.» QLoRA (2023) combina precisamente la cuantización en 4 bits con LoRA para ajustar modelos grandes en una sola GPU.

Términos relacionados: VRAM, formato GGUF, LoRA, caché clave-valor e inferencia.