Cuantización y formato GGUF: principios, niveles (Q4, Q8…), pérdida de calidad y elección

La cuantización reduce la precisión numérica de los pesos de un modelo para que ocupen menos espacio, con un riesgo de pérdida de calidad que debe medir en sus tareas. El formato GGUF organiza los tensores y los metadatos necesarios para cargarlos: puede contener pesos cuantizados o en precisión de coma flotante. Para elegir entre Q4, Q8 y sus variantes, valore de forma conjunta la memoria disponible, la compatibilidad del motor y la calidad de los resultados.

Qué cambia la cuantización en un modelo

Los pesos son los valores numéricos que se utilizan durante los cálculos de la red. Cuantizar consiste en representar esos valores con una precisión reducida, normalmente agrupando pesos y conservando información que permite interpretarlos. Esta transformación modifica su representación numérica; no reescribe los conocimientos del modelo en forma de resumen.

Su utilidad práctica consiste en reducir los recursos necesarios para almacenar y ejecutar el modelo. La mejora de velocidad es una posibilidad que depende del hardware y del motor, no una consecuencia automática. La documentación de llama.cpp presenta la cuantización precisamente como un compromiso entre espacio ocupado, rendimiento y exactitud.

Al comparar, distinga entre el modelo de origen y el archivo que lo representa. Dos cuantizaciones del mismo modelo permiten estudiar el efecto de esta transformación. Comparar archivos procedentes de modelos diferentes mezcla varios factores: entrenamiento, arquitectura, tamaño y precisión.

Por eso, una decisión útil empieza por una necesidad concreta: que el modelo quepa en la memoria disponible, que responda con suficiente rapidez o que conserve una capacidad necesaria para su trabajo. Sin esa prioridad, elegir el archivo más pequeño o el que lleve el número más alto resulta arbitrario.

Esta página se centra en la cuantización posterior al entrenamiento para la inferencia local. La documentación oficial de cuantización, consultada para esta edición del 24 de octubre de 2026, describe esta conversión y advierte de las posibles pérdidas.

GGUF es un contenedor, no un nivel de calidad

GGUF define cómo se almacenan los datos del modelo: metadatos, descripción de los tensores y datos numéricos. Su organización permite indicar, entre otros elementos, la arquitectura y la información de tokenización. Por tanto, que un archivo tenga esta extensión no garantiza por sí solo su calidad ni su compatibilidad.

La especificación de GGUF lo presenta como el sucesor de los antiguos formatos de archivo GGML, GGMF y GGJT. Contempla una estructura extensible y una carga compatible con el mapeo de memoria. Estas propiedades se refieren a la organización del archivo, independientemente de la calidad de las respuestas que produzca el modelo.

Conviene distinguir varias capas:

Capa	Qué describe	Qué no garantiza
Modelo de origen	Arquitectura y pesos obtenidos durante el entrenamiento	Funcionamiento en su software
Contenedor GGUF	Organización de los tensores y los metadatos	Compatibilidad con cualquier arquitectura
Codificación de los tensores	Representación numérica de los pesos	Calidad suficiente para su tarea
Motor de inferencia	Carga y ejecución de los cálculos	Rendimiento idéntico en cualquier hardware

Para seleccionar un archivo, registre estos elementos por separado. Una conversión bien identificada facilita el diagnóstico de problemas frente a una descarga descrita únicamente por su extensión.

La documentación sobre GGUF de Hugging Face también explica cómo inspeccionar los metadatos y la información de los tensores desde el Hub. Esta revisión permite contrastar el nombre anunciado con el contenido que se muestra, siguiendo la documentación del formato en el Hub.

Cómo interpretar los niveles Q4, Q5, Q6 y Q8

Las denominaciones como Q4_0, Q4_K_M o Q8_0 pertenecen a familias de codificación. El número orienta sobre la precisión, pero no representa necesariamente la cantidad media exacta de bits que ocupa cada parámetro en el archivo completo.

Los bloques también necesitan información para reconstruir los valores. Además, una cuantización puede conservar ciertos tensores en otro tipo de datos. Por eso, el sufijo forma parte de la elección: sustituir Q4_K_M por la simple mención Q4 elimina información útil.

La wiki sobre codificaciones de tensores, consultada el 24 de octubre de 2026, distingue los formatos de coma flotante, las cuantizaciones clásicas, las K-quants y las I-quants. También describe el uso de variantes y combinaciones.

Denominación	Cómo interpretarla	Espacio ocupado que debe revisar	Comprobación prioritaria
F16 o BF16	Representación de coma flotante	Referencia de mayor tamaño	Tipo disponible realmente en el modelo de origen
Q8_0	Cuantización de precisión relativamente alta	Mayor tamaño que los niveles inferiores comparables	Mejora medida frente a la referencia
Q6_K	Familia K con precisión intermedia	Tamaño efectivo del archivo	Compatibilidad y calidad para su trabajo
Q5_K_M	Variante mixta de la familia Q5_K	Distribución de los tipos de tensores	Diferencia respecto a los archivos de niveles cercanos
Q4_K_M	Variante mixta de la familia Q4_K	Necesidades totales de memoria	Fallos aceptables para su uso
Q3_K o familias IQ	Otras opciones de compresión	Es imprescindible conocer la variante exacta	Pérdida de calidad y compatibilidad

Esta tabla ayuda a interpretar los nombres; no establece una clasificación universal de los archivos. Para elegir, determine siempre qué mejora en los resultados justifica el espacio adicional.

Los sufijos y las combinaciones importan

Un archivo descrito como Q4_K_M no utiliza necesariamente la misma codificación para todos sus tensores. Las configuraciones mixtas permiten distribuir la precisión. Por eso, aplicar de forma mecánica una proporción al número de parámetros solo proporciona una estimación aproximada.

El código oficial de la herramienta de cuantización, consultado el 24 de octubre de 2026, muestra las variantes disponibles y las opciones para elegir el tipo de determinados tensores. También incluye alias: dos denominaciones distintas pueden corresponder a la misma configuración.

Para comparar las descargas, anote:

• el identificador exacto del modelo de origen;
• la denominación completa de la cuantización;
• los ajustes específicos documentados por quien haya generado el archivo;
• el tamaño total y la posible división en partes;
• las condiciones en las que se haya evaluado la calidad.

No interprete las letras de los sufijos como una escala válida para todos los modelos y todas las herramientas. Su significado debe vincularse siempre a la configuración concreta.

Una buena ficha comparativa también debe reflejar lo que se desconoce. Si quien publica el archivo no detalla los ajustes, registre esa ausencia en lugar de dar por hecha una conversión estándar. Cuando el rendimiento es similar, una procedencia que permita reproducir la conversión resulta útil para elegir: facilita las actualizaciones y el análisis de una regresión.

La pérdida de calidad se mide por tarea

No existe un porcentaje universal de calidad conservada con Q4 o Q8. Para definirlo habría que especificar una métrica, un corpus, un modelo y un procedimiento. Una puntuación global no responde necesariamente a sus necesidades.

La perplejidad mide la capacidad de asignar probabilidades al texto de un corpus. Comparar distribuciones también puede aportar información sobre la diferencia numérica. Estas medidas técnicas no sustituyen la evaluación del resultado esperado: una extracción correcta, un programa que funcione o una respuesta sustentada en los documentos proporcionados.

Diseñe su evaluación en torno a decisiones observables. Para extraer información de documentos, compruebe los campos presentes, los valores y el tratamiento de los datos ausentes. Si trabaja con código, examine su ejecución y las pruebas pertinentes. En un asistente con herramientas, revise la acción elegida y sus argumentos.

Distinga también los errores según sus consecuencias. Una redacción menos elegante y una referencia de factura incorrecta no tienen el mismo costo. Una media que los agrupe sin diferenciarlos puede ocultar el problema que más le afecta.

Las fichas de modelos permiten identificar candidatos; el laboratorio de benchmarks ayuda a interpretar sus evaluaciones. Aun así, las puntuaciones del modelo de origen deben mantenerse separadas de los resultados obtenidos con su archivo cuantizado y su configuración.

La calibración ayuda, pero no certifica el resultado

Una matriz de importancia, a menudo llamada imatrix, puede orientar la cuantización a partir de datos de calibración. La herramienta observa el comportamiento del modelo sobre un corpus para generar información que se utiliza durante la conversión.

La documentación oficial de llama-imatrix, consultada el 24 de octubre de 2026, describe este mecanismo y su uso para mejorar la calidad de los modelos cuantizados. La presencia de una imatrix indica un método de producción; no certifica los resultados en todas las tareas.

Al seleccionar un archivo, examine la relación entre el corpus de calibración y el uso previsto. Un asistente dedicado a documentos técnicos en francés debe evaluarse con esos documentos, aunque su conversión haya utilizado un corpus de carácter general.

Mantenga, sobre todo, una separación entre calibración y evaluación. Utilizar los mismos ejemplos para preparar las conversiones y después compararlas reduce el valor informativo de la comparación. Reserve casos representativos que no hayan servido para orientar los ajustes.

Si genera sus propios archivos, documente el corpus utilizado, su procedencia y las transformaciones aplicadas. Si contiene documentos internos, trate esta fase como una operación sobre esos datos, con los mismos requisitos de almacenamiento y acceso.

Tampoco descarte automáticamente una conversión porque su descripción no destaque el uso de calibración. Busque resultados reproducibles y adecuados para su caso de uso.

Calcule la memoria necesaria más allá del archivo

El tamaño de la descarga no representa toda la memoria necesaria para utilizar el modelo. También debe considerar los recursos de ejecución, el contexto procesado y los demás programas activos. La VRAM disponible para el modelo puede diferir de la capacidad nominal anunciada para el hardware.

En las arquitecturas que utilizan una caché de claves y valores, esa caché es otro componente que debe examinar. Cuantizar los pesos no significa que la caché adopte el mismo tipo numérico.

La documentación del servidor de llama.cpp, consultada el 24 de octubre de 2026, presenta por separado los ajustes de contexto, caché y distribución del cálculo. Esta separación explica por qué dos ejecuciones del mismo archivo pueden tener necesidades diferentes.

Prepare una estimación que incluya:

• los pesos cargados en cada espacio de memoria;
• la caché asociada al contexto y a las sesiones;
• los búferes de cálculo y los componentes adicionales;
• los recursos necesarios para el sistema y las demás aplicaciones.

La calculadora de memoria para LLM permite preparar una estimación. Después, valídela con el contexto y las solicitudes simultáneas que realmente prevea utilizar.

Para conocer el procedimiento completo de selección de hardware, consulte la guía de LLM en local. Evite dimensionar un equipo basándose únicamente en que el modelo se haya cargado correctamente: la prueba debe incluir una solicitud representativa y una respuesta completa, seguida de una comprobación de la memoria que queda disponible.

Un archivo más pequeño no garantiza una respuesta más rápida

La velocidad depende de cómo se ejecuten realmente los cálculos. El procesador, el acelerador, las transferencias y las implementaciones de las operaciones influyen en el resultado. El nombre de la cuantización no basta para deducir la velocidad de procesamiento.

Distinga el procesamiento del prompt de la generación. Trabajar con documentos y entradas largas exige un perfil de uso distinto al de una conversación breve. Su comparación debe reflejar esa diferencia.

La herramienta llama-bench y su documentación separan el procesamiento del prompt, la generación y sus combinaciones. Permite repetir las mediciones y variar los parámetros de ejecución; estas posibilidades están documentadas en la fuente consultada el 24 de octubre de 2026.

En sus mediciones, anote el tiempo hasta el primer resultado, la velocidad de generación, el consumo máximo de memoria y el tiempo total necesario para completar correctamente una tarea. Conserve también la configuración de hardware y software.

El último criterio evita una elección engañosa: una respuesta rápida que obliga a repetir la tarea puede ser menos útil que otra ligeramente más lenta pero correcta. Defina, por tanto, qué considera un resultado satisfactorio antes de comparar los tiempos.

El artículo sobre cómo elegir una GPU para un LLM amplía este análisis del hardware. Una cifra publicada para otro equipo puede orientar una prueba, pero su decisión debe basarse en un procedimiento adaptado al suyo.

Cómo elegir una cuantización con un procedimiento sencillo

Antes de empezar, prepare un modelo de origen identificado, archivos comparables, un motor compatible y un conjunto de tareas con las respuestas o los criterios esperados. Fije también su límite de memoria y el tiempo de respuesta aceptable.

1. Establezca una referencia. Utilice la precisión más alta que pueda ejecutar en condiciones viables. Si no funciona en su equipo, indique esa limitación y evite presentar la comparación como una medición exhaustiva.
2. Compare variantes del mismo modelo. Mantenga las instrucciones, el contexto y los ajustes de generación tan constantes como sea posible.
3. Mida la calidad antes de valorar la comodidad de uso. Descarte los archivos que no cumplan los criterios indispensables, aunque ocupen poco espacio.
4. Mida los recursos. Registre la memoria y la latencia tanto en los casos breves como en los casos representativos más exigentes.
5. Elija un compromiso documentado. Archive el archivo seleccionado, su procedencia y los resultados que justifican la decisión.

Una estrategia práctica consiste en probar una variante Q4_K_M y después otra compatible de mayor precisión, sin dar por hecho cuál será la adecuada. Si el resultado sigue siendo insuficiente, considere también otro modelo en lugar de limitarse a probar más niveles de precisión.

La guía para elegir un modelo de lenguaje ayuda a ampliar esta decisión. Comparar un modelo pequeño de mayor precisión con uno grande más comprimido es otro experimento, que debe realizarse con los mismos criterios de trabajo.

Problemas frecuentes y comprobaciones finales

El archivo no se carga. Compruebe su integridad, si faltan partes y la compatibilidad anunciada con el motor. Que la extensión sea reconocida no demuestra que la arquitectura y todas las codificaciones utilizadas sean compatibles.

Las respuestas son incoherentes. Revise primero las entradas exactas, las instrucciones y el formato de conversación esperado. Después, compare una variante de mayor precisión del mismo modelo. Cambiar a la vez el modelo y los ajustes impide aislar la causa.

La memoria se agota durante una solicitud. Reproduzca el problema con el contexto y las solicitudes simultáneas previstos. Examine las asignaciones de memoria durante la ejecución antes de recurrir sistemáticamente a una cuantización más pequeña.

La calidad cambia entre dos conversiones. Compruebe la procedencia, los ajustes y el procedimiento de evaluación. No atribuya automáticamente la diferencia a la etiqueta que aparece en el nombre.

Para la puesta en práctica general, el artículo Ejecutar un LLM en local complementa esta guía desde la perspectiva del despliegue.

Antes de dar por definitiva una configuración:

• El modelo de origen, su licencia y la procedencia del archivo están identificados.
• La denominación completa de la cuantización y los ajustes disponibles están registrados.
• La calidad se evalúa con tareas distintas de las utilizadas para la calibración.
• La memoria y la latencia se miden en las condiciones previstas.
• Los fallos aceptables y los motivos de descarte están definidos de forma explícita.

Una elección sostenible es la que puede explicar y reproducir: un archivo compatible, unas necesidades de memoria verificadas y una calidad suficiente para las tareas autorizadas.

Páginas relacionadas

• Ollama
• LM Studio
• Hugging Face

Preguntas frecuentes

¿Un archivo GGUF siempre está cuantizado?

No. GGUF es un formato de archivo que puede contener tensores en precisión de coma flotante o con distintas codificaciones cuantizadas. Consulte los tipos de los tensores y la documentación del archivo para conocer su precisión efectiva.

¿Se puede recuperar el modelo original pasando de Q4 a Q8?

Aumentar la precisión de almacenamiento no recupera la información eliminada. Para obtener otra cuantización, utilice los pesos originales en alta precisión en lugar de una copia que ya se haya cuantizado de forma agresiva.

¿Por qué dos archivos Q4_K_M del mismo modelo tienen tamaños distintos?

El nombre por sí solo no describe todos los ajustes de conversión. Las decisiones sobre determinados tensores, los metadatos o la división en partes pueden modificar el resultado; compruebe también que ambos proceden exactamente del mismo modelo.

¿Q8 garantiza las mismas respuestas que el modelo original?

No. Una pequeña diferencia numérica puede cambiar el token seleccionado y, a partir de ahí, el resto de la respuesta. La similitud debe evaluarse con tareas y criterios explícitos, en lugar de exigir respuestas idénticas palabra por palabra.

¿Es necesario cuantizar un modelo para utilizarlo en local?

Puede empezar con un archivo ya convertido cuya procedencia y configuración estén documentadas. Crear su propia cuantización resulta útil para controlar el proceso de conversión o comparar ajustes que no ofrecen los archivos disponibles.