GGUF: el formato de archivo de los modelos de IA en local
GGUF es un formato de archivo que guarda en un solo fichero todo lo necesario para ejecutar un modelo de lenguaje: sus pesos, a menudo comprimidos, y la información para usarlos. Es el formato de referencia para ejecutar modelos abiertos en un ordenador personal.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2023 |
| Introducido por | Georgi Gerganov (llama.cpp) |
La definición
GGUF es un formato de archivo que contiene un modelo de lenguaje completo, listo para cargarse en local.
En la práctica, un archivo GGUF combina dos cosas: metadatos en forma de pares clave-valor (arquitectura, tokenizador, longitud de contexto, tipo de cuantización, etc.) y los tensores, es decir, los parámetros del modelo. La especificación oficial destaca tres objetivos: despliegue en un solo archivo, carga rápida compatible con el memory mapping (mmap) y extensibilidad, para añadir información sin romper los archivos antiguos.
El formato se introdujo en el proyecto llama.cpp de Georgi Gerganov, mediante una contribución integrada en agosto de 2023. Sustituye a los formatos anteriores del ecosistema (GGML, GGMF, GGJT). Eso lo distingue de safetensors, el formato habitual de Hugging Face, que solo guarda los tensores: GGUF incluye también todo el contexto necesario para la ejecución.
Un ejemplo concreto
En el repositorio de un modelo de pesos abiertos suele aparecer una lista de archivos como modelo-8B-Q4_K_M.gguf o modelo-8B-Q8_0.gguf. El sufijo indica el nivel de cuantización. La documentación de Hugging Face describe Q4_K con 4,5 bits por peso: para 8 mil millones de parámetros, el cálculo da 8 × 4,5 ÷ 8 = 4,5 GB de pesos, frente a unos 16 GB en 16 bits. Usted elige el archivo que cabe en su VRAM y lo carga en llama.cpp, LM Studio u Ollama.
Por qué es importante
GGUF hizo práctica la IA local: un solo archivo que descargar, ninguna configuración que reconstruir y variantes cuantizadas para todos los tamaños de equipo. También sirve de formato de entrada para varios servidores de inferencia, lo que permite pasar de una prueba en un portátil a un servicio local accesible por API.
Ideas erróneas
- «GGUF es un método de compresión.» Es un contenedor; puede guardar pesos en 16 bits o pesos muy cuantizados.
- «Todos los tipos valen lo mismo.» La documentación de Hugging Face clasifica algunos tipos, como Q4_0 o Q8_0, como formatos heredados (legacy), en favor de las familias K e IQ.
- «Un archivo GGUF funciona con cualquier programa.» Hace falta un motor que conozca la arquitectura del modelo.
Términos relacionados: cuantización, VRAM, servidor de inferencia e inferencia.
Términos relacionados
- Cuantización · Técnica que guarda los pesos de un modelo con menos bits (8, 4 o incluso menos) para que ocupe mucha menos memoria.
- VRAM (memoria de vídeo) · Memoria integrada en la tarjeta gráfica donde debe caber el modelo de IA para funcionar rápido; suele ser lo que limita el uso en local.
- Modelo de pesos abiertos · Modelo de IA cuyos parámetros entrenados (los «pesos») se pueden descargar, lo que permite ejecutarlo en sus propios equipos.
- Servidor de inferencia · Software que carga un modelo de IA en memoria y responde a peticiones mediante una API, optimizando el rendimiento y la memoria de la GPU.
- Parámetros de un modelo · Números internos que un modelo ajusta durante su entrenamiento; su cantidad indica el tamaño del modelo, no directamente su calidad.
- Inferencia · Momento en que un modelo ya entrenado se usa para producir una respuesta: cada pregunta enviada a una IA desencadena una inferencia.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué significan Q4_K, Q5_K o Q8_0 en el nombre de un archivo GGUF?
Son tipos de cuantización. La cifra indica aproximadamente los bits por peso: la documentación de Hugging Face describe Q4_K con 4,5 bits por peso y Q6_K con unos 6,56 bits. Cuanto más baja es la cifra, más ligero es el archivo, con una pérdida de calidad creciente.
¿Qué programas leen archivos GGUF?
llama.cpp, que creó el formato, y herramientas basadas en él. La documentación de Hugging Face cita, entre otras, LM Studio, GPT4All y Ollama.
¿Se puede convertir un modelo a GGUF?
Sí. llama.cpp incluye scripts de conversión y Hugging Face ofrece una herramienta en línea, gguf-my-repo, que convierte y cuantiza un modelo alojado en su plataforma.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.