GGUF : le format de fichier des modèles d'IA en local
GGUF est un format de fichier qui range dans un seul fichier tout ce qu'il faut pour faire tourner un modèle de langage : ses poids, souvent compressés, et les informations pour les utiliser. C'est le format de référence pour exécuter des modèles ouverts sur un ordinateur personnel.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2023 |
| Introduit par | Georgi Gerganov (llama.cpp) |
La définition
GGUF est un format de fichier qui contient un modèle de langage complet, prêt à être chargé en local.
Concrètement, un fichier GGUF associe deux choses : des métadonnées sous forme de paires clé-valeur (architecture, tokenizer, longueur de contexte, type de quantification, etc.) et les tenseurs, c’est-à-dire les paramètres du modèle. La spécification officielle insiste sur trois objectifs : un déploiement en un seul fichier, un chargement rapide compatible avec le memory mapping (mmap), et une extensibilité qui permet d’ajouter des informations sans casser les anciens fichiers.
Le format a été introduit dans le projet llama.cpp de Georgi Gerganov, par une contribution fusionnée en août 2023. Il remplace les formats précédents de l’écosystème (GGML, GGMF, GGJT). C’est ce qui le distingue de safetensors, le format courant de Hugging Face, qui ne stocke que les tenseurs : GGUF embarque aussi tout le contexte nécessaire à l’exécution.
Un exemple concret
Sur un dépôt de modèle ouvert, vous trouvez souvent une liste de fichiers comme modele-8B-Q4_K_M.gguf ou modele-8B-Q8_0.gguf. Le suffixe désigne le niveau de quantification. La documentation de Hugging Face décrit par exemple Q4_K à 4,5 bits par poids : pour 8 milliards de paramètres, cela donne 8 × 4,5 ÷ 8 = 4,5 Go de poids, contre environ 16 Go en 16 bits. Vous choisissez le fichier qui tient dans votre VRAM, puis vous le chargez dans llama.cpp, LM Studio ou Ollama.
Pourquoi ça compte
GGUF a rendu l’IA locale pratique : un seul fichier à télécharger, aucune configuration à reconstituer, et des variantes quantifiées pour toutes les tailles de machine. Il sert aussi de format d’entrée à plusieurs serveurs d’inférence, ce qui permet de passer d’un test sur un portable à un service local accessible par API.
Idées reçues
- « GGUF est une méthode de compression. » C’est un conteneur ; il peut stocker des poids en 16 bits comme des poids fortement quantifiés.
- « Tous les types se valent. » La documentation de Hugging Face classe certains types, comme Q4_0 ou Q8_0, parmi les formats hérités (legacy), au profit des familles K et IQ.
- « Un fichier GGUF marche avec n’importe quel logiciel. » Il faut un moteur qui connaît l’architecture du modèle.
Termes voisins : quantification, VRAM, serveur d’inférence, inférence.
Termes liés
- Quantification · Technique qui stocke les poids d'un modèle avec moins de bits (8, 4, voire moins) pour qu'il occupe beaucoup moins de mémoire.
- VRAM (mémoire vidéo) · Mémoire intégrée à la carte graphique, où le modèle d'IA doit tenir pour tourner vite : c'est souvent elle qui limite ce que l'on peut faire en local.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
- Serveur d'inférence · Logiciel qui charge un modèle d'IA en mémoire et répond aux requêtes via une API, en optimisant le débit et la mémoire du GPU.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
À essayer
Tout le glossaire
Questions fréquentes
Que signifient Q4_K, Q5_K ou Q8_0 dans le nom d'un fichier GGUF ?
Ce sont des types de quantification. Le chiffre indique à peu près le nombre de bits par poids : la documentation de Hugging Face décrit Q4_K à 4,5 bits par poids et Q6_K à environ 6,56 bits. Plus le chiffre est bas, plus le fichier est léger, avec une perte de qualité qui augmente.
Quels logiciels lisent les fichiers GGUF ?
llama.cpp, qui a créé le format, ainsi que des outils qui s'appuient sur lui. La documentation de Hugging Face cite notamment LM Studio, GPT4All et Ollama.
Peut-on convertir un modèle en GGUF ?
Oui. llama.cpp fournit des scripts de conversion, et Hugging Face propose un outil en ligne, gguf-my-repo, qui convertit et quantifie un modèle hébergé sur sa plateforme.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.