Quantification et format GGUF : principe, niveaux (Q4, Q8…), perte de qualité, choix

La quantification réduit la précision numérique des poids d’un modèle pour diminuer leur encombrement, avec un risque de dégradation à mesurer sur vos tâches. Le format GGUF organise les tenseurs et les métadonnées nécessaires à leur chargement : il peut contenir des poids quantifiés ou en précision flottante. Pour choisir entre Q4, Q8 et leurs variantes, examinez ensemble la mémoire disponible, la compatibilité du moteur et la qualité obtenue.

Ce que la quantification change dans un modèle

Les poids sont les valeurs numériques utilisées pendant les calculs du réseau. Quantifier consiste à représenter ces valeurs avec une précision réduite, généralement en regroupant des poids et en conservant des informations permettant de les interpréter. Cette transformation intervient sur leur représentation numérique ; elle ne réécrit pas les connaissances du modèle sous forme de résumé.

L’intérêt pratique est de réduire les ressources nécessaires au stockage et à l’exécution. Le gain de vitesse reste une possibilité, dépendante du matériel et du moteur, plutôt qu’une conséquence automatique. La documentation de llama.cpp présente précisément la quantification comme un compromis entre encombrement, performances et exactitude.

Pour vos comparaisons, distinguez le modèle source du fichier qui le représente. Deux quantifications issues du même modèle permettent d’étudier l’effet de cette transformation. Comparer des fichiers provenant de modèles différents mélange plusieurs facteurs : entraînement, architecture, taille et précision.

Une décision utile commence donc par une contrainte explicite : faire tenir le modèle dans la mémoire disponible, obtenir une réponse assez rapide ou conserver une capacité métier donnée. Sans cette priorité, choisir le fichier le plus petit ou celui portant le nombre le plus élevé reste arbitraire.

Cette page traite principalement de la quantification après entraînement pour l’inférence locale. La documentation officielle de quantification, consultée pour cette édition du 24 octobre 2026, décrit cette conversion et avertit des pertes possibles.

GGUF est un conteneur, pas un niveau de qualité

GGUF décrit comment stocker les données du modèle : métadonnées, description des tenseurs et données numériques. Son organisation permet notamment d’indiquer l’architecture et les informations de tokenisation. Un fichier portant cette extension ne constitue donc pas, à lui seul, une promesse de qualité ou de compatibilité.

La spécification GGUF le présente comme le successeur des anciens formats de fichiers GGML, GGMF et GGJT. Elle prévoit une structure extensible et un chargement compatible avec la projection mémoire. Ces propriétés concernent l’organisation du fichier, indépendamment de la qualité des réponses produites.

Il faut distinguer plusieurs couches :

Couche	Ce qu’elle décrit	Ce qu’elle ne garantit pas
Modèle source	Architecture et poids issus de l’entraînement	Fonctionnement dans votre logiciel
Conteneur GGUF	Organisation des tenseurs et métadonnées	Prise en charge de toute architecture
Encodage des tenseurs	Représentation numérique des poids	Qualité suffisante pour votre tâche
Moteur d’inférence	Chargement et exécution des calculs	Performances identiques sur tout matériel

Pour sélectionner un fichier, consignez ces éléments séparément. Une conversion correctement identifiée reste plus facile à diagnostiquer qu’un téléchargement décrit uniquement par son extension.

La documentation GGUF de Hugging Face explique aussi comment inspecter les métadonnées et les informations sur les tenseurs depuis le Hub. Cet examen permet de confronter le nom annoncé au contenu présenté dans la documentation du format sur le Hub.

Lire les niveaux Q4, Q5, Q6 et Q8

Les désignations comme Q4_0, Q4_K_M ou Q8_0 appartiennent à des familles d’encodage. Le nombre donne une indication de précision, mais ne représente pas nécessairement le nombre moyen exact de bits occupés par chaque paramètre dans le fichier complet.

Les blocs ont aussi besoin d’informations de reconstruction. De plus, une quantification peut conserver certains tenseurs dans un autre type. Le suffixe fait donc partie du choix : remplacer Q4_K_M par la seule mention Q4 retire une information utile.

Le wiki des encodages de tenseurs, consulté le 24 octobre 2026, distingue les formats flottants, les quantifications classiques, les K-quants et les I-quants. Il décrit également l’emploi de variantes et de mélanges.

Désignation	Lecture utile	Encombrement à examiner	Vérification prioritaire
F16 ou BF16	Représentation flottante	Référence plus volumineuse	Type réellement disponible à la source
Q8_0	Quantification à précision relativement élevée	Plus volumineux que les niveaux inférieurs comparables	Gain mesuré face à la référence
Q6_K	Famille K avec précision intermédiaire	Taille effective du fichier	Compatibilité et qualité métier
Q5_K_M	Variante mixte de la famille Q5_K	Répartition des types de tenseurs	Différence avec les fichiers voisins
Q4_K_M	Variante mixte de la famille Q4_K	Budget mémoire complet	Échecs acceptables sur votre usage
Q3_K ou familles IQ	Autres compromis de compression	Variante exacte indispensable	Dégradation et prise en charge

Ce tableau aide à lire les noms ; il ne classe pas universellement les fichiers. Pour choisir, demandez toujours quel résultat justifie l’espace supplémentaire occupé.

Les suffixes et les mélanges comptent

Un fichier décrit comme Q4_K_M n’emploie pas obligatoirement le même encodage pour tous ses tenseurs. Les recettes mixtes permettent de répartir la précision. C’est pourquoi appliquer mécaniquement une proportion au nombre de paramètres donne seulement un ordre de grandeur.

Le code officiel de l’outil de quantification, consulté le 24 octobre 2026, expose les variantes disponibles et les options permettant de choisir le type de certains tenseurs. Il contient aussi des alias : deux désignations affichées peuvent donc renvoyer à la même recette.

Pour comparer des téléchargements, relevez :

• l’identifiant exact du modèle source ;
• la désignation complète de la quantification ;
• les réglages particuliers documentés par le producteur ;
• la taille totale et le découpage éventuel ;
• les conditions dans lesquelles la qualité a été évaluée.

N’utilisez pas les lettres des suffixes comme une échelle valable pour tous les modèles et tous les outils. Leur interprétation doit rester attachée à la recette concernée.

Une bonne fiche de comparaison laisse aussi une place aux inconnues. Si le producteur ne précise pas ses réglages, inscrivez cette absence plutôt que de supposer une conversion standard. À performances proches, une provenance reproductible constitue un critère de sélection utile : elle facilite les mises à jour et l’analyse d’une régression.

La perte de qualité se mesure par tâche

Il n’existe pas de pourcentage universel de qualité conservée par Q4 ou Q8. Définir un tel pourcentage demanderait de préciser une métrique, un corpus, un modèle et une procédure. Un score global ne répond pas nécessairement à votre besoin.

La perplexité mesure la capacité à attribuer des probabilités au texte d’un corpus. Une comparaison de distributions peut également renseigner sur l’écart numérique. Ces mesures techniques ne remplacent pas une évaluation du résultat attendu : extraction correcte, programme fonctionnel ou réponse appuyée sur les documents fournis.

Construisez votre grille autour de décisions observables. Pour une extraction documentaire, vérifiez les champs présents, les valeurs et le traitement des informations manquantes. Pour du code, examinez l’exécution et les tests utiles. Pour un assistant avec outils, contrôlez le choix de l’action et ses arguments.

Séparez aussi les erreurs selon leurs conséquences. Une reformulation moins élégante et une référence de facture incorrecte n’ont pas le même coût. Une moyenne qui les additionne sans distinction peut masquer le problème qui compte pour vous.

Les fiches des modèles permettent d’identifier les candidats ; le labo des benchmarks aide à interpréter leurs évaluations. Les scores du modèle source doivent toutefois rester distincts des résultats obtenus avec votre fichier quantifié et votre configuration.

La calibration aide, sans certifier le résultat

Une matrice d’importance, souvent appelée imatrix, peut guider la quantification à partir de données de calibration. L’outil observe le modèle sur un corpus pour produire des informations utilisées pendant la conversion.

La documentation officielle de llama-imatrix, consultée le 24 octobre 2026, décrit ce mécanisme et son emploi pour améliorer la qualité des modèles quantifiés. La présence d’une imatrix indique une méthode de production ; elle ne certifie pas un résultat sur toutes les tâches.

Pour votre sélection, demandez quelle relation existe entre le corpus de calibration et l’usage prévu. Un assistant consacré à des documents techniques en français doit être évalué sur ces documents, même si sa conversion a utilisé un corpus généraliste.

Conservez surtout une séparation entre calibration et évaluation. Employer les mêmes exemples pour préparer puis départager les conversions rend la comparaison moins informative. Gardez des cas représentatifs qui n’ont pas servi à orienter les réglages.

Si vous produisez vos fichiers, documentez le corpus utilisé, son origine et les transformations appliquées. S’il contient des documents internes, traitez cette étape comme une opération sur ces données, avec les mêmes exigences de stockage et d’accès.

À l’inverse, ne rejetez pas automatiquement une conversion parce que sa présentation ne met pas en avant une calibration. Demandez des résultats reproductibles et adaptés à votre usage.

Prévoir la mémoire au-delà du fichier

La taille téléchargée n’est pas un budget complet de fonctionnement. Il faut aussi considérer les ressources de l’exécution, le contexte traité et les autres programmes actifs. La VRAM disponible pour le modèle peut différer de la capacité nominale annoncée pour le matériel.

Pour les architectures qui utilisent un cache de clés et valeurs, ce cache représente une autre composante à examiner. Quantifier les poids ne signifie pas que le cache adopte le même type numérique.

La documentation du serveur llama.cpp, consultée le 24 octobre 2026, expose séparément les réglages du contexte, du cache et du placement de calcul. Cette séparation explique pourquoi deux exécutions du même fichier peuvent avoir des besoins différents.

Préparez un budget comportant :

• les poids chargés sur chaque espace mémoire ;
• le cache associé au contexte et aux sessions ;
• les buffers de calcul et les composants supplémentaires ;
• les ressources nécessaires au système et aux autres applications.

Le calculateur de mémoire pour LLM sert à préparer une estimation. Validez ensuite cette estimation avec le contexte et la concurrence réellement prévus.

Pour la méthode matérielle complète, consultez le guide du LLM en local. Évitez de dimensionner une machine sur le seul succès d’un chargement : votre essai doit inclure une requête représentative et une réponse complète, puis vérifier la mémoire encore disponible.

Un fichier plus petit ne garantit pas une réponse plus rapide

La vitesse dépend du chemin de calcul effectivement utilisé. Le processeur, l’accélérateur, les transferts et les implémentations des opérations interviennent dans le résultat. Le nom de la quantification ne suffit pas à déduire un débit.

Distinguez la lecture du prompt de la génération. Un usage documentaire avec une longue entrée sollicite un profil différent d’une conversation courte. Votre comparaison doit refléter cette différence.

L’outil llama-bench et sa documentation séparent le traitement du prompt, la génération et leurs combinaisons. Il permet de répéter les mesures et de faire varier des paramètres d’exécution ; ces possibilités sont documentées dans la source consultée le 24 octobre 2026.

Pour votre relevé, notez le temps avant le premier résultat, le débit de génération, la mémoire maximale et le temps total d’une tâche réussie. Conservez aussi la configuration matérielle et logicielle.

Le dernier critère évite un choix trompeur : une réponse rapide qui doit être recommencée peut être moins utile qu’une réponse légèrement plus lente mais correcte. Définissez donc la réussite avant de comparer les chronomètres.

L’article consacré au choix d’un GPU pour un LLM complète cette lecture matérielle. Un chiffre publié sur une autre machine peut orienter un essai, mais votre décision doit reposer sur un protocole adapté à votre équipement.

Choisir une quantification avec un protocole simple

Avant de commencer, préparez un modèle source identifié, des fichiers comparables, un moteur compatible et un jeu de tâches avec des réponses ou critères attendus. Fixez également votre limite de mémoire et le délai acceptable.

1. Établissez une référence. Utilisez la précision la plus élevée accessible dans des conditions praticables. Si elle ne fonctionne pas sur votre machine, indiquez cette limite et évitez de présenter votre comparaison comme une mesure exhaustive.
2. Comparez des variantes du même modèle. Gardez les instructions, le contexte et les réglages de génération aussi constants que possible.
3. Mesurez la qualité avant le confort. Éliminez les fichiers qui échouent sur les critères indispensables, même si leur encombrement est attractif.
4. Mesurez les ressources. Relevez mémoire et latence sur les cas courts comme sur les cas représentatifs les plus exigeants.
5. Retenez un compromis documenté. Archivez le fichier choisi, son origine et les résultats qui justifient votre décision.

Une stratégie pratique consiste à essayer une variante Q4_K_M puis une variante plus précise compatible, sans supposer d’avance laquelle conviendra. Si le résultat reste insuffisant, envisagez aussi un autre modèle au lieu de multiplier uniquement les précisions.

Le guide pour choisir un modèle de langage aide à élargir cette décision. Comparer un petit modèle plus précis à un grand modèle davantage compressé constitue une autre expérience, à mener avec les mêmes critères métier.

Problèmes fréquents et vérifications finales

Le fichier ne se charge pas. Vérifiez son intégrité, les éventuelles parties manquantes et la compatibilité annoncée avec le moteur. Une extension reconnue n’établit pas que l’architecture et tous les encodages employés sont pris en charge.

Les réponses sont incohérentes. Reprenez d’abord les entrées exactes, les instructions et le format de conversation attendu. Comparez ensuite une variante plus précise du même modèle. Changer simultanément le modèle et les réglages empêche d’isoler la cause.

La mémoire manque pendant une requête. Reproduisez le problème avec le contexte et la concurrence prévus. Examinez les allocations de l’exécution avant de télécharger systématiquement une quantification plus petite.

La qualité varie entre deux conversions. Vérifiez la provenance, les réglages et la procédure d’évaluation. N’attribuez pas automatiquement l’écart au seul label affiché dans le nom.

Pour la mise en pratique générale, l’article Faire tourner un LLM en local complète ce guide avec un angle consacré au déploiement.

Avant de conserver une configuration :

• Le modèle source, sa licence et la provenance du fichier sont identifiés.
• La quantification complète et les réglages disponibles sont consignés.
• La qualité est évaluée sur des tâches distinctes de la calibration.
• La mémoire et la latence sont mesurées dans les conditions prévues.
• Les échecs acceptables et les motifs de rejet sont explicites.

Le choix durable est celui que vous pouvez expliquer et reproduire : un fichier compatible, un budget mémoire vérifié et une qualité suffisante pour les tâches autorisées.

Pages liées

• Ollama
• LM Studio
• Hugging Face

Questions fréquentes

Un fichier GGUF est-il forcément quantifié ?

Non. GGUF est un format de fichier qui peut contenir des tenseurs en précision flottante ou sous différents encodages quantifiés. Consultez les types des tenseurs et la documentation du fichier pour connaître sa précision effective.

Peut-on retrouver le modèle original en passant de Q4 à Q8 ?

Augmenter la précision de stockage ne reconstitue pas les informations éliminées. Pour obtenir une autre quantification, repartez des poids sources en haute précision plutôt que d'une copie déjà fortement quantifiée.

Pourquoi deux fichiers Q4_K_M du même modèle ont-ils des tailles différentes ?

Le nom seul ne décrit pas tous les réglages de conversion. Des choix différents concernant certains tenseurs, les métadonnées ou le découpage peuvent modifier le résultat ; vérifiez aussi qu'il s'agit exactement du même modèle source.

Q8 garantit-il les mêmes réponses que le modèle original ?

Non. Une faible différence numérique peut changer le token sélectionné, puis la suite de la réponse. La proximité doit être évaluée sur des tâches et des critères explicites, plutôt que sur une égalité mot à mot.

Faut-il quantifier soi-même pour utiliser un modèle local ?

Vous pouvez commencer par un fichier déjà converti, dont la provenance et les réglages sont documentés. Produire votre propre quantification devient utile pour contrôler la chaîne de conversion ou comparer des réglages absents des fichiers disponibles.