Quantification : faire tenir un modèle d'IA dans moins de mémoire
La quantification range les nombres d'un modèle d'IA dans des cases plus petites, par exemple 4 bits au lieu de 16, pour qu'il occupe beaucoup moins de mémoire. C'est la technique qui permet de faire tourner un modèle ouvert sur un ordinateur personnel.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
L’idée en une phrase, puis en détail
La quantification consiste à écrire les nombres d’un modèle d’IA avec moins de chiffres, pour qu’il prenne moins de place.
Un grand modèle de langage est un immense tableau de nombres décimaux, ses paramètres ou poids. Ils sont le plus souvent stockés en 16 bits (bfloat16 ou float16), soit 2 octets par paramètre. Quantifier, c’est les convertir vers un format plus court : 8 bits, 4 bits, parfois 3 ou 2. On distingue deux familles :
- la quantification après entraînement (PTQ), appliquée à un modèle terminé, sans le réentraîner : GPTQ, AWQ ou les formats de llama.cpp en font partie ;
- l’entraînement conscient de la quantification (QAT), où le modèle apprend dès l’entraînement à tolérer la perte de précision.
Les méthodes actuelles travaillent par blocs : un petit groupe de poids partage un facteur d’échelle, ce qui limite l’erreur. Elles isolent aussi les valeurs aberrantes, rares mais capables de fausser tout le calcul si on les arrondit grossièrement.
Un exemple chiffré
La documentation de Hugging Face donne une règle simple : en 16 bits, un modèle de X milliards de paramètres demande environ 2 × X Go de VRAM rien que pour ses poids. Un modèle de 15 milliards de paramètres réclame donc une trentaine de gigaoctets, hors de portée d’une carte graphique grand public. Dans le même guide, ce modèle descend à environ 15 Go en 8 bits, puis à un peu plus de 9 Go en 4 bits, avec une réponse presque identique sur l’exemple présenté.
Pourquoi ça compte
C’est la technique qui a rendu l’IA locale réaliste. Deux articles de 2022 ont marqué le sujet : LLM.int8() de Tim Dettmers et ses coauteurs, qui divise par deux la mémoire d’inférence sans perte mesurée sur leurs tests, et GPTQ, qui descend à 3 ou 4 bits par poids. Une grande partie des modèles à poids ouverts circule aujourd’hui en versions quantifiées, souvent au format GGUF. Pour un fournisseur d’API, moins de mémoire par modèle signifie aussi plus de requêtes servies par machine.
Idées reçues
- « Quantifié veut dire dégradé. » Les articles de référence rapportent une perte négligeable à 8 bits et faible à 4 bits. En dessous, la dégradation devient visible, et chaque modèle réagit différemment.
- « C’est forcément plus rapide. » Le gain principal est la mémoire ; la vitesse dépend des noyaux de calcul et de la carte.
- « Seuls les poids sont concernés. » Le cache clé-valeur et les activations peuvent aussi être quantifiés.
- « On ne peut pas affiner un modèle quantifié. » QLoRA (2023) combine justement la quantification 4 bits et LoRA pour affiner un modèle sur un seul GPU.
Termes voisins : VRAM, format GGUF, LoRA, cache clé-valeur et inférence.
Termes liés
- VRAM (mémoire vidéo) · Mémoire intégrée à la carte graphique, où le modèle d'IA doit tenir pour tourner vite : c'est souvent elle qui limite ce que l'on peut faire en local.
- GGUF (format de modèle) · Format de fichier unique qui regroupe les poids d'un modèle, souvent quantifiés, et ses métadonnées, pour l'exécuter en local avec llama.cpp et ses dérivés.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
- LoRA (adaptation de faible rang) · Méthode d'affinage qui gèle le modèle et n'entraîne que de petites matrices ajoutées, pour adapter un LLM à moindre coût.
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence entre Q4, Q5 et Q8 dans le nom d'un fichier ?
Le chiffre indique à peu près le nombre de bits utilisés par poids. Q8 est très proche du modèle d'origine mais deux fois plus lourd que Q4 ; Q4 est le compromis le plus courant pour un usage local. Les suffixes comme K_M désignent la méthode de quantification par blocs de llama.cpp.
La quantification rend-elle le modèle plus rapide ?
Pas forcément. Son premier effet est de réduire la mémoire nécessaire. La vitesse dépend du matériel et du logiciel : la documentation de Hugging Face signale même que certaines méthodes ralentissent un peu l'inférence, car les poids doivent être reconvertis à la volée.
Peut-on quantifier n'importe quel modèle ?
Il faut disposer de ses poids, donc d'un modèle à poids ouverts. Les modèles fermés accessibles par API sont optimisés par leur éditeur, qui ne publie généralement pas la précision utilisée.
Comment savoir si la perte de qualité est acceptable ?
En comparant le modèle quantifié et l'original sur vos propres tâches. Les petits modèles et les quantifications très agressives, sous 4 bits, sont les plus sensibles.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.