Calculateur VRAM : quel matériel pour faire tourner un LLM en local

Mode d'emploi

Choisissez un modèle. Les 17 modèles du premier groupe ont une architecture publique complète : le calculateur compte les poids et le cache KV. Les 66 modèles du second groupe viennent de l'annuaire, avec le nombre de paramètres publié sur Hugging Face ; le cache KV n'est compté que si vous renseignez l'architecture dans les réglages avancés. Pour un autre modèle, choisissez « Personnalisé » et recopiez les valeurs de son fichier config.json.

• Quantification : Q4_K_M est le compromis le plus utilisé en local ; Q8_0 est presque sans perte ; Q3 et Q2 font tenir de gros modèles au prix d'une qualité en baisse nette.
• Contexte : la longueur maximale de conversation ou de document que vous comptez utiliser. Le cache KV grossit en proportion.
• Précision du cache KV : llama.cpp, Ollama et LM Studio savent stocker le cache en Q8_0 ou Q4_0, ce qui le divise par deux ou par quatre.
• RAM système et nombre de cartes (réglages avancés) : servent au verdict « tourne lentement » et au calcul multi-cartes.

La méthode de calcul

La mémoire nécessaire est la somme de trois postes. Les poids : nombre de paramètres × bits par poids ÷ 8. Les bits par poids de chaque format de quantification ne sont pas des valeurs rondes, car les formats « K » gardent certaines matrices en plus haute précision : l'outil reprend les valeurs mesurées par le projet llama.cpp sur Llama 3.1 8B (4,89 bits pour Q4_K_M, 8,5 pour Q8_0).

Le cache KV garde en mémoire les clés et valeurs d'attention de chaque token du contexte : 2 × couches × têtes clé-valeur × dimension de tête × longueur du contexte × octets par valeur. Les modèles récents utilisent l'attention groupée (GQA), avec peu de têtes clé-valeur, ce qui réduit fortement ce poste. Enfin, une marge couvre les tampons de calcul et le contexte du pilote ; 10 % est un point de départ prudent, à ajuster selon votre logiciel.

Le verdict compare le total à la mémoire de chaque matériel. Sur carte graphique : tourne si tout tient en VRAM ; tourne lentement si le surplus tient dans la RAM système (les couches déchargées passent par le processeur, souvent cinq à vingt fois plus lent) ; sinon ne tourne pas. Sur Mac, macOS ne laisse au GPU qu'une partie de la mémoire unifiée par défaut : environ deux tiers jusqu'à 36 Go, trois quarts au-delà. Au-delà de cette limite et jusqu'à 90 % de la mémoire, le verdict est « lentement », car il faut relever la limite à la main et le système manque alors de mémoire.

Un exemple chiffré

Llama 3.1 8B en Q4_K_M : 8,03 milliards × 4,89 bits ÷ 8 ≈ 4,6 Go de poids (le fichier GGUF publié pèse 4,58 Gio, ce qui valide la formule). Avec 8 192 tokens de contexte en F16 : 2 × 32 couches × 8 têtes × 128 × 8 192 × 2 octets = 1 Gio de cache. Avec la marge de 10 %, il faut environ 6,1 Gio : une carte de 8 Go suffit. À 128 000 tokens de contexte, le cache passe à 16 Gio et il faut une carte de 24 Go, ou un cache quantifié en Q4_0.

Les limites de l'estimation

• Modèles à mélange d'experts (MoE). Tous les experts doivent être chargés : la mémoire dépend du nombre total de paramètres, pas des paramètres actifs. En revanche, ils tournent plus vite que leur taille ne le laisse croire, ce qui rend le déchargement en RAM plus supportable.
• Attention à fenêtre glissante. Certains modèles (Gemma 2, par exemple) limitent l'attention de la moitié des couches à une fenêtre courte : leur cache KV réel est plus petit que celui calculé ici.
• Plusieurs cartes. La mémoire s'additionne, mais chaque carte garde sa propre marge et le découpage n'est jamais parfait.
• Mémoire déjà occupée. L'écran, le navigateur et les autres applications prennent souvent 0,5 à 2 Go de VRAM ou de mémoire unifiée.
• Vitesse. « Tourne » ne dit rien du débit : il dépend surtout de la bande passante mémoire de la carte.

Pour installer et choisir un modèle local, voyez le guide LLM en local ; pour comprendre les formats, Quantification et GGUF.