Serveur d'inférence : le logiciel qui sert un modèle d'IA
Un serveur d'inférence est le programme qui garde un modèle d'IA chargé en mémoire et répond aux demandes qu'on lui envoie, comme un serveur web répond aux visiteurs. Il cherche à servir le plus de requêtes possible avec un même GPU, sans gaspiller de mémoire.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
La définition
Un serveur d’inférence est un logiciel qui fait tourner un modèle en continu et le rend accessible par une API.
Faire de l’inférence, c’est utiliser un modèle déjà entraîné pour produire une réponse. Un serveur d’inférence industrialise cette étape : il charge les poids sur un ou plusieurs GPU, reçoit des requêtes HTTP, planifie leur exécution et renvoie les tokens au fur et à mesure. La plupart exposent aujourd’hui une API compatible avec celle d’OpenAI, ce qui permet de remplacer un fournisseur par un modèle hébergé soi-même sans réécrire l’application.
Exemples et techniques clés
Parmi les projets ouverts les plus connus :
- vLLM, né au Sky Computing Lab de l’université de Berkeley, repose sur PagedAttention, décrit dans un article de 2023 : le cache clé-valeur est découpé en blocs comme la mémoire virtuelle d’un système d’exploitation, ce qui limite le gaspillage. Les auteurs annoncent un débit multiplié par 2 à 4 par rapport aux systèmes comparés.
- llama-server, le serveur de llama.cpp, lit les fichiers au format GGUF et propose des points d’accès compatibles OpenAI ainsi qu’une interface web.
- Ollama, conçu pour un usage local, prend en charge les modèles GGUF.
Ces moteurs partagent des techniques communes : le continuous batching, qui insère de nouvelles requêtes dans un lot en cours au lieu d’attendre qu’il se termine ; la quantification des poids (GPTQ, AWQ, FP8, GGUF selon les moteurs) ; et le décodage spéculatif.
Pourquoi ça compte
Le coût d’un service d’IA dépend du nombre de requêtes qu’un GPU peut traiter. Comme la génération est surtout limitée par la bande passante mémoire, un bon serveur d’inférence regroupe les requêtes et gère finement la mémoire pour en traiter davantage avec le même matériel. C’est aussi lui qui rend possible l’hébergement d’un modèle ouvert sur votre propre infrastructure, pour des raisons de confidentialité ou de maîtrise des coûts.
Idées reçues
- « Le modèle fait tout, le serveur ne change rien. » Avec les mêmes poids, le choix du moteur et de ses réglages influe fortement sur le débit et la latence.
- « Compatible OpenAI veut dire identique. » La compatibilité couvre les principaux points d’accès, pas toujours toutes les options.
- « Il faut forcément un GPU de centre de données. » llama.cpp et Ollama tournent sur des machines grand public, avec des modèles quantifiés.
Termes voisins : inférence, cache clé-valeur, GGUF, décodage spéculatif.
Termes liés
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
- Cache clé-valeur (KV cache) · Mémoire où un modèle garde les calculs déjà faits sur les tokens précédents, pour ne pas les refaire à chaque nouveau mot.
- GPU (processeur graphique) · Puce conçue pour faire des milliers de calculs en parallèle, devenue le moteur de l'entraînement et de l'utilisation des modèles d'IA.
- GGUF (format de modèle) · Format de fichier unique qui regroupe les poids d'un modèle, souvent quantifiés, et ses métadonnées, pour l'exécuter en local avec llama.cpp et ses dérivés.
- Décodage spéculatif · Technique d'accélération où un petit modèle propose plusieurs tokens d'avance que le grand modèle vérifie d'un seul coup.
- Quantification · Technique qui stocke les poids d'un modèle avec moins de bits (8, 4, voire moins) pour qu'il occupe beaucoup moins de mémoire.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence entre un serveur d'inférence et une bibliothèque comme Transformers ?
Une bibliothèque permet d'exécuter un modèle dans un script. Un serveur d'inférence ajoute une API réseau, la gestion de nombreuses requêtes simultanées et des optimisations mémoire, pour un usage continu par des applications.
Ollama est-il un serveur d'inférence ?
Oui, dans un usage local : sa documentation décrit une API servie par défaut sur localhost, port 11434, avec un point d'accès compatible avec l'API d'OpenAI.
Text Generation Inference (TGI) est-il toujours recommandé ?
Sa documentation indique qu'il est passé en mode maintenance et oriente vers d'autres moteurs, dont vLLM, SGLang, llama.cpp et MLX.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.