Inférence : le moment où l'IA vous répond
En intelligence artificielle, l'inférence désigne l'utilisation d'un modèle déjà entraîné pour produire un résultat : une réponse, une image, une traduction. Chaque fois que vous envoyez un message à un assistant, vous déclenchez une inférence, et c'est elle qui détermine la vitesse et le coût de la réponse.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|
Une définition simple
La vie d’un modèle d’IA comporte deux grandes phases. D’abord l’entraînement, ou pré-entraînement : le modèle apprend sur d’immenses volumes de données et ses paramètres sont fixés. Ensuite l’inférence : on lui soumet une entrée et il calcule une sortie, sans plus rien apprendre. Le mot vient du raisonnement : le modèle « infère » la suite la plus probable à partir de ce qu’il a appris.
Pour un modèle de langage, l’inférence se fait token par token. Le modèle lit votre prompt, calcule le premier morceau de réponse, l’ajoute au texte, recalcule le suivant, et ainsi de suite jusqu’à la fin.
Un exemple concret
Vous demandez à un assistant de résumer un compte rendu de réunion de dix pages. Le serveur charge le modèle en mémoire, lit les dix pages (les tokens d’entrée), puis produit le résumé mot à mot (les tokens de sortie). Le délai avant le premier mot dépend surtout de la longueur du document ; la durée totale dépend de la longueur du résumé. Si le modèle est un modèle de raisonnement, il produit en plus une réflexion interne avant de répondre, ce qui allonge l’inférence.
Pourquoi ça compte
L’entraînement est une dépense ponctuelle ; l’inférence est une dépense à chaque usage. C’est elle qui explique les limites de messages des offres gratuites, la facturation au prix par million de tokens des API et la latence que vous ressentez. Pour estimer ce que coûterait un agent qui enchaîne des centaines d’appels, utilisez notre calculateur de coût d’agent.
Idées reçues fréquentes
- « L’IA apprend de chaque conversation en direct. » Non : pendant l’inférence, les poids du modèle ne bougent pas. La mémoire d’un assistant repose sur du texte réinjecté dans le contexte.
- « Un gros modèle est toujours trop lent. » La vitesse dépend aussi du matériel, de l’optimisation du serveur et de techniques comme la mise en cache du prompt ou le mélange d’experts.
- « L’inférence ne coûte presque rien. » Une question isolée, oui ; des agents qui tournent en boucle sur de longs documents, beaucoup moins.
Termes voisins : latence, prix par million de tokens, serveur d’inférence, calcul au moment de l’inférence, GPU.
Termes liés
- Pré-entraînement · Première phase d'entraînement d'un modèle de langage : il apprend à prédire la suite de textes sur un immense corpus, sans tâche précise.
- Latence · Temps d'attente entre l'envoi d'une demande à un modèle d'IA et l'arrivée de sa réponse, du premier mot jusqu'au dernier.
- Prix par million de tokens · Unité de facturation des API d'IA : un tarif pour chaque million de tokens lus en entrée, un autre, souvent plus élevé, pour ceux générés.
- Serveur d'inférence · Logiciel qui charge un modèle d'IA en mémoire et répond aux requêtes via une API, en optimisant le débit et la mémoire du GPU.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
- GPU (processeur graphique) · Puce conçue pour faire des milliers de calculs en parallèle, devenue le moteur de l'entraînement et de l'utilisation des modèles d'IA.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence entre entraînement et inférence ?
L'entraînement fabrique le modèle : il ajuste ses paramètres sur d'énormes volumes de données, une fois, à grand coût. L'inférence l'utilise : elle a lieu des millions de fois, à chaque question. On peut comparer cela à la rédaction d'un livre et à sa lecture.
Pourquoi les tokens produits coûtent-ils plus cher que les tokens lus ?
Le modèle lit votre texte en bloc, mais génère sa réponse token par token, chaque nouveau token demandant un passage complet dans le réseau. Les grilles tarifaires des fabricants reflètent cette différence : chez Anthropic, par exemple, le prix des tokens de sortie est plusieurs fois supérieur à celui des tokens d'entrée.
Peut-on faire de l'inférence sur son propre ordinateur ?
Oui, avec des modèles à poids ouverts et des logiciels adaptés, à condition d'avoir assez de mémoire, idéalement sur une carte graphique. Les petits modèles et la quantification rendent cela possible sur du matériel grand public, avec des performances moindres que les plus grands modèles.
Mes messages servent-ils à entraîner le modèle pendant l'inférence ?
Pas pendant l'inférence elle-même : le modèle ne change pas en vous répondant. En revanche, un éditeur peut conserver vos conversations et les utiliser plus tard pour un entraînement, selon ses conditions. Vérifiez les réglages de confidentialité de votre assistant.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.