FRENES

Glossaire · Modèles de langage

Inférence

L'inférence est l'utilisation d'un modèle déjà entraîné pour produire une sortie à partir des informations reçues. Dans un assistant textuel, elle sert notamment à générer une réponse ou une demande d'appel d'outil, sans que cette utilisation modifie nécessairement les paramètres du modèle.

Inférence : l'explication

Lorsque vous envoyez une demande, le système prépare les informations que le modèle va traiter. Pour beaucoup de modèles de langage, le texte est découpé en tokens, puis transformé par une succession de calculs utilisant les paramètres appris. Le modèle produit des scores permettant de choisir la suite. La génération se poursuit jusqu'à une condition d'arrêt. L'inférence désigne cette utilisation du modèle, et pas seulement le moment où les mots apparaissent à l'écran.

L'entraînement ajuste les paramètres à partir de données, tandis que l'inférence les utilise pour une tâche. Cette distinction aide à comprendre pourquoi une conversation ne devient pas automatiquement un nouvel apprentissage durable du modèle. Une application peut conserver votre historique ou ajouter des informations à vos prochaines demandes sans modifier ces paramètres. Elle peut aussi prévoir un usage ultérieur de données pour l'amélioration du service, selon ses règles, mais cela constitue un processus distinct.

Un agent peut effectuer plusieurs inférences pour répondre à une seule demande. Il peut d'abord choisir un outil, recevoir son résultat, puis produire une synthèse. Le temps total inclut alors les calculs du modèle et les opérations extérieures. Une inférence réussie au sens technique ne garantit pas une réponse exacte. Le modèle peut produire un texte plausible à partir d'informations insuffisantes. La vérification des sources et des actions reste donc une étape séparée de la génération.

Un exemple concret

Vous demandez à un agent de retrouver la date d'une réunion dans vos notes. Une première utilisation du modèle peut décider de lancer une recherche. L'application exécute cette recherche, puis transmet les passages trouvés au modèle. Une nouvelle inférence produit la réponse. Votre demande a ainsi mobilisé plusieurs étapes, même si vous ne voyez qu'un seul message final dans la conversation.

Pourquoi c'est important

Comprendre l'inférence vous aide à interpréter la vitesse, les coûts et la confidentialité d'un outil. Demandez-vous où les calculs ont lieu et quelles informations sont transmises au modèle. Une application locale peut effectuer cette étape sur votre appareil, tandis qu'un service distant utilise ses serveurs. Le nombre d'étapes nécessaires à un agent peut aussi influencer l'attente et la consommation de ressources.

Idées reçues

  • L'inférence ne signifie pas que le modèle apprend durablement tout ce que vous écrivez : l'historique, une mémoire applicative et une modification des paramètres sont des mécanismes différents, même s'ils peuvent produire une impression de continuité dans vos échanges.
  • Une inférence ne correspond pas forcément à une réponse complète de l'agent : une même demande peut nécessiter plusieurs passages par le modèle, séparés par des recherches, des calculs ou d'autres opérations effectuées par des outils extérieurs.

Autres termes : modèles de langage

hallucination
L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.
Transformer
Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.
embedding
Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.
token
Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.
fenêtre de contexte
La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.
poids ouverts
Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.
IA open source
L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.
quantification
La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.

Où le site en parle

Le terme apparaît dans 33 pages du site. Quelques-unes :

Dans la même famille

Pour aller plus loin

Questions fréquentes

Est-ce différent de l'entraînement ?

Oui. L'entraînement ajuste les paramètres du modèle, alors que l'inférence les utilise pour traiter une entrée. Un système peut ajouter de la mémoire ou des documents autour de cette utilisation sans entraîner à nouveau le modèle.

L'inférence nécessite-t-elle Internet ?

Pas toujours. Un modèle peut fonctionner sur votre appareil si les ressources et les logiciels nécessaires sont disponibles. Une connexion reste nécessaire lorsque l'application utilise un modèle distant ou consulte des services externes pour accomplir votre demande.

Une inférence garantit-elle un résultat juste ?

Non. Elle produit une sortie selon le modèle, le contexte et les réglages utilisés. Cette sortie peut être incorrecte ou incomplète. Pour les informations importantes, confrontez les réponses aux documents disponibles et vérifiez les actions proposées.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons