FRENES

Glossaire · Modèles de langage

Fenêtre de contexte

La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens. Elle concerne les informations effectivement fournies au modèle, comme les consignes, les messages et les documents, avec des règles propres à chaque système.

Fenêtre de contexte : l'explication

Lorsqu'une application envoie une demande, elle rassemble plusieurs éléments : consignes, conversation, documents et parfois résultats d'outils. Cet ensemble doit respecter les limites du modèle et du service. Selon le système, il faut aussi réserver une place pour les tokens de sortie. Si le contenu dépasse la capacité disponible, l'application peut le refuser, le couper, le résumer ou n'en transmettre qu'une partie. Ce comportement dépend de l'intégration et mérite d'être vérifié avant un usage important.

La fenêtre de contexte sert à décrire la capacité de traitement immédiate, et non une mémoire permanente. Une application peut conserver votre historique dans une base sans envoyer tous les messages au modèle à chaque demande. Elle peut aussi rechercher des passages pertinents dans vos documents et ne transmettre que ceux-ci. Vous devez donc distinguer ce qui est stocké, ce qui est sélectionné et ce qui entre réellement dans le contexte utilisé pour produire une réponse.

Une grande fenêtre ne garantit pas une exploitation fidèle de tout son contenu. Le modèle peut manquer une précision, confondre des versions ou suivre une instruction ambiguë. Envoyer davantage de texte peut aussi augmenter le temps de traitement et les ressources nécessaires. Pour une tâche donnée, une sélection pertinente et bien structurée peut être plus utile qu'un très long ensemble non organisé. Les limites annoncées doivent être confrontées au comportement réel de l'application que vous utilisez.

Un exemple concret

Vous demandez à un agent de comparer plusieurs versions d'un règlement. L'application accepte tous les fichiers, mais cela ne signifie pas que leur texte complet sera transmis simultanément au modèle. Vous vérifiez si elle sélectionne des passages ou résume les documents. Vous demandez ensuite les références des sections comparées, afin de contrôler que la réponse tient compte des bonnes versions et des exceptions pertinentes.

Pourquoi c'est important

La fenêtre de contexte compte si votre agent traite des dossiers longs, des conversations suivies ou des résultats d'outils volumineux. Pour choisir un service, examinez ses limites effectives, sa gestion des dépassements et la place laissée aux réponses. Testez surtout la fidélité aux détails importants. Une capacité annoncée élevée ne suffit pas si l'application omet les passages nécessaires ou les restitue mal dans ses conclusions.

Idées reçues

  • Une grande fenêtre de contexte n'est pas une mémoire illimitée, car elle décrit le contenu accessible pendant un traitement précis et ne garantit ni la conservation des échanges ni leur transmission intégrale lors des demandes suivantes.
  • Tout document ajouté dans une application n'entre pas nécessairement en entier dans le contexte, car l'outil peut sélectionner, résumer ou fractionner son contenu avant de l'envoyer au modèle pour préparer une réponse donnée.

Autres termes : modèles de langage

hallucination
L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.
Transformer
Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.
embedding
Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.
token
Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.
poids ouverts
Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.
IA open source
L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.
quantification
La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.
GGUF
GGUF est un format de fichier utilisé pour distribuer des modèles destinés à des logiciels d'inférence compatibles.

Où le site en parle

Le terme apparaît dans 378 pages du site. Quelques-unes :

Dans la même famille

Pour aller plus loin

Questions fréquentes

Est-ce la mémoire de l'agent ?

Pas exactement. La fenêtre décrit le contenu accessible pour un traitement. La mémoire d'une application peut utiliser un stockage séparé et sélectionner certaines informations pour les réintroduire ensuite dans le contexte du modèle.

Que se passe-t-il si elle est dépassée ?

Selon l'application, la demande peut être refusée ou le contenu peut être réduit, résumé ou découpé. Vérifiez le comportement réel, car une réduction silencieuse peut retirer une instruction ou une information nécessaire à votre tâche.

Une fenêtre plus grande est-elle toujours préférable ?

Elle peut être utile pour certains dossiers, mais elle ne garantit pas de meilleurs résultats. La pertinence des passages transmis, leur organisation et la capacité du modèle à exploiter les détails comptent également pour votre usage.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons