Contexte long : faire lire des documents entiers à une IA
Le contexte long désigne la capacité d'un modèle de langage à traiter en une seule fois de très grandes quantités de texte, comme un livre, une base documentaire ou tout un dépôt de code. Le terme recouvre aussi les techniques d'architecture et d'entraînement qui rendent cela possible, et les méthodes pour vérifier que le modèle exploite vraiment tout ce texte.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
Une définition simple, puis technique
Un modèle à contexte long peut « garder sous les yeux » un document entier pendant qu’il répond, au lieu d’en voir seulement un extrait. Concrètement, c’est une fenêtre de contexte très large, mais aussi un modèle entraîné à s’en servir.
Trois obstacles techniques ont dû être surmontés :
- Le coût de l’attention. Dans un Transformer classique, le mécanisme d’attention compare chaque token à tous les autres : le calcul croît avec le carré de la longueur.
- La mémoire. Le cache clé-valeur qui stocke les informations sur les tokens déjà lus grossit avec la longueur du texte, et occupe vite la mémoire du GPU.
- Les positions. Un modèle entraîné sur des textes courts ne sait pas interpréter des positions qu’il n’a jamais vues. Des méthodes comme la Position Interpolation (Chen et al., 2023) ou YaRN (Peng et al., 2023) étendent la fenêtre de modèles utilisant le RoPE, avec un entraînement complémentaire limité.
Ce que disent les évaluations
L’article « Lost in the Middle: How Language Models Use Long Contexts » (Liu et al., 2023) a montré que les performances sont souvent meilleures quand l’information utile se trouve au début ou à la fin du contexte, et se dégradent quand elle est au milieu. En 2024, le benchmark RULER a souligné que le test de « l’aiguille dans une botte de foin », qui consiste à retrouver une phrase cachée, ne mesure qu’une forme superficielle de compréhension : des tâches plus exigeantes (suivre une chaîne de références, agréger des informations dispersées) révèlent une longueur réellement exploitable souvent inférieure à la longueur annoncée.
Un exemple concret
Vous transmettez à un assistant le règlement de copropriété, les procès-verbaux de plusieurs assemblées générales et un devis, puis demandez : « Les travaux proposés ont-ils déjà été votés ? » Un modèle à contexte long peut croiser ces documents sans découpage préalable. Pour une réponse fiable, demandez-lui de citer les passages exacts, et vérifiez-les.
Idées reçues
- « Plus la fenêtre est grande, mieux c’est. » Une fenêtre immense mal exploitée vaut moins qu’une fenêtre plus modeste bien maîtrisée.
- « Le contexte long rend le RAG inutile. » Le RAG reste utile pour de grandes bases documentaires, pour maîtriser les coûts et pour tracer les sources.
Notre outil fenêtre de contexte vous aide à estimer si vos documents tiennent dans la fenêtre d’un modèle donné.
Termes liés
- Fenêtre de contexte · Quantité maximale de texte (en tokens) qu'un modèle peut lire et produire en une seule fois, réponse comprise.
- RoPE (encodage positionnel rotatif) · Technique qui indique à un Transformer la position de chaque token en faisant tourner ses vecteurs d'un angle qui dépend de cette position.
- Cache clé-valeur (KV cache) · Mémoire où un modèle garde les calculs déjà faits sur les tokens précédents, pour ne pas les refaire à chaque nouveau mot.
- RAG (génération augmentée par récupération) · Technique qui va chercher des passages dans vos documents avant de répondre, et les donne au modèle pour qu'il s'appuie dessus.
- Mécanisme d'attention · Procédé qui permet à un modèle de pondérer, pour chaque mot traité, l'importance de tous les autres mots du texte.
- Ingénierie du contexte · Art de choisir ce qui entre dans la fenêtre de contexte d'un modèle à chaque étape : consignes, outils, documents, mémoire et historique.
À essayer
Tout le glossaire
Questions fréquentes
Si un modèle accepte un très long contexte, lit-il vraiment tout ?
Il traite tout le texte, mais n'en tire pas le même profit partout. Des études ont montré que l'information placée au milieu d'un long contexte est moins bien exploitée que celle placée au début ou à la fin. La taille maximale annoncée ne dit pas la longueur réellement utile.
Contexte long ou RAG : que choisir ?
Le contexte long est simple et efficace pour analyser un ensemble fermé de documents en une fois. Le RAG reste préférable pour une très grande base qui évolue, pour limiter le coût de chaque requête, ou pour citer précisément ses sources. Les deux se combinent souvent.
Pourquoi un long contexte coûte-t-il cher ?
Chaque token envoyé est facturé, et le calcul de l'attention ainsi que la mémoire nécessaire augmentent avec la longueur. La mise en cache du prompt réduit la facture quand on renvoie souvent le même long document.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.