Chunking : bien découper ses documents pour que l'IA les retrouve
Le chunking consiste à découper des documents longs en petits passages cohérents, appelés chunks, avant de les indexer. C'est une étape discrète d'un RAG, mais elle décide souvent de la qualité des réponses.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
Ce que c’est
Dit simplement : on ne peut pas chercher efficacement dans un long manuel d’un seul bloc, alors on le découpe en fiches. Dans un RAG, chaque morceau est converti en embedding et rangé dans une base de données vectorielle ; lors d’une question, seuls les morceaux les plus proches sont transmis au modèle. La taille se mesure en tokens, et notre estimateur de tokens aide à se faire une idée de ce que représente un passage.
Les principales stratégies
- Taille fixe : couper tous les N tokens, souvent avec un chevauchement. Simple et rapide, mais coupe parfois en pleine phrase.
- Découpage récursif : essayer d’abord de couper aux titres, puis aux paragraphes, puis aux phrases, jusqu’à respecter une taille maximale.
- Selon la structure : suivre les sections HTML ou Markdown, les articles d’un contrat, les fonctions d’un fichier de code.
- Sémantique : couper là où le sujet change, détecté par la variation de sens entre phrases consécutives.
Le piège du morceau orphelin
Le problème le plus courant est la perte de contexte. Anthropic donne l’exemple d’un passage indiquant que le chiffre d’affaires a progressé par rapport au trimestre précédent, sans préciser de quelle entreprise ni de quelle période il s’agit. Isolé, ce morceau devient presque introuvable. Dans son étude sur la Contextual Retrieval (septembre 2024), Anthropic propose de faire générer par un modèle un court résumé de situation, ajouté en tête de chaque chunk avant l’indexation, ce qui réduit nettement les échecs de récupération sur ses jeux de test.
Exemple concret
Une mutuelle indexe ses conditions générales. Découpées à taille fixe, la clause « exclusions » se retrouve séparée de son titre : une question sur les soins dentaires non couverts ramène un passage sans contexte. Re-découpées article par article, avec le titre de la section répété en tête de chaque morceau, les mêmes questions ramènent la bonne clause.
Erreurs fréquentes
- Choisir une taille au hasard sans mesurer : testez plusieurs réglages sur un jeu de questions.
- Des morceaux trop gros : ils diluent le sens et consomment la fenêtre de contexte inutilement.
- Des morceaux trop petits : ils perdent le contexte nécessaire à leur compréhension.
- Oublier les métadonnées : source, date, section aident à filtrer et à citer.
Termes voisins : RAG, recherche hybride, embedding, base de données vectorielle.
Termes liés
- RAG (génération augmentée par récupération) · Technique qui va chercher des passages dans vos documents avant de répondre, et les donne au modèle pour qu'il s'appuie dessus.
- Embedding (plongement) · Liste de nombres (un vecteur) qui représente le sens d'un texte ou d'une image, pour comparer des contenus par leur proximité de sens.
- Base de données vectorielle · Base de données qui stocke des embeddings et retrouve très vite ceux qui sont les plus proches d'une question, donc les plus pertinents.
- Fenêtre de contexte · Quantité maximale de texte (en tokens) qu'un modèle peut lire et produire en une seule fois, réponse comprise.
- Recherche hybride · Recherche qui combine mots-clés exacts et recherche par le sens (embeddings), puis fusionne les deux listes de résultats en un seul classement.
- Token · Petit morceau de texte (mot, bout de mot, signe) que lit et produit un modèle d'IA ; sert d'unité de mesure, de limite et de prix.
À essayer
Tout le glossaire
Questions fréquentes
Quelle taille de chunk choisir ?
Il n'existe pas de taille idéale universelle. Anthropic note que les chunks font généralement quelques centaines de tokens au plus. Le bon choix dépend de vos documents et se valide en testant la recherche sur de vraies questions.
À quoi sert le chevauchement entre chunks ?
Répéter quelques phrases à la frontière de deux morceaux évite qu'une idée coupée en deux soit perdue. Le revers : plus de doublons dans l'index et un peu plus de stockage.
Peut-on se passer du chunking avec les modèles à contexte long ?
Pour quelques documents, envoyer le texte entier peut suffire. Pour une grande base documentaire, découper et sélectionner reste en général plus économique et plus précis, car le modèle lit moins de texte inutile.
Comment découper un tableau ou du code ?
En respectant sa structure : un tableau gagne à rester entier avec ses en-têtes, une fonction de code à ne pas être coupée au milieu. Les découpeurs qui suivent la structure du document donnent ici de meilleurs résultats qu'un découpage à taille fixe.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.