Tokeniseur : la machine à découper le texte des modèles d'IA
Le tokeniseur (tokenizer) est le programme qui découpe votre texte en petits morceaux, les tokens, puis transforme chacun en nombre, la seule forme qu'un modèle de langage sait traiter. Il détermine combien de tokens compte votre message, donc ce qu'il coûte et la place qu'il occupe.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2015 |
| Introduit par | Sennrich, Haddow et Birch (sous-mots BPE) |
Ce que fait un tokeniseur
Un grand modèle de langage ne lit pas des lettres ni des mots : il lit des suites de nombres. Le tokeniseur fait la traduction dans les deux sens. À l’entrée, il découpe le texte en tokens et attribue à chacun un numéro tiré d’un vocabulaire fixe ; à la sortie, il retransforme les numéros produits par le modèle en texte lisible.
La plupart des tokeniseurs modernes utilisent le découpage en sous-mots. L’idée, popularisée par Sennrich et ses coauteurs en 2015 pour la traduction automatique, est simple : les fragments fréquents deviennent des tokens à part entière, les mots rares sont reconstitués à partir de morceaux. La documentation de tiktoken, le tokeniseur d’OpenAI, donne l’exemple de « encoding » découpé en « encod » + « ing ». Elle précise aussi qu’en moyenne un token correspond à environ 4 octets de texte.
Un exemple concret
Une phrase comme « Le chat dort. » tient en quelques tokens : des mots courts et fréquents. Un terme comme « anticonstitutionnellement » sera, lui, découpé en plusieurs morceaux. Conséquence : deux textes de même longueur à l’œil peuvent compter un nombre de tokens différent, et un texte en français produit souvent davantage de tokens que son équivalent anglais. Essayez avec notre estimateur de tokens.
Pourquoi ça compte
Le tokeniseur fixe l’unité de mesure de presque tout. Les API facturent au prix par million de tokens ; la fenêtre de contexte se mesure en tokens. Changer de tokeniseur change donc la facture à texte égal. Anthropic indique par exemple dans sa documentation que ses modèles à partir de Claude 4.7 utilisent un nouveau tokeniseur qui produit environ 30 % de tokens en plus pour le même texte, et recommande de recompter ses prompts avec le modèle visé.
Erreurs et idées reçues fréquentes
- « 1 token = 1 mot. » C’est une approximation grossière, qui varie selon la langue et le modèle.
- « Les comptes de tokens se transposent d’un modèle à l’autre. » Non : comparez les coûts en recomptant avec chaque tokeniseur.
- « Le modèle voit les lettres. » Il voit des tokens. C’est une des raisons pour lesquelles compter les lettres d’un mot ou épeler à l’envers lui pose parfois problème.
Termes voisins : token, fenêtre de contexte, prix par million de tokens, embedding.
Termes liés
- Token · Petit morceau de texte (mot, bout de mot, signe) que lit et produit un modèle d'IA ; sert d'unité de mesure, de limite et de prix.
- Prix par million de tokens · Unité de facturation des API d'IA : un tarif pour chaque million de tokens lus en entrée, un autre, souvent plus élevé, pour ceux générés.
- Fenêtre de contexte · Quantité maximale de texte (en tokens) qu'un modèle peut lire et produire en une seule fois, réponse comprise.
- Grand modèle de langage (LLM) · Programme entraîné sur d'immenses quantités de textes pour prédire la suite d'un texte ; c'est le moteur des assistants IA.
- Embedding (plongement) · Liste de nombres (un vecteur) qui représente le sens d'un texte ou d'une image, pour comparer des contenus par leur proximité de sens.
À essayer
Tout le glossaire
Questions fréquentes
Un token, c'est un mot ?
Pas exactement. Un mot courant peut tenir en un seul token, tandis qu'un mot rare ou long est découpé en plusieurs morceaux. La ponctuation et les espaces comptent aussi.
Tous les modèles utilisent-ils le même tokeniseur ?
Non. Chaque famille de modèles a le sien, et il peut changer d'une génération à l'autre. Le même texte ne donne donc pas le même nombre de tokens partout.
Comment connaître le nombre de tokens d'un texte ?
Les fournisseurs proposent des outils de comptage : bibliothèque tiktoken pour OpenAI, point d'accès gratuit de comptage chez Anthropic. Pour un ordre de grandeur rapide, utilisez notre estimateur de tokens.
D'où vient la méthode de découpage en sous-mots ?
L'approche la plus répandue, le BPE (Byte Pair Encoding) appliqué aux sous-mots, a été popularisée en traitement du langage par un article de Rico Sennrich, Barry Haddow et Alexandra Birch déposé sur arXiv en août 2015.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.