Estimateur de tokens

Qu’est-ce qu’un token ?

Un modèle de langage ne lit pas les mots comme nous. Avant de traiter un texte, il le découpe en tokens : des morceaux de mots. Un token peut être un mot entier, une syllabe, un signe de ponctuation ou même un espace. Un mot courant tient souvent en un seul token, tandis qu’un mot rare, long ou technique est coupé en plusieurs morceaux.

Ces tokens sont l’unité de mesure de l’IA générative. Les fournisseurs facturent l’usage de leurs modèles au token, et ils expriment en tokens la taille de la fenêtre de contexte, c’est-à-dire la quantité de texte qu’un modèle peut prendre en compte en une seule fois.

Comment fonctionne l’estimateur

Collez votre texte dans la zone ci-dessus. L’outil compte les caractères et les mots, repère la langue probable, puis applique une règle approximative propre à cette langue pour estimer le nombre de tokens. Il n’utilise aucune bibliothèque de tokenisation (le logiciel qui réalise le découpage réel chez chaque fournisseur) : il s’agit d’une heuristique, une méthode d’estimation rapide et transparente.

Vous obtenez ensuite :

• le coût estimé pour envoyer ce texte à 6 modèles populaires, en tokens d’entrée ;
• le coût estimé si un texte de cette longueur était produit en réponse, en tokens de sortie, généralement plus chers ;
• la part de la fenêtre de contexte de chaque modèle que ce texte occuperait.

Votre texte reste dans votre navigateur : rien n’est envoyé, rien n’est conservé.

Pourquoi le français consomme souvent plus de tokens

Le découpage en tokens est appris à partir d’immenses collections de textes, dans lesquelles l’anglais occupe en général une place importante. Les mots anglais fréquents sont donc souvent représentés par un seul token. En français ou en espagnol, les accents, la richesse des conjugaisons et des mots parfois plus longs conduisent fréquemment à un découpage plus fin.

Résultat : pour exprimer la même idée, un texte en français ou en espagnol utilise souvent davantage de tokens que son équivalent anglais, donc coûte un peu plus et remplit plus vite la fenêtre de contexte. L’écart varie selon le modèle et le type de texte ; l’estimateur en tient compte de façon approximative.

Pourquoi ce n’est qu’une estimation

Chaque famille de modèles possède son propre découpeur. Un même paragraphe ne donne pas exactement le même nombre de tokens chez deux fournisseurs, et le code informatique, les tableaux, les nombres ou les émojis se découpent encore autrement. L’estimation fournit un ordre de grandeur suffisant pour décider, pas un décompte exact. Pour un chiffre précis, les fournisseurs proposent leurs propres outils de comptage, et leur API (l’interface qui permet à un programme d’appeler le modèle) indique le nombre de tokens réellement consommés après chaque requête.

Usages pratiques

• Préparer un budget : mesurez un prompt type, puis reportez les valeurs dans le calculateur de coût d’un agent pour projeter une facture mensuelle.
• Vérifier qu’un document passe : avant de coller un long rapport dans un assistant, regardez la part de la fenêtre de contexte qu’il occupe.
• Alléger un prompt : comparez deux versions d’une même consigne et gardez la plus courte, à résultat égal.
• Comparer les modèles : les écarts de prix d’entrée et de sortie apparaissent immédiatement ; le comparateur de modèles détaille ensuite leurs capacités.

Si un terme vous échappe, le glossaire reprend les notions essentielles de l’IA en mots simples.