Token : l'unité de base que lit une IA

Une définition simple

Avant de lire votre texte, un modèle d’IA le découpe en morceaux à l’aide d’un tokeniseur. Les mots courts et fréquents forment souvent un seul token ; les mots longs ou rares sont coupés en plusieurs. Les espaces, la ponctuation et les chiffres comptent aussi.

Exemple simplifié : « incompréhensible » peut être découpé en plusieurs morceaux, alors que « le » ne compte que pour un. Le découpage exact varie d’un modèle à l’autre, c’est pourquoi un même texte n’a pas le même nombre de tokens partout.

Le modèle produit ensuite sa réponse token par token, ce qui explique l’effet d’écriture progressive que vous voyez à l’écran.

Pourquoi ça compte pour vous

Le token est l’unité de mesure de trois choses très concrètes :

• La longueur maximale : chaque modèle a une fenêtre de contexte, une limite en tokens qui englobe votre demande, les documents joints, l’historique et la réponse.
• Le prix : les services pour développeurs facturent au prix par million de tokens, avec souvent un tarif différent pour les tokens envoyés et ceux générés.
• Les quotas : certaines offres limitent l’usage en fonction du volume traité.

Exemple au travail : vous voulez faire résumer chaque semaine une centaine de comptes rendus par un outil automatique. Estimer le nombre de tokens permet de savoir si les documents tiennent dans la limite du modèle et combien cela coûtera. L’estimateur de tokens fait ce calcul approximatif dans votre navigateur, et le calculateur de coût d’agent traduit ces volumes en budget.

Idées reçues

• « Un token = un mot. » Non : c’est souvent moins qu’un mot, et la proportion change selon la langue.
• « Les tokens sont une monnaie. » Dans ce contexte, rien à voir avec les jetons de cryptomonnaie : il s’agit seulement d’unités de texte.
• « Les images ne comptent pas. » Les modèles multimodaux convertissent aussi les images et les fichiers en tokens, qui occupent de la place dans la limite.