Token

Token : l'explication

Avant qu'un modèle traite votre texte, un système le découpe en tokens et associe généralement chacun à un identifiant numérique. Le modèle travaille ensuite avec des représentations de ces identifiants. À la sortie, les tokens générés sont reconvertis en texte. Le découpage varie selon le tokenizer utilisé, la langue et les caractères présents. Un mot courant peut former un seul token, tandis qu'un nom inhabituel ou une chaîne technique peut être divisé en plusieurs unités.

Le token sert notamment à mesurer la longueur des échanges et certaines limites d'utilisation. Une fenêtre de contexte indique combien de tokens peuvent être pris en compte dans une requête, selon les règles du modèle. Certains services calculent aussi leur facturation à partir des tokens traités ou générés. Vous devez donc distinguer la taille visible d'un texte, son nombre de mots et son nombre de tokens, qui ne suivent pas une conversion universelle valable pour tous.

Le token ne représente pas nécessairement une idée complète ni une unité grammaticale. Dans les systèmes multimodaux, les images ou les sons peuvent aussi être transformés en séquences de représentations, avec des conventions de comptage propres au système. Les estimations obtenues à partir du texte seul peuvent alors être insuffisantes. Pour connaître une consommation ou une limite précise, consultez le compteur et les règles de l'outil concerné, plutôt qu'une règle approximative présentée comme toujours exacte.

Un exemple concret

Vous envoyez à un assistant un formulaire contenant des noms, des adresses et des références de dossier. Même si le document paraît court, certaines références et certains noms peuvent être découpés en nombreux tokens. Vous regardez donc l'estimation fournie par l'outil avant d'ajouter d'autres pièces. Vous réservez aussi de la place pour la réponse, car le texte produit peut entrer dans les limites applicables.

Pourquoi c'est important

Comprendre les tokens aide à anticiper les limites, les coûts éventuels et la place disponible pour une réponse. C'est particulièrement utile si votre agent lit des documents longs ou échange de nombreux résultats avec des outils. Comparez les mesures selon les règles de chaque service. Deux modèles peuvent découper le même texte différemment, ce qui complique une comparaison fondée uniquement sur le prix affiché par token.

Idées reçues

• Un token n'est pas toujours un mot, car le découpage dépend du tokenizer et peut isoler des morceaux de mots, des signes ou des fragments de caractères sans correspondre aux unités que vous comptez en lisant.
• Un même texte ne contient pas nécessairement le même nombre de tokens dans tous les modèles, car les vocabulaires et les règles de découpage diffèrent selon les systèmes, les langues et les caractères utilisés.

Autres termes : modèles de langage

hallucination

L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.

Transformer

Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.

embedding

Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.

fenêtre de contexte

La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.

poids ouverts

Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.

IA open source

L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.

quantification

La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.

GGUF

GGUF est un format de fichier utilisé pour distribuer des modèles destinés à des logiciels d'inférence compatibles.

Où le site en parle

Le terme apparaît dans 493 pages du site. Quelques-unes :

• Comprendre les prix des API de LLM : tokens, entrée et sortie, cache, batch, estimation d'un budget Guide
• Premiers pas avec l'API d'un LLM : clé, premier appel, paramètres, coûts, bonnes pratiques Guide
• Réduire le coût d'un agent IA : choix du modèle, cache, contexte, routage, budgets Guide
• Fine-tuning ou RAG : comment choisir, coûts, données nécessaires, exemples Guide
• L'adaptation au moment du test : principe et résultats Guide
• Choisir un modèle de langage pour son usage : critères, benchmarks, prix, contexte, licence Guide
• Hermes Agent, guide de référence : installation, mémoire et compétences, modèles, coûts, limites Guide
• Systèmes multi-agents : quand plusieurs agents valent mieux qu'un, architectures, coûts et pièges Guide