Tokenizador: la herramienta que trocea el texto para la IA
El tokenizador (tokenizer) es el programa que divide su texto en pequeños fragmentos, los tokens, y convierte cada uno en un número, la única forma que un modelo de lenguaje sabe procesar. Determina cuántos tokens tiene su mensaje y, por tanto, cuánto cuesta y cuánto espacio ocupa.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|---|
| Origen | 2015 |
| Introducido por | Sennrich, Haddow et Birch (sous-mots BPE) |
Qué hace un tokenizador
Un gran modelo de lenguaje no lee letras ni palabras: lee secuencias de números. El tokenizador traduce en ambos sentidos. A la entrada, divide el texto en tokens y asigna a cada uno un número de un vocabulario fijo; a la salida, vuelve a convertir los números que produce el modelo en texto legible.
La mayoría de los tokenizadores modernos dividen en subpalabras. La idea, popularizada por Sennrich y sus coautores en 2015 para la traducción automática, es sencilla: los fragmentos frecuentes se convierten en tokens propios y las palabras raras se reconstruyen a partir de trozos. La documentación de tiktoken, el tokenizador de OpenAI, pone el ejemplo de «encoding» dividido en «encod» + «ing». También indica que, de media, un token corresponde a unos 4 bytes de texto.
Un ejemplo concreto
Una frase como «El gato duerme.» cabe en pocos tokens: palabras cortas y frecuentes. Un término como «electroencefalografista» se divide, en cambio, en varios trozos. Consecuencia: dos textos que parecen igual de largos pueden tener un número de tokens distinto, y un texto en español suele producir más tokens que su equivalente en inglés. Pruébelo con nuestro estimador de tokens.
Por qué es importante
El tokenizador fija la unidad de medida de casi todo. Las API cobran según el precio por millón de tokens y la ventana de contexto se mide en tokens. Cambiar de tokenizador cambia, por tanto, la factura con el mismo texto. Anthropic, por ejemplo, indica en su documentación que sus modelos a partir de Claude 4.7 usan un nuevo tokenizador que produce alrededor de un 30 % más de tokens para el mismo texto, y recomienda volver a contar los prompts con el modelo que se vaya a usar.
Errores e ideas falsas frecuentes
- «1 token = 1 palabra». Es una aproximación burda que varía según el idioma y el modelo.
- «El recuento de tokens vale para cualquier modelo». No: compare costes volviendo a contar con cada tokenizador.
- «El modelo ve las letras». Ve tokens. Es una de las razones por las que contar las letras de una palabra o deletrearla al revés a veces le cuesta.
Términos relacionados: token, ventana de contexto, precio por millón de tokens, embedding.
Términos relacionados
- Token · Pequeño fragmento de texto (palabra, parte de palabra o signo) que lee y produce un modelo de IA; unidad de medida, límite y precio.
- Precio por millón de tokens · Unidad de facturación de las API de IA: una tarifa por cada millón de tokens de entrada y otra, normalmente más alta, por los generados.
- Ventana de contexto · Cantidad máxima de texto (en tokens) que un modelo puede leer y producir de una sola vez, incluida su propia respuesta.
- Modelo de lenguaje grande (LLM) · Programa entrenado con enormes cantidades de texto para predecir cómo sigue un texto; es el motor de los asistentes de IA.
- Embedding (vector semántico) · Lista de números (un vector) que representa el significado de un texto o una imagen para comparar contenidos según su cercanía de sentido.
Para probar
Todo el glosario
Preguntas frecuentes
¿Un token es una palabra?
No exactamente. Una palabra común puede caber en un solo token, mientras que una palabra rara o larga se divide en varios trozos. La puntuación y los espacios también cuentan.
¿Todos los modelos usan el mismo tokenizador?
No. Cada familia de modelos tiene el suyo, y puede cambiar de una generación a otra. El mismo texto no da el mismo número de tokens en todas partes.
¿Cómo saber cuántos tokens tiene un texto?
Los proveedores ofrecen herramientas de recuento: la biblioteca tiktoken para OpenAI y un punto de acceso gratuito de recuento en Anthropic. Para una estimación rápida, use nuestro estimador de tokens.
¿De dónde viene la división en subpalabras?
El enfoque más extendido, el BPE (Byte Pair Encoding) aplicado a subpalabras, se popularizó en el procesamiento del lenguaje con un artículo de Rico Sennrich, Barry Haddow y Alexandra Birch publicado en arXiv en agosto de 2015.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.