Estimador de tokens

¿Qué es un token?

Un modelo de lenguaje no lee las palabras como nosotros. Antes de procesar un texto, lo divide en tokens: fragmentos de palabras. Un token puede ser una palabra completa, una sílaba, un signo de puntuación o incluso un espacio. Las palabras comunes suelen ocupar un solo token, mientras que las raras, largas o técnicas se cortan en varios trozos.

Los tokens son la unidad de medida de la IA generativa. Los proveedores cobran el uso de sus modelos por token y expresan también en tokens el tamaño de la ventana de contexto, es decir, la cantidad de texto que un modelo puede tener en cuenta de una vez.

Cómo funciona el estimador

Pegue su texto en el recuadro de arriba. La herramienta cuenta los caracteres y las palabras, detecta el idioma probable y aplica una regla aproximada propia de ese idioma para estimar el número de tokens. No utiliza ninguna biblioteca de tokenización (el software con el que cada proveedor hace la división real): se basa en una heurística, un método de estimación rápido y transparente.

A continuación obtiene:

• el coste estimado de enviar este texto a 6 modelos populares, como tokens de entrada;
• el coste estimado si un texto de esta longitud se generara como respuesta, como tokens de salida, que suelen ser más caros;
• la parte de la ventana de contexto de cada modelo que ocuparía este texto.

Su texto se queda en su navegador: no se envía nada y no se guarda nada.

Por qué el español suele consumir más tokens que el inglés

Los tokenizadores se construyen a partir de enormes colecciones de textos en las que el inglés suele ocupar una parte importante. Por eso las palabras inglesas frecuentes tienden a corresponder a un solo token. En español o en francés, las tildes, la riqueza de las conjugaciones y algunas palabras más largas conducen a menudo a una división más fina.

Resultado: para expresar la misma idea, un texto en español o en francés suele necesitar más tokens que su equivalente en inglés, así que cuesta algo más y llena antes la ventana de contexto. La diferencia varía según el modelo y el tipo de texto, y el estimador la tiene en cuenta de forma aproximada.

Por qué es solo una estimación

Cada familia de modelos tiene su propio tokenizador. Un mismo párrafo no da exactamente el mismo número de tokens con dos proveedores distintos, y el código, las tablas, las cifras o los emojis se dividen de otra manera. La estimación ofrece un orden de magnitud suficiente para decidir, no un recuento exacto. Para una cifra precisa, los proveedores ofrecen sus propias herramientas de recuento, y su API (la interfaz que permite a un programa llamar al modelo) indica los tokens consumidos realmente tras cada solicitud.

Usos prácticos

• Preparar un presupuesto: mida un prompt típico y lleve los valores a la calculadora de coste de un agente para proyectar una factura mensual.
• Comprobar que un documento cabe: antes de pegar un informe largo en un asistente, mire qué parte de la ventana de contexto ocupa.
• Aligerar un prompt: compare dos versiones de la misma instrucción y quédese con la más corta si funciona igual de bien.
• Comparar modelos: las diferencias de precio de entrada y de salida aparecen al instante, y el comparador de modelos detalla después sus capacidades.

Si algún término no le resulta familiar, el glosario explica los conceptos clave de la IA con palabras sencillas.