Observabilidad de LLM: ver lo que hace realmente su aplicación de IA
La observabilidad de LLM reúne las trazas, métricas y registros que muestran, petición a petición, qué hace una aplicación basada en un modelo de lenguaje: qué prompt se envió, qué respuesta volvió, qué herramientas se llamaron, cuánto costó y cuánto tardó.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|
Definición
Dicho de forma sencilla: es la caja negra de un avión, pero para una aplicación de IA. Un LLM no es determinista y un agente de IA puede encadenar muchos pasos antes de responder. Sin un registro detallado, es imposible saber por qué se equivocó o en qué se va el presupuesto.
Una solución de observabilidad captura para cada petición una traza compuesta de pasos (spans): el prompt de sistema y la pregunta, los pasajes recuperados, cada llamada a herramientas con sus argumentos, la respuesta final, la latencia de cada paso y los tokens consumidos. Herramientas especializadas, algunas de código abierto como Langfuse, muestran estas trazas en forma de árbol.
Hacia un vocabulario común
El proyecto OpenTelemetry, estándar abierto de telemetría de software, mantiene unas convenciones semánticas para la IA generativa: spans, métricas y eventos para clientes de modelos, agentes y el protocolo MCP. Incluyen atributos como gen_ai.request.model (modelo solicitado) o gen_ai.usage.input_tokens (tokens de entrada). La ventaja: cambiar de herramienta de análisis sin volver a instrumentar el código. A 22 de octubre de 2026, estas convenciones siguen en fase «development».
Un ejemplo concreto
Los costes de un agente de reservas de viajes se disparan en una semana. Las trazas revelan que, tras una actualización, el agente vuelve a llamar en bucle a la herramienta de búsqueda de vuelos cuando una fecha es ambigua, y reenvía cada vez todo el historial al modelo. La solución: una pregunta de aclaración al usuario y un límite de iteraciones. Las trazas siguientes confirman la vuelta a la normalidad. Para anticipar este tipo de desvío, nuestra calculadora de coste de agentes ayuda a estimar el presupuesto según el precio por token.
Por qué importa
- Depurar: localizar el paso exacto en el que el agente se desvió.
- Controlar costes: detectar prompts demasiado largos, bucles y llamadas inútiles.
- Evaluar de forma continua: conectar a las trazas controles automáticos, como un LLM como juez que puntúa una muestra de respuestas.
Trampas e ideas falsas
- «Con los logs basta.» Unas líneas de registro aisladas no muestran la cadena causal de los pasos de un agente.
- «Lo registramos todo y ya veremos.» Las trazas contienen datos de usuarios: piense en el RGPD, el enmascaramiento y los plazos de conservación.
- «Observar es evaluar.» Las trazas muestran lo que ocurrió; juzgar si estuvo bien exige criterios y pruebas.
Términos relacionados: evaluación de agentes, orquestación, salvaguardas.
Términos relacionados
- Evaluación de agentes · Métodos para medir si un agente de IA completa de verdad una tarea de principio a fin, de forma fiable, segura y a un coste razonable.
- LLM como juez (LLM-as-a-judge) · Método de evaluación en el que un modelo de lenguaje puntúa o compara las respuestas de otro modelo según una rúbrica, en lugar de un humano.
- Latencia · Tiempo de espera entre el envío de una petición a un modelo de IA y la llegada de su respuesta, desde la primera palabra hasta la última.
- Precio por millón de tokens · Unidad de facturación de las API de IA: una tarifa por cada millón de tokens de entrada y otra, normalmente más alta, por los generados.
- Orquestación de agentes · Coordinación de varias llamadas a modelos, herramientas o agentes de IA: quién hace qué, en qué orden y cómo se unen los resultados.
- Barreras de seguridad (guardrails) · Controles situados alrededor de un modelo de IA para filtrar lo que entra y lo que sale, y bloquear respuestas o acciones no deseadas.
Para probar
Todo el glosario
Preguntas frecuentes
¿En qué se diferencia de la monitorización clásica?
La monitorización clásica vigila sobre todo la disponibilidad, los errores y los tiempos de respuesta. La observabilidad de LLM añade el contenido: prompts, respuestas, documentos recuperados, pasos intermedios de un agente y consumo de tokens, para entender por qué una respuesta es mala.
¿Qué es una traza?
Es el registro completo de una petición, dividido en pasos llamados spans: llamada al modelo, búsqueda documental, llamada a una herramienta. Cada paso conserva sus entradas, salidas, duración y relación con los demás.
¿Existe un estándar?
OpenTelemetry desarrolla convenciones semánticas para la IA generativa que fijan nombres comunes para atributos como el modelo solicitado o el número de tokens de entrada. A 22 de octubre de 2026, esas convenciones siguen marcadas como «en desarrollo».
¿Registrar los prompts plantea problemas de privacidad?
Puede plantearlos: las trazas suelen contener datos personales escritos por los usuarios. Conviene prever enmascaramiento, plazos de conservación limitados y control de accesos, conforme al RGPD. Es información general, no asesoramiento jurídico.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.