Evaluación de agentes de IA: métodos, métricas y trampas

Nivel	Avanzado

Por qué evaluar un agente es más difícil

Un benchmark de preguntas y respuestas compara un texto con una solución. Un agente de IA, en cambio, encadena acciones: busca, llama a herramientas, modifica archivos. Dos agentes pueden llegar al mismo resultado por caminos muy distintos, y un mismo agente puede acertar y luego fallar en la misma tarea. Por eso la evaluación debe mirar el estado final del entorno, la traza de ejecución, la regularidad, el coste y los efectos no deseados.

El vocabulario básico

En su guía «Demystifying evals for AI agents» (enero de 2026), Anthropic propone un vocabulario que se ha generalizado:

Tarea: una prueba con entradas definidas y un criterio de éxito.
Intento (trial): una ejecución; se hacen varias porque los resultados varían.
Evaluador (grader): la lógica que puntúa. Puede ser código (rápido y objetivo), un modelo (LLM como juez, flexible pero hay que calibrarlo) o una persona (la referencia de calidad, pero lenta y cara).
Transcripción: el registro completo de un intento, llamadas a herramientas incluidas.
Resultado: el estado final del entorno.

La misma guía distingue dos medidas: la probabilidad de acertar al menos una vez en varios intentos y la de acertar todas las veces. La primera mide el potencial; la segunda, la fiabilidad que cabe esperar en producción.

Un ejemplo concreto

Un equipo prueba un agente que modifica reservas de viaje. Cada tarea fija un estado esperado en la base de datos («el vuelo pasa al día siguiente sin coste adicional»). Un script comprueba ese estado; un modelo juez verifica que el tono del mensaje al cliente es adecuado; una persona revisa una muestra. Cada tarea se repite varias veces para medir la regularidad.

Benchmarks públicos y sus límites

Benchmarks como AgentBench (Liu et al., 2023), SWE-bench para código o Terminal-Bench para la línea de comandos ofrecen puntos de referencia comunes. Pero cada uno mide una situación concreta y puede estar contaminado por los datos de entrenamiento. Nuestra metodología explica cómo muestra el sitio estas puntuaciones.

Ideas falsas frecuentes

«Una buena puntuación pública garantiza un buen agente para mí». Solo sus propias tareas miden su caso de uso.
«Basta con mirar la puntuación global». Leer las trazas de los fallos suele enseñar más que la media, y la observabilidad de LLM prolonga ese trabajo en producción.

Términos relacionados

Benchmark · Prueba estandarizada (conjunto fijo de preguntas o tareas puntuadas) que sirve para comparar el rendimiento de varios modelos de IA.

LLM como juez (LLM-as-a-judge) · Método de evaluación en el que un modelo de lenguaje puntúa o compara las respuestas de otro modelo según una rúbrica, en lugar de un humano.

SWE-bench · Benchmark que pide a una IA resolver incidencias reales de GitHub en proyectos Python; cada corrección se valida con los tests del proyecto.

Terminal-Bench · Benchmark que mide si un agente de IA es capaz de completar por sí solo tareas reales y difíciles en una terminal de línea de comandos.

Observabilidad de LLM · Conjunto de trazas, métricas y registros que muestran qué hace una aplicación de IA: prompts, respuestas, herramientas usadas, coste y latencia.

Preguntas frecuentes

¿En qué se diferencia de un benchmark clásico?

Un benchmark clásico plantea una pregunta y compara la respuesta con una solución. Un agente actúa en varios pasos dentro de un entorno, así que hay que comprobar el estado final (¿se ha corregido el archivo?, ¿existe la reserva?) y a menudo revisar el recorrido, no solo el último mensaje.

¿Puede otra IA evaluar a mi agente?

Sí, es el método del LLM como juez, útil para tareas abiertas como la redacción. Debe calibrarse con juicios humanos, porque el modelo juez tiene sus propios sesgos. Las comprobaciones por código siguen siendo preferibles cuando el resultado se puede verificar de forma objetiva.

¿Por dónde empezar con mi propio agente?

Por una pequeña serie de tareas realistas, sacadas de fallos que haya observado, cada una con un criterio de éxito en el que dos expertos estarían de acuerdo. Ejecútelas tras cada cambio de prompt, herramienta o modelo, y lea las trazas de los fallos.

¿Por qué repetir varias veces la misma tarea?

Porque un agente no es determinista: puede acertar una vez y fallar la siguiente. Medir el éxito en varios intentos distingue a un agente capaz «a veces» de uno fiable «siempre».

Evaluación de agentes: medir lo que un agente de IA logra de verdad

Lo esencial en cifras