LLM como juez: que una IA califique a otra
El LLM como juez (LLM-as-a-judge) es un método de evaluación en el que un modelo de lenguaje puntúa, compara o valida las respuestas de otro sistema siguiendo una rúbrica. Permite evaluar a gran escala respuestas abiertas que las pruebas automáticas clásicas no saben juzgar.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2023 |
| Introducido por | Zheng et al. |
Definición
Dicho de forma sencilla: en lugar de pagar a correctores humanos para leer miles de respuestas, se pide a un modelo de lenguaje que las puntúe según una consigna precisa. Predominan tres formatos:
- Puntuación individual: el juez califica una respuesta según una rúbrica (exactitud, exhaustividad, tono).
- Comparación por pares: el juez indica cuál de dos respuestas es mejor.
- Con referencia: el juez compara la respuesta con una solución esperada.
Origen
El término se consolidó con el artículo «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena», de Zheng y sus coautores, publicado en arXiv en junio de 2023. Analiza tanto la utilidad del método como sus límites: sesgos de posición, de verbosidad y de autocomplacencia, y una capacidad de razonamiento limitada en algunas preguntas.
Un ejemplo concreto
Un banco prueba su asistente de preguntas frecuentes con varios cientos de preguntas reales de clientes. Para cada respuesta, un LLM juez recibe la pregunta, los extractos de documentación recuperados y una rúbrica: «1. ¿Se basa la respuesta únicamente en los extractos? 2. ¿Contiene información inventada? 3. ¿La entendería un cliente no especialista? Justifica y después puntúa». El equipo pide además a varios asesores que califiquen una muestra, para comprobar que el juez coincide con ellos antes de encargarle la evaluación de cada nueva versión.
Por qué importa
Los benchmarks de respuesta cerrada no miden la calidad de un texto libre, un resumen o una conversación. El LLM juez hace posible la evaluación de agentes y asistentes a gran escala, cada vez que cambia un prompt o un modelo. Conectado a las trazas de producción mediante la observabilidad de LLM, permite además vigilar la calidad de forma continua.
Buenas prácticas e ideas falsas
- «El juez siempre acierta.» Falso: calíbrelo con una muestra puntuada por personas.
- Invierta el orden de las respuestas comparadas para neutralizar el sesgo de posición.
- Pida una justificación antes de la nota, y criterios precisos en lugar de «¿es una buena respuesta?».
- Desconfíe de las respuestas largas: a igual calidad, el juez puede sobrevalorarlas, un ejemplo de sesgo que conviene vigilar.
Términos relacionados: modelo de recompensa, benchmark, evaluación de agentes.
Términos relacionados
- Evaluación de agentes · Métodos para medir si un agente de IA completa de verdad una tarea de principio a fin, de forma fiable, segura y a un coste razonable.
- Benchmark · Prueba estandarizada (conjunto fijo de preguntas o tareas puntuadas) que sirve para comparar el rendimiento de varios modelos de IA.
- Observabilidad de LLM · Conjunto de trazas, métricas y registros que muestran qué hace una aplicación de IA: prompts, respuestas, herramientas usadas, coste y latencia.
- Sesgo de la IA · Error sistemático por el que una IA trata peor a ciertos grupos o repite estereotipos, a menudo heredado de sus datos.
- Modelo de recompensa · Modelo auxiliar que puntúa una respuesta prediciendo la preferencia humana y sirve de señal para entrenar a otro modelo.
Todo el glosario
Preguntas frecuentes
¿Es un LLM juez tan fiable como una persona?
En algunas tareas se acerca. El artículo de 2023 que popularizó el método indica que un juez potente como GPT-4 alcanza más del 80 % de acuerdo con las preferencias humanas, un nivel similar al acuerdo entre personas. No vale para todos los ámbitos: conviene comprobarlo con sus propios datos.
¿Qué sesgos se le conocen?
Los investigadores han descrito un sesgo de posición (preferir la primera o la segunda respuesta), un sesgo de verbosidad (preferir las respuestas largas) y un sesgo de autocomplacencia (preferir las respuestas de su propio modelo). El juez también puede equivocarse en razonamientos matemáticos o lógicos.
¿Puede el mismo modelo ser candidato y juez?
Es posible, pero arriesgado por el sesgo de autocomplacencia. Usar un juez de otra familia de modelos, o varios jueces, reduce ese riesgo.
¿En qué se diferencia de un modelo de recompensa?
Un modelo de recompensa se entrena específicamente para producir una puntuación que se usa en el aprendizaje por refuerzo. Un LLM juez es un modelo generalista guiado por un prompt y una rúbrica, que se usa sobre todo para evaluar.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.