Terminal-Bench: poner a prueba un agente de IA en la terminal
Terminal-Bench es un benchmark que encarga a un agente de IA una tarea concreta para que la resuelva solo en una terminal, y luego comprueba automáticamente si el resultado es correcto. Sirve para comparar agentes de programación, y los modelos que los impulsan, en un trabajo parecido al de un desarrollador o un administrador de sistemas.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2025 |
| Introducido por | Merrill, Shaw et al. (Stanford, Laude Institute) |
Qué mide Terminal-Bench
Un agente de IA de programación no se limita a escribir texto: teclea comandos, lee errores, modifica archivos y vuelve a intentarlo. Terminal-Bench comprueba si ese ciclo llega a buen puerto. Cada tarea incluye una instrucción en lenguaje natural, un entorno Docker propio, una solución escrita y verificada por una persona y un script de pruebas que revisa el estado final del contenedor. El agente solo recibe la instrucción y la terminal; la nota depende únicamente de que las pruebas se superen, no de lo convincentes que sean sus explicaciones.
Las tareas se inspiran en situaciones reales: hacer un cálculo científico, configurar una red, analizar datos, llamar a API, jugar a un juego o corregir una vulnerabilidad de seguridad. El resultado principal es una tasa de resolución, que suele publicarse junto con el coste y el número de tokens consumidos.
Origen y versiones
Terminal-Bench se presentó el 19 de mayo de 2025, creado por un equipo de Stanford y del Laude Institute (entre ellos Mike Merrill, Alex Shaw, Ludwig Schmidt y Andy Konwinski). La versión 2.0, publicada en noviembre de 2025, se verificó con mucho más rigor después de que la comunidad detectara tareas inestables, y llegó con una nueva herramienta de evaluación, Harbor. Se describe en el artículo «Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces» (enero de 2026). En 2026 llegaron nuevas revisiones que, entre otras cosas, retiran las tareas «saturadas», es decir, las que todos los modelos recientes resuelven de forma sistemática.
Por qué importa y cuáles son sus límites
Terminal-Bench es uno de los pocos benchmarks que evalúan un agente de principio a fin, modelo y herramientas incluidos. Por eso aparece en tantos anuncios de modelos orientados a la programación agéntica.
Conviene leer las cifras con algunas precauciones:
- La puntuación mide un modelo más un agente. El mismo modelo puede obtener resultados muy distintos según las herramientas que lo rodean.
- Las versiones no son comparables entre sí. Una cifra sin número de versión dice poco.
- Existe riesgo de contaminación. Las tareas son públicas; los autores incluyen una cadena de aviso para que se excluyan de los datos de entrenamiento y retiran las tareas cuya solución circula en internet.
- Un banco de pruebas no es producción. Los contenedores están aislados (sandbox), así que un error no cuesta nada.
Nuestro ranking de IA recoge puntuaciones públicas de benchmarks, con su fecha, y nuestra metodología explica de dónde salen y cómo interpretarlas.
Términos relacionados
- Benchmark · Prueba estandarizada (conjunto fijo de preguntas o tareas puntuadas) que sirve para comparar el rendimiento de varios modelos de IA.
- Evaluación de agentes · Métodos para medir si un agente de IA completa de verdad una tarea de principio a fin, de forma fiable, segura y a un coste razonable.
- SWE-bench · Benchmark que pide a una IA resolver incidencias reales de GitHub en proyectos Python; cada corrección se valida con los tests del proyecto.
- Programación agéntica · Desarrollo de software en el que un agente de IA lee el código, edita archivos, ejecuta pruebas y corrige sus errores en varios pasos, bajo supervisión.
- Sandbox (entorno aislado) · Aislamiento de un agente de IA en un entorno cerrado con archivos, red y comandos limitados, para contener posibles daños.
- Agente de IA · IA que no solo responde: planifica y encadena acciones con herramientas para alcanzar un objetivo que usted le fija.
Todo el glosario
Preguntas frecuentes
¿En qué se diferencia Terminal-Bench de SWE-bench?
SWE-bench pide corregir errores reales en repositorios de código abierto de GitHub y juzga el parche con las pruebas del propio proyecto. Terminal-Bench abarca tareas más variadas en una terminal: redes, datos, seguridad, cálculo científico o juegos. Ambos se complementan.
¿Por qué existen varias versiones?
Los mejores agentes acaban resolviendo algunas tareas en todos los intentos, y esas tareas dejan de servir para distinguirlos. Los responsables publican revisiones que corrigen tareas defectuosas, retiran las saturadas y añaden otras más difíciles. Una puntuación solo tiene sentido junto a su número de versión.
¿Una buena puntuación significa que puedo dejar a un agente solo en mi servidor?
No. El benchmark se ejecuta en contenedores aislados y desechables, donde un error no tiene consecuencias. En una máquina real, mantenga el agente aislado, con permisos mínimos y con validación humana para las acciones delicadas.
¿Quién está detrás de Terminal-Bench?
Lo impulsan investigadores de Stanford y del Laude Institute, junto con una amplia comunidad que propone tareas. El conjunto de tareas y la herramienta de evaluación son públicos en el sitio oficial.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.