SWE-bench: ¿sabe una IA corregir errores reales?

De dónde viene SWE-bench

El benchmark se presentó en el artículo «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?» (Carlos E. Jimenez, John Yang et al., Princeton, octubre de 2023, publicado en ICLR 2024). Los autores reunieron 2294 problemas extraídos de incidencias reales de GitHub y de sus correcciones, en 12 proyectos Python populares. Su punto de partida: los benchmarks de código existentes, hechos de pequeños ejercicios aislados, ya no reflejaban la dificultad del trabajo real.

Qué mide

En cada tarea, el sistema recibe el repositorio tal como estaba cuando se abrió la incidencia, junto con su descripción. Debe producir un parche. Después se aplica ese parche y se ejecutan tests seleccionados: los que fallaban antes de la corrección real deben pasar, y los que ya pasaban deben seguir pasando. Resolver una tarea exige, por tanto, moverse por un proyecto completo, entender el código existente y a menudo modificar varios archivos: justo lo que hace una herramienta de programación agéntica.

Hoy existen varias variantes: Lite (más pequeña y barata de ejecutar), Verified (revisada por personas), Multilingual (más allá de Python) y Multimodal (incidencias con imágenes).

Sus límites

• Un ámbito concreto: la versión original solo cubre Python y bibliotecas de código abierto conocidas. Los resultados no dicen nada, por ejemplo, de una aplicación interna de empresa o de otro lenguaje.
• La contaminación: las incidencias y sus correcciones son públicas desde hace tiempo y pueden haberse visto durante el entrenamiento de los modelos.
• Tests imperfectos: un parche puede pasar los tests y ser frágil, ilegible o incompleto. La calidad del código no se puntúa.
• La dependencia del montaje: la puntuación mide un modelo con unas herramientas concretas, no un modelo aislado.

Por qué importa

SWE-bench llevó la evaluación de agentes de las preguntas aisladas a tareas completas que se verifican automáticamente. Sigue siendo un buen indicador de tendencia, que conviene cruzar con otras medidas como Terminal-Bench. Las puntuaciones actualizadas figuran en el ranking de IA, y nuestra metodología explica de dónde proceden.

Una idea falsa frecuente

• «Una puntuación alta significa que la IA programa como un ingeniero». Significa que resuelve bien este tipo de incidencia, en estas condiciones de prueba.