SWE-bench : mesurer si une IA sait corriger de vrais bugs

D’où vient SWE-bench

Le benchmark a été présenté dans l’article « SWE-bench: Can Language Models Resolve Real-World GitHub Issues? » (Carlos E. Jimenez, John Yang et al., Princeton, octobre 2023, publié à ICLR 2024). Les auteurs ont rassemblé 2 294 problèmes tirés de vrais tickets GitHub et des corrections associées, dans 12 projets Python populaires. Leur constat de départ : les benchmarks de code existants, faits de petits exercices isolés, ne reflétaient plus la difficulté du travail réel.

Ce qu’il mesure

Pour chaque tâche, le système reçoit le dépôt de code dans l’état où il était au moment du ticket, et la description du problème. Il doit produire un correctif. On applique ensuite ce correctif et on lance des tests choisis : ceux qui échouaient avant la vraie correction doivent passer, et ceux qui passaient doivent continuer de passer. Résoudre une tâche demande donc de naviguer dans un projet entier, de comprendre l’existant et souvent de modifier plusieurs fichiers : exactement ce que fait un agent de codage agentique.

Plusieurs variantes existent désormais : Lite (plus petite et moins coûteuse), Verified (relue par des humains), Multilingual (au-delà de Python) et Multimodal (tickets avec images).

Ses limites

• Un périmètre précis : la version d’origine ne couvre que Python et des bibliothèques open source connues. Les résultats ne disent rien, par exemple, d’une application d’entreprise ou d’un autre langage.
• La contamination : les tickets et leurs corrections sont publics depuis longtemps et peuvent avoir été vus pendant l’entraînement des modèles.
• Des tests imparfaits : un correctif peut passer les tests tout en étant fragile, illisible ou incomplet. La qualité du code n’est pas notée.
• La dépendance au montage : le score mesure un modèle avec un outillage donné, pas un modèle seul.

Pourquoi ça compte

SWE-bench a fait passer l’évaluation d’agents de questions isolées à des tâches de bout en bout vérifiables automatiquement. Il reste un bon indicateur de tendance, à croiser avec d’autres mesures comme Terminal-Bench. Les scores à jour figurent dans le classement, et notre méthodologie précise d’où ils viennent.

Idée reçue

• « Un score élevé veut dire que l’IA code comme un ingénieur. » Il veut dire qu’elle résout bien ce type de ticket, dans ces conditions de test.