SWE-bench

SWE-bench : l'explication

Pour chaque tâche, l’évaluation fournit un état du projet et une demande décrivant un problème à résoudre. L’agent peut examiner les fichiers, chercher les éléments pertinents et modifier le code avec les outils autorisés. Un dispositif de test exécute ensuite des vérifications pour déterminer si la modification satisfait les critères prévus. L’exercice porte donc sur un travail dans un projet existant. Il ne se limite pas à produire une fonction isolée à partir d’une courte consigne sans autre contexte.

Ce benchmark sert à étudier la capacité des systèmes à contribuer à la maintenance de logiciels. La version originale repose sur des problèmes provenant de projets Python publics. La famille comprend plusieurs variantes et sous-ensembles, dont Verified, qui a fait l’objet d’un filtrage humain. Ces noms ne sont pas interchangeables : ils correspondent à des tâches ou à des conditions différentes. Les [classements officiels SWE-bench](https://www.swebench.com/) distinguent ces ensembles afin de permettre une lecture plus précise des résultats publiés.

Un score dépend du modèle, mais aussi de l’agent qui organise ses actions, des outils disponibles et du nombre d’essais. La réussite aux tests ne garantit pas que le code soit parfaitement maintenable ou exempt de tout problème. Les tâches publiques peuvent également avoir été rencontrées pendant l’entraînement, ce qui limite la portée des comparaisons. Pour interpréter un résultat, identifiez donc le sous-ensemble, les règles d’exécution et les ressources utilisées. Une même étiquette générale peut recouvrir des évaluations sensiblement différentes.

Un exemple concret

Vous cherchez un agent pour corriger les erreurs d’un petit outil de réservation. Un résultat SWE-bench vous indique qu’un système sait parfois retrouver et modifier du code pertinent dans des projets existants. Vous lui soumettez ensuite une erreur reproductible dans une copie de votre projet. Vous vérifiez les tests, relisez la modification et contrôlez les autres fonctions. Cet essai complète le benchmark avec votre environnement et vos exigences.

Pourquoi c'est important

SWE-bench apporte un repère utile pour les agents de programmation, surtout lorsqu’ils doivent intervenir dans un dépôt existant. Vérifiez toutefois si le score concerne le modèle seul dans un cadre standardisé ou un système doté de moyens supplémentaires. Pour votre choix, ajoutez la lisibilité des changements, le coût par correction et la facilité de révision. Un résultat public ne remplace pas les tests de votre logiciel ni la validation humaine.

Idées reçues

• Un bon score SWE-bench ne prouve pas qu’un agent peut développer seul n’importe quelle application, car la résolution de problèmes dans des projets existants ne couvre pas toutes les exigences de conception, de sécurité et de maintenance.
• Deux scores SWE-bench ne sont pas directement comparables si les variantes ou les moyens diffèrent, car le sous-ensemble de tâches, les outils, le nombre de tentatives et l’organisation de l’agent influencent la réussite mesurée.

Autres termes : mesurer et comparer

benchmark

Benchmark désigne un test organisé selon des règles définies pour comparer les performances de systèmes.

indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA.

GPQA Diamond

GPQA Diamond est un sous-ensemble sélectionné du benchmark GPQA, composé de questions scientifiques difficiles à choix multiples.

FrontierMath

FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.

OSWorld

OSWorld est une famille de benchmarks et d’environnements qui évaluent des agents réalisant des tâches sur ordinateur.

Terminal-Bench

Terminal-Bench est un ensemble de tests qui mesure la capacité d’un agent IA à accomplir des tâches dans un terminal, une interface où vous saisissez des commandes.

SimpleQA

SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.

AIME (benchmark)

AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 34 pages du site. Quelques-unes :

• Évaluer un agent IA : jeux de tests, métriques, benchmarks publics et suivi en production Guide
• Mesurer les progrès vers l’AGI : benchmarks, leurs limites, saturation et contamination Guide
• Choisir un modèle de langage pour son usage : critères, benchmarks, prix, contexte, licence Guide
• Benchmark LLM : comment lire les classements des modèles Article
• IA agentique : ce que les agents savent vraiment faire en 2026 Article
• GPT-5.3-Codex : prix, contexte et benchmarks Modèle
• Kimi K2.5 : prix, contexte et benchmarks Modèle
• mini-SWE-agent : avis, prix, sécurité et alternatives Agent