FRENES

Glossaire · Mesurer et comparer

Indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA. Appelé ECI en anglais, il estime une capacité générale à partir de ces évaluations, sans représenter directement un pourcentage de réussite dans votre activité.

Indice de capacités d'Epoch AI : l'explication

L’ECI relie des benchmarks grâce aux modèles qui ont été évalués sur plusieurs d’entre eux. Ces résultats communs permettent d’estimer statistiquement la difficulté relative des tests et de placer les modèles sur une même échelle. Il ne s’agit donc pas d’une simple moyenne de pourcentages. Un résultat sur un test difficile peut apporter une information différente d’un résultat sur un test facile. La [présentation officielle de l’ECI](https://epoch.ai/data/eci-documentation) décrit ce principe de rapprochement entre les évaluations.

Cet indice sert à suivre des capacités lorsque les tests disponibles ne sont pas tous identiques ou deviennent moins discriminants. Un benchmark ancien peut être presque entièrement réussi par les modèles récents, tandis qu’un nouveau test reste difficile. Une échelle commune cherche à relier ces observations pour faciliter les comparaisons. Pour vous, l’intérêt est de disposer d’un repère synthétique avant d’examiner les résultats détaillés. Ce repère concerne les capacités couvertes par les données disponibles, pas toutes les qualités d’un assistant.

Les valeurs de l’ECI sont exprimées sur une échelle conventionnelle. Elles ne correspondent ni à un taux de réussite universel ni à une mesure directe de productivité. Les estimations peuvent évoluer lorsque de nouveaux modèles ou résultats sont ajoutés au calcul. L’indice conserve aussi certaines limites des benchmarks qui l’alimentent, notamment les différences de protocole et les risques de contamination. Un modèle spécialisé peut être utile dans votre domaine sans occuper la meilleure position sur cet indicateur général.

Un exemple concret

Vous comparez des modèles pour un assistant qui résumera des documents et répondra à des questions. L’un obtient un ECI supérieur, ce qui vous donne un premier signal sur ses résultats généraux. Vous examinez ensuite ses capacités dans vos langues et testez des documents représentatifs. Un autre modèle peut finalement mieux convenir à vos contraintes de coût ou de délai, même si sa position dans l’indice est moins élevée.

Pourquoi c'est important

L’ECI peut simplifier une comparaison entre modèles évalués sur des ensembles de tests différents. Il faut néanmoins conserver la date de consultation et comprendre que l’estimation peut être révisée. Pour choisir un agent, ajoutez des critères sur les outils, les autorisations et l’exécution réelle des tâches. L’indice ne décrit pas à lui seul la confidentialité, le prix du service, la stabilité des réponses ou la qualité de son interface.

Idées reçues

  • Une valeur d’ECI ne représente pas un pourcentage de tâches que le modèle réussira pour vous, car elle situe des résultats sur une échelle statistique commune plutôt que dans un ensemble universel de demandes quotidiennes.
  • Un indice composite n’efface pas les limites des tests utilisés pour le calculer, car des données incomplètes, des protocoles différents ou une exposition préalable aux questions peuvent encore influencer les comparaisons entre les modèles évalués.

Autres termes : mesurer et comparer

benchmark
Benchmark désigne un test organisé selon des règles définies pour comparer les performances de systèmes.
SWE-bench
SWE-bench est un benchmark qui évalue la résolution de problèmes logiciels issus de projets réels.
GPQA Diamond
GPQA Diamond est un sous-ensemble sélectionné du benchmark GPQA, composé de questions scientifiques difficiles à choix multiples.
FrontierMath
FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.
OSWorld
OSWorld est une famille de benchmarks et d’environnements qui évaluent des agents réalisant des tâches sur ordinateur.
Terminal-Bench
Terminal-Bench est un ensemble de tests qui mesure la capacité d’un agent IA à accomplir des tâches dans un terminal, une interface où vous saisissez des commandes.
SimpleQA
SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.
AIME (benchmark)
AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 9 pages du site. Quelques-unes :

Pour aller plus loin

Questions fréquentes

Est-ce une moyenne de scores ?

Pas une moyenne arithmétique ordinaire. L’ECI utilise les recouvrements entre évaluations pour estimer une échelle commune de capacité et de difficulté. Les benchmarks n’apportent donc pas tous la même information au calcul final de l’indice.

Pourquoi une valeur peut-elle changer ?

Le calcul relie l’ensemble des observations disponibles. L’ajout de modèles ou de résultats peut modifier les estimations, même sans nouvelle évaluation du modèle consulté. Il est utile de conserver la date et la version des données comparées.

L’ECI suffit-il pour choisir un agent ?

Non. Il synthétise certaines capacités du modèle à partir de benchmarks. Un agent dépend aussi de ses outils, de ses instructions et de ses limites d’action. Testez votre scénario et comparez les coûts, délais et contrôles disponibles.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons