Classement des IA de la semaine

Comment lire le classement

Chaque ligne du tableau correspond à un modèle d’IA, c’est-à-dire le « moteur » qui fait fonctionner un assistant comme ChatGPT, Claude ou Gemini. La colonne principale est le score composite : une note sur 100 qui résume les performances du modèle sur plusieurs tests publics. Plus elle est élevée, mieux le modèle s’est comporté par rapport aux autres modèles évalués.

Quelques repères pour tirer le meilleur du tableau :

• Les flèches indiquent si un modèle a gagné ou perdu des places depuis le classement précédent. Un modèle qui apparaît pour la première fois est marqué « nouveau ». Lors de la toute première édition, il n’y a pas encore de classement précédent : la colonne de variation n’apparaît qu’à partir de la mise à jour suivante.
• Les filtres permettent de n’afficher que les modèles ouverts (dont les « poids », les paramètres appris pendant l’entraînement, sont téléchargeables) ou fermés (utilisables seulement via le service de leur fabricant), ceux d’un fabricant précis ou d’un pays donné.
• Le tri se fait en cliquant sur l’en-tête d’une colonne : vous pouvez par exemple classer les modèles selon un seul benchmark plutôt que selon le score global.
• Le survol du nom d’un benchmark affiche une courte explication de ce qu’il mesure.

Sous le tableau, le graphique « meilleur score par mois » montre comment le niveau du modèle de tête évolue dans le temps, et l’historique des numéros 1 retrace quels modèles ont occupé la première place. Ces deux vues aident à prendre du recul : la première place se joue souvent à peu de chose et change régulièrement de mains.

Un benchmark, c’est quoi ?

Un benchmark est un examen standardisé pour les modèles d’IA. On soumet à chaque modèle la même série de questions ou de tâches, on corrige les réponses de façon automatique, et l’on obtient un score comparable d’un modèle à l’autre. C’est un peu comme un concours : tous les candidats passent la même épreuve, dans les mêmes conditions.

Le classement s’appuie sur un panier fixe de benchmarks qui couvrent plusieurs familles de compétences :

• le raisonnement scientifique, avec des questions de niveau avancé en sciences ;
• les mathématiques, avec des problèmes qui demandent plusieurs étapes de raisonnement ;
• le code, où le modèle doit écrire ou corriger des programmes ;
• les tâches agentiques en terminal, où le modèle se comporte comme un agent : il enchaîne lui-même des commandes sur un ordinateur pour atteindre un objectif, sans être guidé à chaque étape.

Notre méthode en bref

Les scores bruts proviennent de l’AI Benchmarking Hub d’Epoch AI, un organisme de recherche indépendant qui publie ses évaluations en accès libre. À chaque reconstruction hebdomadaire du site, le lundi, le calcul suit trois étapes :

1. Normalisation par benchmark : pour chaque test, le meilleur modèle reçoit 100 et le moins bon reçoit 0 ; les autres se placent proportionnellement entre les deux. Cette normalisation dite « min-max » rend comparables des tests dont les échelles de notes sont très différentes.
2. Moyenne : le score composite d’un modèle est la moyenne de ses scores normalisés sur les benchmarks où il a été évalué.
3. Seuil minimal : un modèle n’entre dans le classement que s’il dispose de résultats sur au moins 4 benchmarks du panier, pour éviter qu’une seule épreuve réussie ne le propulse en tête.

Le tableau affiche ensuite le top 30. Le détail complet, y compris le calcul des variations d’une semaine à l’autre, est expliqué sur la page méthodologie.

Ce que le classement ne dit pas

Un score composite est un indicateur utile, pas un verdict. Gardez en tête ses limites :

• Un score n’est pas votre expérience réelle. Les benchmarks mesurent des compétences précises dans des conditions contrôlées. Pour rédiger un courriel, résumer un document en français ou discuter au quotidien, un modèle moins bien classé peut parfaitement vous convenir, et coûter bien moins cher.
• La contamination des tests. Si les questions d’un benchmark se sont retrouvées dans les données d’entraînement d’un modèle, celui-ci peut « connaître les réponses » sans vraiment savoir raisonner. Les organismes d’évaluation cherchent à limiter ce risque, mais personne ne peut l’exclure totalement.
• Les modèles non évalués. Un modèle absent du tableau n’est pas forcément moins bon : il n’a peut-être pas encore été testé, ou pas sur assez de benchmarks. Les modèles très récents apparaissent souvent avec un décalage.
• Les écarts serrés. Quand deux modèles sont séparés de quelques points, la différence n’est pas forcément perceptible à l’usage. Le score dépend aussi des modèles présents : l’arrivée d’un nouveau champion peut faire bouger les scores des autres sans qu’ils aient changé.
• Le prix, la vitesse et la confidentialité ne comptent pas. Le classement ne mesure que les résultats aux tests.

Et ensuite ?

Le classement vous donne une première idée des modèles les plus performants. Pour aller plus loin selon votre profil :

• Vous hésitez entre plusieurs modèles pour un projet ? Mettez-les côte à côte dans le comparateur de modèles : prix, fenêtre de contexte, capacités et scores y sont alignés.
• Vous voulez explorer toutes les fiches, filtrer par fabricant ou par prix ? Parcourez l’index des modèles.
• Vous utilisez l’IA au quotidien sans vous soucier des benchmarks ? Le quiz « Quelle IA est faite pour moi ? » vous oriente vers un assistant adapté à votre usage, votre budget et votre appareil.
• Un terme vous échappe ? Le glossaire l’explique simplement.