Dossier AGI · Débutant · 10 min
L'ARC Prize : la compétition, ses règles, ses éditions, ses résultats et ce qu'ils ont appris
L'ARC Prize récompense des méthodes ouvertes sur ARC-AGI. Comprenez ses règles, les résultats des éditions et ce que ces scores permettent de conclure.
L’ARC Prize est une compétition de recherche qui récompense des solutions ouvertes et reproductibles aux tests ARC-AGI, ainsi que les travaux qui expliquent leurs méthodes. Son intérêt dépasse le classement : il permet d’étudier comment les systèmes découvrent une règle, apprennent pendant une tâche et utilisent leurs ressources. Au 24 octobre 2026, les éditions 2024 et 2025 sont closes ; l’édition 2026 reste en cours.
ARC Prize et ARC-AGI : le concours et son instrument de mesure
ARC-AGI est le test ; ARC Prize fournit un cadre pour organiser la recherche autour de ce test. Il faut garder cette distinction lorsque vous lisez une annonce : réussir des tâches publiques, obtenir une évaluation contrôlée et remporter une récompense sont des événements différents.
Dans les tâches statiques, le système reçoit des exemples de grilles d’entrée et de sortie. Il doit déduire la transformation puis produire la sortie d’une nouvelle entrée. La difficulté vient de la règle à découvrir, plutôt que d’une consigne détaillée à exécuter. Notre page de référence sur ARC-AGI présente le test et ses différentes générations.
François Chollet expose le fondement de cette démarche dans On the Measure of Intelligence, publié en novembre 2019. Il distingue la compétence acquise de l’efficacité avec laquelle un système acquiert une compétence nouvelle. Dans cette perspective, une mesure de l’intelligence doit tenir compte des connaissances préalables, de l’expérience disponible et de la difficulté de généralisation.
Le concours transforme cette question scientifique en problème expérimental. Une équipe propose une méthode ; une évaluation mesure son comportement ; la publication permet à d’autres équipes d’examiner ce qui fonctionne. La généralisation reste l’objet de recherche, tandis que le score constitue un indicateur opérationnel.
Cela évite une confusion : ARC Prize ne délivre pas une certification universelle d’intelligence. Il organise des comparaisons sous certaines conditions. Pour situer ces travaux parmi d’autres approches, vous pouvez consulter le dossier AGI et recherche.
Ce qu’une soumission doit réellement accomplir
Prenons un exemple pédagogique, qui ne reproduit aucune tâche officielle. Des grilles montrent des objets colorés et leur résultat transformé. Une hypothèse serait de déplacer chaque objet jusqu’à une bordure ; une autre, de compléter une symétrie. Une solution doit départager ces possibilités à partir des exemples disponibles.
Une méthode convaincante doit expliquer tous les exemples, puis fonctionner sur l’entrée dont la réponse est cachée. Trouver une transformation compatible avec un seul exemple ne suffit pas : plusieurs règles peuvent produire le même résultat apparent.
Pour lire une soumission, distinguez donc plusieurs opérations :
- représenter les grilles, les objets ou les relations ;
- proposer des hypothèses de transformation ;
- vérifier leur compatibilité avec les exemples ;
- sélectionner une réponse à soumettre ;
- respecter les contraintes de calcul et de format.
Cette décomposition sert à analyser un système sans supposer son architecture. Une méthode peut produire directement une grille ; une autre peut construire un programme qui génère cette grille. Le résultat visible ne vous indique pas, à lui seul, le chemin suivi.
La notion de benchmark aide ici : un test définit une procédure d’observation. Il faut examiner cette procédure avant d’interpréter la performance. Notre article ARC-AGI expliqué propose une entrée plus courte dans le fonctionnement des énigmes.
Pour votre lecture, la question utile devient : quelle information le système possédait-il avant de répondre, et quelles opérations a-t-il pu effectuer ? Cette question reste pertinente même lorsque les scores progressent fortement.
Les éditions closes : résultats et comparaisons possibles
Les palmarès des éditions closes donnent des points de repère historiques. Ils doivent toujours être accompagnés du test utilisé : les pourcentages de générations différentes ne représentent pas une même difficulté.
| Critère | Édition 2024 | Édition 2025 |
|---|---|---|
| Test du concours | ARC-AGI-1 | ARC-AGI-2 |
| Première équipe au classement des scores | the ARChitects | NVARC |
| Score privé publié, arrondi | 53,5 % | 24,0 % |
| Grand prix de l’édition | Non remporté | Non remporté |
| Autre voie de reconnaissance | Prix de publications scientifiques | Prix de publications scientifiques |
Pour 2024, les valeurs proviennent du palmarès officiel de l’ARC Prize 2024, consulté le 24 octobre 2026. Pour 2025, le bilan officiel publié le 5 décembre 2025 donne notamment 24,03 % à NVARC, 16,53 % aux ARChitects et 12,64 % à MindsAI sur l’évaluation privée ARC-AGI-2.
La baisse apparente du score gagnant entre ces éditions ne démontre pas une régression. Le test a changé : comparer les pourcentages sans préciser leur support revient à comparer des notes obtenues à des examens différents.
Il faut également distinguer la meilleure soumission d’une édition et le meilleur résultat obtenu ultérieurement sur le même benchmark. Un palmarès demeure un résultat historique, attaché à une clôture et à un règlement.
Enfin, remporter le classement des scores ne signifie pas automatiquement avoir atteint l’objectif principal. Les récompenses intermédiaires permettent précisément de reconnaître un progrès quand le seuil visé reste hors d’atteinte. Cette séparation donne au concours une continuité : une édition peut produire des méthodes utiles sans résoudre tout le problème.
Ce que les travaux récompensés ont apporté
Les prix scientifiques ouvrent une autre lecture du concours. Ils permettent de s’intéresser à une idée explicative, à sa reproductibilité et à ses possibilités de réutilisation, au-delà de la première place.
Le palmarès 2024 distingue notamment les travaux de Li et ses coauteurs sur la combinaison de l’induction et de la transduction, ainsi que ceux d’Akyürek et ses coauteurs sur l’entraînement au moment du test. En 2025, les approches récompensées comprennent les réseaux récursifs d’Alexia Jolicoeur-Martineau, la synthèse évolutive de programmes de Julien Pourcel, Cédric Colas et Pierre-Yves Oudeyer, et les travaux sans préentraînement d’Isaac Liao et Albert Gu.
La présentation officielle des lauréats 2025 décrit ces pistes et les solutions du classement. Leur diversité invite à éviter une lecture unique des progrès : modifier les paramètres, affiner une réponse et rechercher un programme sont des mécanismes différents.
Pour les comprendre, vous pouvez raisonner avec des questions concrètes. Le système corrige-t-il sa représentation du problème ? Essaie-t-il plusieurs solutions ? Apprend-il une transformation propre à la tâche ? Conserve-t-il une connaissance réutilisable ?
L’enseignement méthodologique est que la réponse finale ne suffit pas à expliquer la réussite. Il faut examiner ce qui change pendant la résolution et ce qui était déjà présent avant elle.
Cela ne désigne pas automatiquement une architecture gagnante pour l’intelligence générale. Une technique efficace sur les grilles doit encore montrer son intérêt ailleurs. Le concours fournit des expériences et des pistes ; leur portée dépend ensuite des vérifications que d’autres chercheurs peuvent mener.
En 2026, plusieurs pistes et des objectifs distincts
L’édition 2026 élargit le cadre. Le calendrier officiel de l’ARC Prize 2026, consulté le 24 octobre 2026, annonce une enveloppe de 2 millions de dollars et trois pistes : ARC-AGI-2, ARC-AGI-3 et les publications scientifiques.
Le lancement est daté du 25 mars 2026. La remise du code est annoncée pour le 2 novembre, celle des publications pour le 8 novembre et les résultats pour le 4 décembre 2026. Ces échéances expliquent pourquoi cette page ne présente aucun vainqueur final de l’édition.
La piste ARC-AGI-2 de 2026 vise 85 % de réussite sur son évaluation privée dans les limites d’efficacité du concours. Elle annonce 700 000 dollars répartis entre récompenses de progression, évaluation d’un document de solution et bonus conditionnel au seuil.
Cette répartition mérite attention : le terme « grand prix » n’a pas forcément la même condition d’une piste ou d’une année à l’autre. Pour ARC-AGI-2 en 2026, la page distingue le prix du document de solution du bonus lié au score cible.
Lorsque vous consultez un montant, posez donc trois questions : quelle catégorie finance-t-il, quelle condition le déclenche et est-il garanti ? Une enveloppe annoncée ne correspond pas nécessairement à une somme intégralement distribuée.
Pour participer, utilisez le règlement de la piste et le calendrier de la plateforme de soumission. Une page de synthèse explique l’organisation ; elle ne remplace pas les conditions détaillées applicables à votre dossier.
Les règles : ouverture, reproductibilité et ressources
Le cadre général de 2026 exige des solutions ouvertes et reproductibles pour recevoir les récompenses. Il prévoit aussi une évaluation Kaggle sans accès à Internet : une soumission ne peut donc pas appeler une API distante pendant cette exécution.
L’ouverture doit être comprise comme une possibilité d’examen. Pour analyser une méthode, le lecteur doit pouvoir identifier les composants utilisés, les transformations des données et les opérations nécessaires pour retrouver le résultat. Un simple pourcentage accompagné d’une description vague laisse trop de questions ouvertes.
Les ressources constituent une autre dimension du résultat. Comparez, par exemple, ces situations hypothétiques :
| Critère | Système évalué localement | Système utilisant un service distant |
|---|---|---|
| Exécution | Composants disponibles dans l’environnement | Dépendance à un service extérieur |
| Ressources à documenter | Matériel, mémoire, durée | Appels, calcul distant, durée |
| Reproduction | Dépend des artefacts fournis | Dépend aussi de l’accès au service |
| Admissibilité au concours | À vérifier dans le règlement | Incompatible avec une évaluation sans Internet si des appels sont nécessaires |
Ce tableau ne classe pas les approches par qualité. Il montre pourquoi un résultat obtenu dans une configuration ne peut pas être transféré automatiquement à une autre.
Avant de comparer des équipes, vérifiez notamment le temps autorisé, le matériel, les données supplémentaires et les conditions de publication. Ne reprenez pas les limites d’une ancienne édition par habitude.
Une comparaison utile conserve ces contraintes à côté du score. Vous pouvez alors distinguer une amélioration de méthode d’une augmentation des ressources disponibles, ou signaler que les deux ont changé.
ARC-AGI-3 ajoute l’apprentissage par interaction
La piste ARC-AGI-3 de 2026 demande à des agents d’interagir avec des environnements nouveaux sans instructions fournies. Elle met l’accent sur l’exploration, la construction d’un modèle de l’environnement, l’identification d’objectifs et la planification.
Son enveloppe annoncée au 24 octobre 2026 est de 850 000 dollars. Elle comprend un grand prix conditionné à un score de 100 %, des récompenses de classement et des prix d’étape. Le seuil relève du protocole d’évaluation ; il ne doit pas être présenté comme une déclaration d’AGI.
L’interaction change la nature des erreurs à examiner. Dans une énigme statique, vous observez principalement une réponse. Dans un environnement, vous pouvez aussi demander si les actions du système lui ont appris quelque chose.
Un exemple pédagogique permet de voir la différence. Un agent rencontre un élément dont il ignore l’effet. Il peut agir pour tester une hypothèse, observer le changement puis adapter sa stratégie. Une action qui n’atteint pas immédiatement l’objectif peut être utile si elle réduit l’incertitude.
Inversement, répéter une action sans exploiter son résultat peut révéler un défaut d’apprentissage. Il faut donc examiner les trajectoires, les informations conservées et les décisions successives.
Cette perspective rapproche l’évaluation d’une question pratique : comment un système devient-il compétent dans une situation inconnue ? Elle ne supprime pas le besoin de contrôler les ressources. Explorer longtemps et apprendre efficacement restent deux propriétés à distinguer.
Les résultats de modèles hors concours changent la lecture
Une évaluation publiée peut atteindre un niveau élevé sans constituer une soumission admissible au prix. Cette distinction est particulièrement nécessaire en 2026, lorsque vous rencontrez des scores proches des seuils du concours.
Le 3 septembre 2026, ARC Prize rapporte pour GPT-6 Astra 62,7 % sur ARC-AGI-3 semi-privé avec son dispositif standard, contre 99,9 % avec un dispositif adapté au fournisseur. Les coûts totaux annoncés sont respectivement d’environ 26 000 et 19 000 dollars pour ces évaluations. Le compte rendu officiel de cette évaluation précise les conditions et indique que ce résultat ne constitue pas une preuve d’AGI.
L’écart montre pourquoi le nom du modèle ne suffit pas à décrire l’expérience. La conservation d’informations entre étapes et le dispositif qui entoure les appels peuvent modifier fortement le comportement observé.
Pour interpréter une annonce, distinguez donc :
- le modèle utilisé ;
- le système complet qui le fait agir ;
- le jeu de tâches évalué ;
- les ressources consommées ;
- le statut du résultat dans le concours.
Cette séparation permet de reconnaître un progrès sans lui attribuer une récompense non annoncée. Elle évite aussi de traiter un score semi-privé comme s’il provenait de l’évaluation privée finale du concours.
Notre article sur la lecture des classements de modèles développe cette méthode. Le réflexe reste simple : cherchez les conditions de mesure avant de comparer les chiffres affichés.
Ce que les résultats permettent de discuter
La question scientifique ne se réduit pas à choisir entre apprentissage profond et programmes symboliques. Les travaux récompensés explorent plusieurs manières de représenter un problème, de chercher et de corriger une solution.
Les positions divergent aussi sur ce qu’une réussite expliquerait. François Chollet met l’accent sur l’efficacité d’acquisition de compétences nouvelles. D’autres contributions reconnues par le concours défendent l’intérêt de poursuivre des approches d’apprentissage profond : les travaux de Jack Cole et Mohamed Osman figurent ainsi parmi les mentions de 2025. Une bonne performance ne tranche pas, à elle seule, toutes les questions théoriques.
Pour juger une explication, demandez ce qui a été isolé expérimentalement. Si une équipe modifie simultanément les données, l’architecture et le budget de recherche, l’amélioration globale ne permet pas d’attribuer tout le gain à un seul changement.
Demandez également ce qui se transfère. Une procédure conçue pour reconnaître des objets dans une grille peut apporter une idée utile sans démontrer une capacité générale sur des documents, des interactions sociales ou des situations physiques.
Ces réserves ne rendent pas les scores inutiles. Elles précisent leur fonction : départager des systèmes dans un cadre contrôlé, puis ouvrir des expériences plus ciblées.
Vous pouvez ainsi lire chaque édition comme un ensemble de résultats et d’hypothèses. Le classement établit une performance ; les publications proposent des explications ; les reproductions et les nouvelles évaluations déterminent jusqu’où ces explications tiennent.
Comment suivre durablement l’ARC Prize
Pour suivre le concours sans confondre ses différentes annonces, conservez une petite fiche pour chaque résultat : édition, piste, équipe, score, jeu d’évaluation, ressources et statut de publication. Ajoutez la date de consultation lorsque le classement évolue.
Séparez ensuite les documents par leur fonction. Le règlement détermine l’admissibilité ; le palmarès constate les récompenses ; le document scientifique explique une méthode ; une évaluation de modèle décrit une expérience particulière. Aucun de ces éléments ne remplace les autres.
Lorsqu’un résultat vous semble décisif, cherchez ce qu’il permet de comparer directement. Deux méthodes évaluées sur les mêmes tâches avec les mêmes contraintes offrent une comparaison plus interprétable que deux annonces utilisant des protocoles différents.
Pour une décision pratique, gardez aussi votre propre usage en vue. Une réussite sur ARC-AGI ne mesure pas directement la qualité d’un assistant dans votre activité. Le Labo des benchmarks aide à replacer les mesures dans leur domaine d’application.
Les enseignements durables de l’ARC Prize tiennent à cette discipline de lecture :
- distinguer le test, la compétition et les récompenses ;
- rattacher chaque score à ses conditions ;
- examiner les méthodes et leur reproductibilité ;
- vérifier ce qui se transfère au-delà du benchmark ;
- conserver le statut provisoire des résultats d’une édition encore ouverte.
Pages liées
Questions fréquentes
Quelle différence entre ARC Prize et ARC-AGI ?
ARC-AGI désigne une série de tests de raisonnement et d'adaptation. ARC Prize organise des compétitions et récompense des contributions utilisant ces tests. Un résultat publié sur ARC-AGI n'est donc pas nécessairement une participation admissible au concours.
Faut-il atteindre le seuil principal pour gagner un prix ?
Non. Selon l'édition et la piste, des récompenses distinguent les meilleurs scores, les étapes intermédiaires ou les publications scientifiques. Il faut examiner les catégories de l'année concernée, car leurs conditions évoluent.
Peut-on participer avec une API de modèle propriétaire ?
L'évaluation Kaggle de 2026 se déroule sans accès à Internet, ce qui empêche d'y appeler une API distante. Les évaluations de modèles réalisées hors concours relèvent d'un autre protocole. Les règles de la piste choisie déterminent les solutions admissibles.
Un score presque parfait sur ARC-AGI prouve-t-il l'AGI ?
Il établit une performance dans un protocole donné, avec des ressources et un système précis. Il ne suffit pas à démontrer une capacité générale dans toutes les situations. Il faut aussi examiner la nouveauté des tâches, l'efficacité et le transfert vers d'autres environnements.
Les résultats définitifs de l'ARC Prize 2026 sont-ils connus ?
Au 24 octobre 2026, l'édition n'est pas terminée. Le calendrier officiel annonce les résultats pour le 4 décembre 2026. Les classements intermédiaires et les évaluations indépendantes du concours ne constituent pas son palmarès final.