Dossier AGI · Débutant · 10 min
ARC-AGI : le test, ses versions et les scores publiés
ARC-AGI évalue l'adaptation à des problèmes nouveaux. Comprenez ses trois versions, les scores publiés et leurs limites pour lire les progrès de l'IA.
ARC-AGI est une série de tests qui évalue la capacité d’un système à découvrir des règles et à s’adapter à des problèmes nouveaux avec peu d’exemples. ARC-AGI-1 et ARC-AGI-2 utilisent des grilles colorées ; ARC-AGI-3 propose des environnements interactifs à explorer. Leurs scores renseignent sur des capacités précises, mais ne constituent pas une certification d’intelligence artificielle générale.
Ce qu’ARC-AGI cherche à mesurer
Le point de départ est une distinction entre posséder une compétence et savoir en acquérir une nouvelle. Un programme peut maîtriser un exercice parce que ses concepteurs lui ont fourni beaucoup d’exemples ou une méthode spécialisée. Cette réussite ne suffit pas à montrer comment il réagira devant une difficulté différente.
Dans On the Measure of Intelligence, publié en novembre 2019, François Chollet propose de définir l’intelligence par l’efficacité d’acquisition de compétences, en tenant compte des connaissances préalables, de l’expérience et de la difficulté de généralisation. ARC, pour Abstraction and Reasoning Corpus, est le dispositif expérimental associé à cette proposition.
Le test vise ainsi une forme d’intelligence fluide : comprendre une situation inhabituelle et construire une solution, plutôt que restituer un savoir spécialisé. La généralisation correspond ici au passage des situations observées à une situation nouvelle.
Cette ambition ne signifie pas que le système arrive sans connaissances. Reconnaître des objets, leur continuité ou une symétrie suppose déjà des attentes sur le monde. La question devient : avec quelles connaissances initiales, quelle expérience supplémentaire et quelles ressources le système réussit-il ?
Pour situer cette approche parmi les autres sujets de recherche, le dossier AGI et recherche rassemble les pages de référence du site.
Comment se déroule une tâche de grilles
Dans le format statique, vous observez des paires de grilles : une entrée et sa sortie correspondante. Vous devez trouver une transformation compatible avec les démonstrations, puis produire la sortie d’une nouvelle entrée. La règle n’est pas donnée en langage naturel.
Prenons un exemple pédagogique fictif, qui ne reproduit pas une tâche officielle. Les démonstrations montrent une forme entourée d’un cadre ; la sortie conserve seulement la forme intérieure. Pour résoudre une nouvelle entrée, il faut comprendre le rôle du cadre, déterminer ce qu’il délimite et construire la grille attendue.
Une autre hypothèse pourrait pourtant expliquer une démonstration isolée : conserver la couleur dominante ou supprimer les objets périphériques. Les autres exemples servent à départager ces interprétations. La difficulté tient donc aussi au choix de la bonne représentation du problème.
La réponse attendue est une grille exacte, avec les bonnes dimensions et les bonnes cellules. Une explication convaincante accompagnée d’une mauvaise grille ne remplace pas une solution correcte.
Le dépôt officiel d’ARC-AGI-1, consulté le 24 octobre 2026, contient les données et une interface de résolution manuelle. Il décrit aussi le format des fichiers. Attention aux protocoles historiques : le dépôt mentionne trois essais, tandis que les évaluations ARC Prize utilisent notamment le pass@2. Il faut toujours lire la règle attachée au score cité.
Les différences entre les trois versions
Les versions ne représentent pas simplement trois niveaux interchangeables d’un même examen. Le passage à l’interaction modifie ce que le candidat doit découvrir et la manière de compter sa réussite.
| Critère | ARC-AGI-1 | ARC-AGI-2 | ARC-AGI-3 |
|---|---|---|---|
| Repère de publication | 2019 | Mars 2025 | Mars 2026 |
| Support | Grilles d’entrée et de sortie | Grilles d’entrée et de sortie | Environnements interactifs |
| Information disponible | Démonstrations de transformation | Démonstrations de transformation | Observations obtenues en agissant |
| Travail demandé | Inférer une transformation | Combiner des règles plus exigeantes | Explorer, découvrir le but et agir |
| Lecture du score | Réussite exacte selon le protocole | Réussite exacte selon le protocole | Réussite et efficacité des actions |
Ces repères figurent dans le rapport technique d’ARC-AGI-3, daté du 22 avril 2026. La troisième version a été lancée le 25 mars 2026.
ARC-AGI-1 reste utile pour étudier des méthodes et comparer des résultats historiques. Un plafond élevé sur cette version réduit cependant sa capacité à départager les meilleurs systèmes.
ARC-AGI-2 conserve le problème de transformation, mais sollicite davantage la composition et l’interprétation contextuelle. ARC-AGI-3 ajoute une difficulté distincte : choisir les observations que l’on va obtenir. On passe d’exemples fournis à une expérience que le système doit en partie organiser lui-même.
Un pourcentage identique sur deux versions n’exprime donc pas une capacité identique. La métrique et le contenu des épreuves doivent accompagner toute comparaison.
ARC-AGI-2 : composer et interpréter les règles
ARC-AGI-2 a été présenté le 24 mars 2025. Son annonce officielle décrit des tâches destinées à éprouver l’interprétation symbolique, la composition de transformations et les règles dépendantes du contexte.
L’enjeu dépasse la reconnaissance d’un motif. Un élément peut servir de signal pour transformer un autre objet ; une règle peut s’appliquer seulement dans une région donnée. Pour réussir, une méthode doit sélectionner les relations pertinentes, pas seulement repérer une ressemblance visuelle.
L’annonce précise que chaque tâche a été résolue par au moins deux personnes en deux essais au maximum lors d’une étude contrôlée. Elle rapporte aussi une moyenne humaine de 60 %. Ces résultats, publiés au lancement en mars 2025, décrivent deux choses différentes : la résolution collective des tâches et la performance individuelle moyenne.
Cette distinction évite une confusion fréquente. Dire que toutes les tâches ont été résolues par des humains ne signifie pas que chaque participant obtient un score parfait.
La calibration humaine établit que les problèmes sont accessibles dans les conditions étudiées. Elle ne démontre pas que les humains et les machines disposent exactement des mêmes acquis initiaux. Pour une comparaison rigoureuse, il faut examiner les consignes, les essais autorisés et la population testée, autant que la moyenne finale.
ARC-AGI-3 : apprendre en explorant
ARC-AGI-3 présente des environnements abstraits dans lesquels le candidat doit agir pour comprendre ce qui se passe. Les règles et les objectifs ne sont pas explicitement fournis. Une action produit une observation qui peut confirmer ou invalider une hypothèse.
Le changement est concret : dans une grille statique, vous pouvez relire les démonstrations disponibles. Dans un environnement interactif, une mauvaise exploration peut consommer des actions sans apporter d’information utile. Il faut décider quoi essayer et quoi retenir.
Imaginons, à titre pédagogique, qu’un objet change d’apparence après avoir traversé une zone. Le candidat peut chercher à savoir si le changement dépend de la zone, du déplacement ou d’un autre élément. Une bonne expérience modifie un facteur identifiable ; une succession d’actions sans hypothèse rend l’interprétation plus difficile.
La notation présentée dans le rapport technique tient compte de l’efficacité des actions par rapport à une référence humaine. Le rapport applique notamment une pénalité quadratique aux inefficacités : terminer un niveau avec beaucoup d’actions peut rapporter peu.
Il faut donc distinguer :
- atteindre un état de réussite ;
- l’atteindre avec une exploration efficace ;
- conserver ce qui a été appris pour les niveaux suivants.
Cette différence rapproche l’épreuve des problèmes d’apprentissage actif. Elle ne transforme pas pour autant ces jeux abstraits en simulation complète du travail d’un agent dans un navigateur ou un logiciel métier.
Les scores publiés au 24 octobre 2026
Le tableau officiel des résultats ARC Prize, consulté le 24 octobre 2026, présente les valeurs suivantes. Cette sélection illustre les écarts entre versions ; elle ne constitue pas un classement exhaustif.
| Modèle | Date affichée par ARC Prize | ARC-AGI-1 | ARC-AGI-2 | ARC-AGI-3 |
|---|---|---|---|---|
| GPT-6.1 Sol | 29 septembre 2026 | 98,5 % | 94,2 % | 96,37 % |
| Gemini 4 Argon | 13 octobre 2026 | 98,5 % | 91,3 % | 97,46 % |
| Claude Sonnet 5.5 | 28 septembre 2026 | 96,5 % | 83,9 % | 72,44 % |
Ces lignes réunissent des résultats qui ne correspondent pas nécessairement au même réglage ni au même dispositif sur les trois épreuves. Elles servent de point d’entrée vers les évaluations détaillées.
La date affichée est celle de l’entrée dans ce tableau, pas une preuve indépendante de la date de lancement commercial du modèle. Un tiret, ailleurs dans les résultats, indique une absence de valeur publiée ; il ne signifie pas zéro.
La proximité des scores sur ARC-AGI-1 montre aussi une limite pratique : cette version offre peu de marge pour distinguer les systèmes de cette sélection. Les écarts sur les autres versions restent plus visibles.
Enfin, les chiffres très faibles diffusés au lancement d’ARC-AGI-3 appartiennent à un état historique de l’évaluation. Les présenter comme les performances actuelles en octobre 2026 donnerait une image dépassée des résultats publiés.
Pourquoi le dispositif d’évaluation change le résultat
Un modèle interactif ne travaille pas seul. Un programme lui transmet les observations, reçoit ses décisions et conserve certaines informations entre les actions. Ce dispositif est souvent appelé harness.
La fiche officielle d’évaluation de GPT-6.1 Sol, consultée le 24 octobre 2026, distingue un dispositif Standard et un Provider Adapter. Le premier permet de transmettre des notes choisies par le modèle ; le second conserve un état de raisonnement opaque entre les requêtes et emploie la compaction pour les conversations longues.
| Modèle et réglage | ARC-AGI-3 Standard | ARC-AGI-3 Provider Adapter | Point de vigilance |
|---|---|---|---|
| GPT-6.1 Sol, max | 52,7 % | 96,2 % | Même réglage, conservation d’état différente |
| GPT-6.1 Sol, xhigh | 39,9 % | 96,4 % | Un réglage différent modifie aussi les résultats |
| Gemini 4 Argon, low | 49,8 % | 97,5 % | Évaluation Standard partiellement interrompue |
La fiche officielle de Gemini 4 Argon précise que des problèmes d’API ont empêché de terminer certaines évaluations Standard. Les scores publiés incluent les tâches inachevées avec le crédit partiel obtenu. Elle arrondit aussi certaines valeurs du tableau récapitulatif.
L’écart ne permet pas d’isoler une cause cognitive unique. Il montre surtout que la gestion de l’état appartient aux conditions expérimentales. Comparer un résultat Standard avec un résultat Provider Adapter sans le signaler mélange deux configurations.
Modèle, méthode et calcul : identifier ce qui réussit
Une performance peut dépendre du modèle, mais aussi de la façon dont le système l’utilise. Produire directement une grille, écrire un programme candidat ou explorer plusieurs hypothèses ne sont pas des procédures équivalentes.
Pour comprendre un résultat, séparez trois niveaux :
- Le modèle : les paramètres appris et les capacités accessibles à l’inférence.
- La méthode : les instructions, les représentations, la mémoire et la sélection des réponses.
- Les ressources : le calcul, le temps, les essais et les outils autorisés.
Cette séparation aide à interpréter une progression. Une meilleure méthode peut révéler une capacité auparavant mal exploitée ; davantage de calcul peut permettre d’examiner plus de pistes. Le score seul ne dit pas quelle contribution domine.
La synthèse de programmes fournit une représentation possible du travail : proposer une transformation exécutable, vérifier qu’elle explique les démonstrations, puis l’appliquer à la nouvelle entrée. Mais une solution compatible avec les exemples peut encore échouer sur le cas inconnu.
L’adaptation au moment du test regroupe des mécanismes qui exploitent le problème rencontré pour améliorer la réponse. Consacrer davantage de calcul à une tâche ne signifie cependant pas automatiquement modifier les paramètres du modèle.
Pour l’utilisateur, la question pratique est donc double : quelle performance obtient le système, et quelles ressources faut-il réellement engager pour la reproduire ?
Les précautions nécessaires pour comparer des scores
Avant de rapprocher deux résultats, vérifiez leur contexte expérimental. Un benchmark devient informatif lorsque son protocole est suffisamment précis pour expliquer ce que les nombres représentent.
Commencez par le jeu de tâches. Les ensembles publics permettent l’inspection et le développement ; les ensembles semi-privés et privés visent à limiter l’accès aux réponses d’évaluation. Réussir sur un ensemble public ne fournit pas la même preuve qu’une réussite sur des problèmes restés confidentiels.
Examinez ensuite le nombre de réponses autorisées. Le pass@2 accepte une réussite parmi deux propositions finales. Il ne se compare pas directement à une procédure qui exige une seule réponse.
La contamination des benchmarks constitue une autre limite. Une réponse exacte peut refléter une exposition antérieure plutôt qu’une adaptation nouvelle. L’absence de copie évidente ne suffit d’ailleurs pas à exclure toute proximité avec les données d’entraînement.
Enfin, relevez le dispositif, les outils, le budget et les interruptions éventuelles. Une différence de protocole n’annule pas un résultat ; elle en restreint la comparaison.
Une fiche de lecture utile tient en une phrase : tel système, dans telle configuration, a obtenu tel score, sur tel ensemble, avec telles ressources, à telle date. L’article Lire les classements de benchmarks LLM développe cette méthode au-delà d’ARC.
Ce que les résultats permettent de dire sur l’AGI
Une bonne performance ARC-AGI soutient une affirmation délimitée : le système réussit des problèmes de cette famille dans les conditions évaluées. Elle ne mesure directement ni la fiabilité professionnelle, ni la compréhension sociale, ni la capacité à conduire une recherche scientifique indépendante.
La perspective de François Chollet place l’efficacité d’apprentissage au centre de la définition de l’intelligence. D’autres chercheurs organisent l’évaluation autrement, sans que cette divergence implique nécessairement un désaccord sur chaque résultat expérimental.
Dans Levels of AGI for Operationalizing Progress on the Path to AGI, Meredith Ringel Morris et ses coauteurs proposent notamment de distinguer la profondeur de performance, l’étendue des capacités et l’autonomie. Ce cadre envisage donc un profil de compétences plus large qu’un test unique.
Les approches ne répondent pas exactement à la même question. L’une insiste sur l’acquisition efficace de compétences nouvelles ; l’autre cherche à situer les capacités sur plusieurs dimensions. Il serait abusif de présenter un pourcentage ARC-AGI comme une réponse consensuelle à la définition de l’AGI.
Le risque inverse existe aussi : minimiser toute progression parce que le test reste incomplet. Un instrument peut révéler des améliorations mesurables sans couvrir l’ensemble du phénomène étudié. C’est cette lecture intermédiaire qui rend les scores utiles.
Comment utiliser cette référence
Pour découvrir le sujet, commencez par observer une tâche et distinguer les données fournies de la règle à inférer. L’article ARC-AGI expliqué propose une entrée plus courte ; cette page rassemble les distinctions nécessaires pour interpréter les résultats.
Pour suivre la recherche, conservez les conditions associées aux scores. Une capture de classement perd rapidement sa valeur si elle omet l’ensemble évalué ou le dispositif employé.
Pour choisir un outil professionnel, utilisez ARC-AGI comme un indicateur complémentaire. Un système performant sur des grilles abstraites doit encore démontrer qu’il comprend vos documents, respecte vos contraintes et produit des actions vérifiables.
La compétition constitue enfin un cadre distinct. La page consacrée à l’ARC Prize détaille ses règles et ses éditions ; un résultat public de modèle ne correspond pas automatiquement à une candidature admissible à ses récompenses.
À retenir :
- ARC-AGI examine l’adaptation à des problèmes nouveaux, selon un périmètre expérimental défini.
- Les versions statiques et interactives ne produisent pas des pourcentages directement interchangeables.
- Les résultats actuels doivent être distingués des chiffres historiques du lancement.
- Le dispositif, la mémoire, les essais et le calcul font partie du résultat.
- Un score élevé documente une capacité ; il ne tranche pas, à lui seul, la question de l’AGI.
Pages liées
Questions fréquentes
ARC-AGI est-il un test de QI pour les IA ?
L'analogie aide à comprendre ses problèmes abstraits, mais ARC-AGI ne fournit pas un QI. Son score dépend du jeu de tâches, du calcul autorisé et du protocole ; il ne se convertit pas en score psychométrique humain.
Peut-on essayer ARC-AGI sans savoir programmer ?
Oui. Les interfaces publiques permettent de résoudre des grilles ou d'explorer des environnements interactifs dans un navigateur. Programmer devient utile pour construire un système évalué automatiquement, pas pour découvrir les exercices.
Un score ARC-AGI élevé prouve-t-il qu'une IA est générale ?
Il atteste une performance dans un cadre précis. Pour défendre une capacité générale, il faut aussi vérifier le transfert vers d'autres domaines, les ressources nécessaires et la robustesse sur des tâches indépendantes.
Pourquoi plusieurs scores circulent-ils pour le même modèle ?
Le niveau de raisonnement, les tâches utilisées et le dispositif qui conserve les informations entre les actions peuvent varier. Vérifiez la fiche détaillée de l'évaluation plutôt que de comparer des pourcentages isolés.
Quelle différence entre ARC-AGI et ARC Prize ?
ARC-AGI désigne la série de tests. ARC Prize désigne la fondation et les compétitions associées, dont les règles de participation et de calcul ne se confondent pas avec toutes les évaluations publiques de modèles.