Glossaire · AGI et alignement
ARC-AGI
ARC-AGI est une série de tests conçus pour étudier la capacité des IA à résoudre des problèmes nouveaux à partir de peu d’exemples ou d’interactions. Les versions diffèrent par leurs tâches et leurs règles, et leurs résultats ne constituent pas une certification d’intelligence artificielle générale.
ARC-AGI : l'explication
Dans les versions à grilles statiques, le système observe des exemples associant une grille de départ à une grille transformée. Il doit trouver la règle et produire le résultat pour un nouveau cas. Les règles peuvent concerner des formes, des positions ou des couleurs. Le défi consiste à choisir une transformation compatible avec les exemples. Cette présentation réduit le recours à des connaissances encyclopédiques, sans supprimer l’influence de l’entraînement et des méthodes employées.
La série vise l’étude de l’adaptation à des tâches inconnues. Les formats ont évolué : ARC-AGI-3 utilise notamment des environnements interactifs, où les actions et leurs effets participent à la découverte du problème. Il faut donc préciser la version avant de comparer des scores. La présentation officielle distingue ces formats et leur objectif de recherche sur la généralisation : [présentation d’ARC-AGI](https://arcprize.org/arc-agi). Un nom de série commun ne rend pas les évaluations directement équivalentes entre elles.
Un score doit être lu avec ses conditions : tâches évaluées, accès éventuel aux exemples, nombre de tentatives et ressources utilisées. Une méthode peut combiner un modèle, du code et une recherche de solutions. Le résultat décrit alors ce système complet. Même une réussite remarquable reste limitée au périmètre du test. Elle ne démontre pas directement la capacité à gérer une messagerie, comprendre toutes les situations humaines ou utiliser des outils de manière sûre.
Un exemple concret
Vous consultez un résultat présenté comme excellent sur ARC-AGI. Avant d’en déduire qu’un agent conviendra à votre travail, vous cherchez la version et la méthode d’évaluation. Un système peut résoudre efficacement des transformations de grilles sans savoir traiter vos factures. Vous testez donc aussi vos documents et vos contraintes. Le benchmark apporte un indice sur certaines capacités, que vous complétez par une évaluation de votre usage.
Pourquoi c'est important
ARC-AGI aide à discuter la généralisation au-delà de réponses apprises par cœur. Son intérêt dépend toutefois d’une comparaison rigoureuse. Vérifiez la version, les tâches et le budget de résolution avant de lire un classement. Pour choisir un outil, associez ces informations à des essais concrets. Une meilleure place sur ce test ne garantit ni une meilleure confidentialité ni une meilleure fiabilité dans vos activités.
Idées reçues
- Réussir ARC-AGI ne constitue pas automatiquement une preuve d’AGI, car le test mesure certaines formes d’adaptation dans un cadre défini et ne couvre pas toutes les capacités, contraintes et situations associées à une intelligence générale.
- Deux scores portant le nom ARC-AGI ne sont pas forcément comparables, puisque la version, les tâches, les tentatives permises et les ressources de calcul peuvent différer et changer fortement le sens pratique du résultat annoncé.
Autres termes : agi et alignement
- AGI (intelligence artificielle générale)
- L’AGI, ou intelligence artificielle générale, désigne l’idée d’une IA capable d’apprendre et d’accomplir un large éventail de tâches intellectuelles, au-delà d’un domaine étroit.
- ARC Prize
- ARC Prize est une initiative de recherche et de concours qui encourage les progrès ouverts sur les problèmes de généralisation en IA.
- généralisation
- La généralisation est la capacité d’un système IA à utiliser ce qu’il a appris pour traiter des cas nouveaux.
- intelligence fluide
- L’intelligence fluide est la capacité à raisonner face à un problème nouveau, sans dépendre principalement de connaissances déjà apprises.
Où le site en parle
Le terme apparaît dans 94 pages du site. Quelques-unes :
- ARC-AGI : le test, ses versions et les scores publiés Guide
- « How We Get To AGI » : la conférence de François Chollet, chapitre par chapitre Guide
- L'ARC Prize : la compétition, ses règles, ses éditions, ses résultats et ce qu'ils ont appris Guide
- La généralisation, cœur de l'intelligence selon François Chollet : définitions, exemples, mesure Guide
- Mesurer les progrès vers l’AGI : benchmarks, leurs limites, saturation et contamination Guide
- L'adaptation au moment du test : principe et résultats Guide
- Les limites de l'apprentissage profond : ce que les modèles font mal, analyse de François Chollet et d'autres chercheurs Guide
- La synthèse de programmes : principe, histoire et piste vers l’AGI Guide
Pour aller plus loin
Questions fréquentes
Est-ce un test de connaissances ?
Il vise surtout l’inférence de règles et l’adaptation, plutôt que la restitution de faits encyclopédiques. Cela ne signifie pas que l’apprentissage antérieur n’a aucun effet. Les représentations acquises et les méthodes de résolution influencent toujours les performances.
Pourquoi préciser la version ?
Les versions ne présentent pas nécessairement les mêmes tâches ni les mêmes interactions. Un résultat sur des grilles statiques ne se lit pas comme un résultat sur un environnement interactif. La version fait partie intégrante de l’information.
Un score prédit-il mon usage ?
Il fournit un indice sur les capacités visées par le test, pas une prédiction complète. Pour votre usage, évaluez aussi des tâches représentatives, les erreurs, les délais et les permissions. Ces éléments peuvent modifier votre choix.
Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons