« On the Measure of Intelligence » expliqué simplement
Dans On the Measure of Intelligence, François Chollet propose de mesurer l’intelligence d’une IA par son efficacité à acquérir de nouvelles compétences, en tenant compte de ses acquis, de son expérience et de la difficulté des tâches. La mesure de l’intelligence IA demande donc davantage qu’un score de réussite : elle doit examiner comment le système devient compétent face à un problème nouveau. Cette proposition est exposée dans l’essai déposé sur arXiv le 5 novembre 2019.
Réussir une tâche ne raconte pas tout l’apprentissage
L’argument central de François Chollet distingue la compétence obtenue de la capacité à acquérir des compétences. Une excellente performance peut dépendre d’une préparation spécialisée, de connaissances incorporées par les concepteurs ou d’une grande quantité d’exemples. Son cadre prend en compte le périmètre des tâches, les connaissances préalables, l’expérience et la difficulté de généralisation.
Pour rendre cette distinction concrète, prenons un exemple fictif. Un programme extrait correctement les informations d’un formulaire dont chaque emplacement est connu. Vous changez la disposition, déplacez les rubriques et ajoutez une convention nouvelle expliquée par quelques exemples. La réussite sur le formulaire initial ne permet pas, à elle seule, de prévoir son comportement.
Cet exemple ne dévalorise pas l’automatisation spécialisée. Si votre besoin concerne uniquement le formulaire initial, sa fiabilité reste le critère décisif. En revanche, si vous attendez une adaptation à des documents imprévus, vous devez tester cette capacité séparément.
Une mesure utile commence ainsi par une question précise : quelle propriété cherchez-vous à observer ? La réussite immédiate, la résistance à un changement de présentation et l’apprentissage d’une règle nouvelle demandent des épreuves différentes. Les confondre rend le résultat difficile à interpréter, même lorsque le calcul du score est exact.
Les informations nécessaires pour interpréter un résultat
Le vocabulaire de l’essai devient plus accessible lorsqu’on le traduit en questions d’évaluation. Le tableau suivant constitue une grille de lecture pédagogique, pas une formule permettant de calculer un indice universel.
| Élément à examiner | Question à poser | Exemple dans un test documentaire |
|---|---|---|
| Périmètre | Sur quelles familles de problèmes porte le résultat ? | Formulaires, tableaux, courriers ou ensemble de ces documents |
| Connaissances préalables | Quelles informations sont disponibles avant l’épreuve ? | Modèles de documents, règles métier, instructions |
| Expérience | Quelles informations nouvelles sont fournies pendant l’apprentissage ? | Démonstrations corrigées, essais et retours |
| Difficulté de généralisation | Que faut-il découvrir au-delà des exemples ? | Une convention nouvelle ou une combinaison de règles |
Supposons que vous présentiez à un système une règle de classement inconnue. Vous lui fournissez des documents déjà classés, puis des documents à traiter. Si les instructions donnent explicitement toute la procédure, vous évaluez surtout son application. Si les exemples laissent une régularité à découvrir, vous observez autre chose.
La frontière dépend donc du contenu de l’épreuve. Un document inédit peut reprendre exactement une structure déjà maîtrisée. À l’inverse, un document visuellement familier peut exiger une opération nouvelle.
Cette distinction explique l’intérêt du terme généralisation. Pour concevoir votre test, décrivez ce qui change entre la préparation et l’évaluation : les données, la présentation, la règle ou l’objectif. Le simple qualificatif « nouveau » reste trop vague pour servir de protocole.
Apprendre efficacement ne signifie pas seulement répondre vite
La présentation officielle d’ARC Prize reprend la notion d’efficacité d’acquisition et distingue les ressources que représentent les connaissances préalables et l’expérience. Elle s’appuie sur l’intelligence fluide : résoudre des problèmes nouveaux et s’adapter, plutôt que restituer uniquement des connaissances accumulées.
Pour lire un résultat, évitez donc de réduire l’efficacité à la vitesse d’exécution. Un système peut répondre rapidement après une préparation considérable. Un autre peut demander davantage de temps pendant l’épreuve, tout en utilisant moins d’exemples propres à la tâche.
Prenons une expérience fictive : vous enseignez une convention de rangement avec des objets de formes différentes. Vous observez les réponses après chaque démonstration, puis vous présentez une combinaison encore absente. Vous pouvez noter la quantité d’aide nécessaire, les erreurs persistantes et la capacité à réutiliser la convention.
Le temps écoulé reste une information utile, mais il ne remplace pas ces observations. Dans un usage professionnel, vous ajouteriez aussi le coût et les ressources informatiques consommées. Ces dimensions servent à juger l’utilité pratique du système ; elles ne doivent pas être confondues dans un score opaque.
Une présentation lisible conserve donc plusieurs mesures côte à côte. Elle permet de distinguer une amélioration de la réussite, une réduction du besoin de démonstrations et une accélération du traitement. Notre page sur la généralisation et son évaluation développe cette lecture.
ARC rend la question observable avec des grilles
François Chollet accompagne son raisonnement d’un corpus de problèmes, ARC, pour Abstraction and Reasoning Corpus. La présentation officielle du corpus d’origine, aujourd’hui nommé ARC-AGI-1, rappelle son objectif : éprouver la capacité à traiter des problèmes auxquels le système n’a pas été spécifiquement préparé.
Le dépôt officiel décrit des tâches composées de paires de grilles d’entrée et de sortie servant de démonstrations. Le participant doit construire la sortie correspondant à une nouvelle entrée, y compris ses dimensions. La correction exige une correspondance exacte avec la grille attendue.
Voici une illustration inventée pour comprendre le mécanisme, et non une tâche officielle : les démonstrations montrent qu’une forme est déplacée jusqu’à toucher un repère. Dans la nouvelle entrée, sa position et sa taille changent. Copier une sortie précédente échoue ; il faut identifier la transformation pertinente.
L’intérêt pédagogique est de rendre visible l’écart entre reconnaître une apparence et appliquer une relation. Vous pouvez imaginer plusieurs explications compatibles avec un exemple isolé. Les démonstrations supplémentaires doivent aider à départager ces hypothèses.
Le format conserve toutefois une frontière claire : réussir cette transformation établit une réussite sur ce problème. Cela ne démontre directement aucune capacité à négocier, conduire un projet ou contrôler un logiciel. L’article ARC-AGI expliqué détaille le fonctionnement du test sans transformer son score en verdict global sur un système.
Les connaissances préalables ne disparaissent pas
ARC Prize explique que la conception des épreuves repose sur des connaissances élémentaires, comme les objets, l’espace ou les quantités, plutôt que sur une culture spécialisée. Cette orientation vise une comparaison pertinente avec les capacités humaines d’adaptation ; elle ne suppose pas un participant dépourvu de tout acquis.
Une conséquence méthodologique mérite d’être explicitée : le point de départ compte autant que la consigne visible. Dans une expérience, vous devez distinguer les connaissances autorisées, celles que vous cherchez à enseigner et celles dont la présence rendrait la tâche triviale.
Imaginez une épreuve où il faut découvrir comment regrouper des objets. Si vous fournissez un outil qui effectue déjà exactement ce regroupement, la réussite change de sens. Vous pouvez toujours mesurer une capacité à utiliser l’outil, mais vous avez déplacé la difficulté.
Le même problème apparaît avec des instructions très détaillées. Une procédure écrite par l’évaluateur peut résoudre l’essentiel du travail avant même le premier essai. Pour comprendre la contribution du système, conservez donc les instructions et les exemples dans le compte rendu.
Cette transparence aide aussi à comparer les résultats dans le temps. Si vous modifiez simultanément le modèle, les outils et les consignes, une hausse du score décrit l’ensemble obtenu. Elle ne permet pas d’attribuer automatiquement le progrès au seul modèle. La bonne unité d’évaluation dépend de la question posée : un composant isolé ou le dispositif complet destiné à l’utilisateur.
Construire une épreuve qui résiste aux raccourcis
Le dépôt d’ARC demande de ne pas laisser les tâches d’évaluation influencer le développement de l’algorithme. Il mentionne notamment le risque de modifier répétitivement un système en utilisant son score d’évaluation comme retour. Cette précaution protège la séparation entre préparation et mesure.
La politique officielle de test d’ARC Prize place également la confiance dans le processus, la reproductibilité et la possibilité d’auditer les méthodes au centre de l’interprétation des scores.
Pour votre propre évaluation, vous pouvez traduire ces principes en une procédure simple :
- définissez la capacité recherchée avant de construire les exemples ;
- réservez des tâches qui ne serviront pas à ajuster les instructions ;
- fixez les aides autorisées et les conditions d’arrêt ;
- conservez les sorties, les erreurs et les interventions humaines ;
- publiez les conditions de passation avec le résultat.
Ajoutez des variations qui correspondent à votre besoin. Si vous évaluez l’adaptation à une règle nouvelle, changer uniquement la couleur d’un document ne suffit pas nécessairement. Si vous évaluez la robustesse de lecture, cette variation peut au contraire être pertinente.
Prévoyez aussi comment traiter une réponse partiellement correcte. Un classement global peut cacher une erreur sur une catégorie rare mais sensible. Présenter les résultats par famille de tâches rend ce défaut visible et facilite les décisions.
Le guide Évaluer un agent IA prolonge cette démarche pour les systèmes qui exécutent des actions. Pour interpréter les tableaux publics, l’article Lire les classements de modèles fournit une autre entrée.
Ce que cette approche permet de décider
La distinction entre compétence et apprentissage change surtout la portée des conclusions. Une épreuve spécialisée peut suffire pour sélectionner une solution à une tâche stable. Une affirmation sur l’intelligence générale demande d’examiner une diversité de situations et la manière dont les compétences sont acquises.
Pour un achat professionnel, commencez par votre besoin réel. Vous cherchez peut-être un traitement fiable de documents récurrents, avec des erreurs identifiables et un coût acceptable. Il serait inutile d’exiger une démonstration générale pour répondre à ce besoin limité.
Si votre projet repose sur des changements fréquents, ajoutez des scénarios d’adaptation. Présentez une convention inconnue, observez l’aide nécessaire et vérifiez le transfert à des cas réservés. Définissez à l’avance ce qui constituerait une réussite exploitable.
Gardez cependant une limite : votre expérience locale ne devient pas, par extension, une mesure universelle de l’intelligence. Elle apporte une réponse circonscrite, souvent plus utile pour décider qu’une étiquette générale. Les ressources sur l’AGI replacent ces questions dans le débat de recherche.
Le principal apport pratique de cette lecture est une discipline de raisonnement : préciser la propriété mesurée, documenter les conditions et limiter la conclusion à ce que l’épreuve permet d’établir. Vous pouvez reconnaître une compétence utile tout en laissant ouverte la question de sa généralité.
À retenir
- Une performance décrit ce qu’un système réussit dans les conditions d’une épreuve.
- François Chollet propose d’examiner l’efficacité d’acquisition des compétences, avec les acquis et l’expérience nécessaires.
- ARC rend cette question observable dans un cadre défini, sans constituer un certificat universel d’intelligence.
- Pour évaluer une IA, documentez les aides, réservez des tâches nouvelles et formulez une conclusion proportionnée aux résultats.
Questions fréquentes
Quelle est la définition de l'intelligence selon François Chollet ?
François Chollet propose de l'évaluer par l'efficacité avec laquelle un système acquiert de nouvelles compétences. Cette efficacité doit être appréciée sur un ensemble de tâches, en tenant compte des connaissances préalables, de l'expérience et de la difficulté de généralisation.
Un score élevé à un benchmark prouve-t-il qu'une IA est intelligente ?
Il établit une performance dans les conditions du test. Pour interpréter cette performance comme un indice d'intelligence générale, il faut aussi examiner la nouveauté des tâches et la préparation reçue par le système.
ARC-AGI est-il un test de QI pour les IA ?
Le rapprochement aide à comprendre son intérêt pour les problèmes nouveaux, mais l'équivalence serait trompeuse. Un résultat ARC-AGI ne se convertit pas directement en quotient intellectuel humain.
Faut-il choisir ses outils IA selon leur score ARC-AGI ?
Ce score peut éclairer une capacité particulière, mais votre choix demande une évaluation adaptée à votre activité. Vérifiez aussi les erreurs, les interventions humaines nécessaires, les délais et le coût des tâches réussies.