Dossier AGI · Intermédiaire · 10 min
La généralisation, cœur de l'intelligence selon François Chollet : définitions, exemples, mesure
La généralisation permet de résoudre des problèmes nouveaux. Définitions, exemples et méthodes pour comprendre la mesure de l'intelligence selon Chollet.
La généralisation est la capacité d’utiliser ce qui a été appris pour réussir dans des situations nouvelles. François Chollet place au cœur de sa définition de l’intelligence l’efficacité d’acquisition de nouvelles compétences, compte tenu des connaissances préalables, de l’expérience et de la difficulté des tâches, dans On the Measure of Intelligence. La mesurer demande donc davantage qu’un score final : il faut examiner ce qui est nouveau pour le système et les moyens employés pour réussir.
Distinguer compétence acquise et capacité d’apprendre
Un programme peut être excellent dans une activité soigneusement délimitée. Cette compétence vous renseigne sur son utilité dans ce cadre, mais laisse ouverte une autre question : que devient sa performance lorsque les règles ou les situations changent ?
Imaginez deux systèmes chargés de trier des objets. Le premier applique un catalogue de correspondances rédigé à l’avance ; le second déduit un critère de classement à partir de démonstrations. Tant que le catalogue contient tous les cas du test, leurs résultats peuvent être identiques. Pour les départager, il faut introduire une variation pertinente.
La distinction défendue par Chollet porte sur cette différence entre compétence et efficacité d’apprentissage. Son cadre prend aussi en compte l’étendue des tâches évaluées. Une réussite spécialisée ne permet donc pas, à elle seule, de conclure à une intelligence générale.
Cette distinction n’enlève rien à la valeur pratique d’un système spécialisé. Pour traiter des documents standardisés, une solution étroite peut suffire. L’erreur consiste à transformer automatiquement son efficacité locale en preuve d’une aptitude plus large.
Pour situer ce débat parmi les autres approches, le dossier AGI et recherche rassemble les pages de référence. L’article On the Measure of Intelligence expliqué simplement propose une lecture centrée sur le raisonnement du texte fondateur ; cette page développe surtout les distinctions et les méthodes d’évaluation.
La nouveauté doit être définie précisément
Un cas peut être nouveau sans demander une nouvelle compétence. Une facture jamais vue, issue du même logiciel et du même modèle de document que les précédentes, peut ne présenter qu’une variation de contenu.
Un document dont les colonnes changent de place introduit une autre difficulté. Un document où une remise s’applique à certaines lignes seulement modifie encore le problème : il faut comprendre une relation, pas simplement reconnaître une disposition. Ces exemples sont illustratifs ; ils ne décrivent pas les résultats d’un outil particulier.
Pour discuter de généralisation, précisez donc ce qui change :
- les valeurs, les couleurs ou les formulations ;
- la présentation des informations ;
- les combinaisons d’éléments déjà connus ;
- les règles nécessaires à la résolution ;
- le domaine et les connaissances mobilisées.
L’interpolation désigne une prédiction dans une région couverte par les exemples disponibles. L’extrapolation concerne des cas qui dépassent cette couverture. Mais la frontière dépend de la représentation choisie : deux images éloignées visuellement peuvent partager exactement la même structure logique.
Une tâche hors distribution diffère, sur un aspect défini, des données de référence. L’expression ne signifie pas automatiquement qu’elle exige une intelligence générale. Changer la luminosité d’une photographie et inventer une procédure pour un problème inédit sont deux épreuves distinctes.
Un compte rendu sérieux décrit la variation au lieu de s’en tenir à l’étiquette de nouveauté.
Reconnaître les principales formes de transfert
Plusieurs épreuves peuvent explorer la généralisation. Elles ne sont pas interchangeables : chacune permet d’écarter certaines explications de la réussite, tout en laissant d’autres possibilités ouvertes.
| Épreuve | Ce qui change | Ce qui reste stable | Ce qu’elle permet d’examiner |
|---|---|---|---|
| Variation de surface | Couleur, vocabulaire, position | Règle et structure | Résistance aux indices superficiels |
| Nouvelle combinaison | Association des éléments | Éléments et opérations disponibles | Composition des connaissances |
| Nouvelle règle locale | Transformation à découvrir | Format de présentation | Adaptation aux démonstrations |
| Transfert de domaine | Objets et contexte d’usage | Relation abstraite supposée | Portée du transfert |
| Changement de procédure | Étapes et contraintes | Objectif final | Capacité à réorganiser une solution |
Prenez une règle illustrative : déplacer une pièce jusqu’au bord du plateau. Changer sa couleur permet de vérifier que la couleur n’était pas un raccourci. Ajouter des obstacles exige éventuellement une planification supplémentaire. Demander de déplacer toutes les pièces, sauf celle qui touche un obstacle, introduit une combinaison de conditions.
La généralisation compositionnelle consiste à utiliser des éléments connus dans une association nouvelle. Connaître séparément une opération et une condition ne garantit pas que leur combinaison sera correctement exécutée.
Ces épreuves ne constituent pas une échelle universelle de difficulté. Une tâche visuelle peut être facile pour un système doté d’une représentation adaptée, mais difficile pour un système qui reçoit une transcription ambiguë.
Pour comparer des approches, vérifiez donc aussi leur accès au problème. Sinon, une difficulté de perception ou de format risque d’être prise pour une incapacité à transférer une règle.
Comprendre le rôle des connaissances préalables
Une tâche nouvelle ne se résout jamais à partir de rien. Il faut reconnaître des objets, interpréter des symboles, comprendre les démonstrations ou savoir quelles transformations sont possibles.
Dans le cadre de Chollet, les connaissances préalables et l’expérience doivent être prises en compte pour interpréter la compétence obtenue. Il ne s’agit pas d’opposer connaissance et intelligence : il s’agit d’éviter qu’une préparation spécifique explique à elle seule la réussite.
Pour évaluer un système, distinguez plusieurs sources possibles d’information :
- son entraînement antérieur ;
- les instructions qui décrivent la tâche ;
- les exemples fournis pendant l’évaluation ;
- les documents ou outils qu’il peut consulter ;
- les corrections reçues après une tentative.
Supposons qu’une règle de tri soit explicitement donnée dans une documentation accessible. La retrouver puis l’appliquer peut être utile, mais cette épreuve mesure autre chose que sa découverte à partir de quelques observations.
La comparaison avec l’humain demande la même prudence. Une personne adulte apporte une expérience perceptive, linguistique et pratique considérable. Lui montrer peu de démonstrations ne signifie pas qu’elle apprend sans connaissances préalables.
L’intelligence fluide désigne l’aptitude à raisonner face à des problèmes nouveaux, par opposition à l’utilisation de connaissances accumulées. En pratique, les deux interviennent souvent ensemble. Un protocole peut chercher à réduire certaines dépendances culturelles ; il ne rend pas automatiquement tous les participants équivalents.
Ce qu’ARC-AGI cherche à rendre observable
Le corpus initialement nommé ARC, pour Abstraction and Reasoning Corpus, est aujourd’hui présenté sous le nom ARC-AGI. Dans les tâches sur grilles du corpus original, des exemples d’entrées et de sorties permettent d’inférer une transformation, puis de produire la sortie correspondant à une nouvelle entrée.
Le dépôt officiel du corpus original fournit les tâches et leur présentation. L’intérêt méthodologique est de demander une réponse vérifiable : une explication plausible ne remplace pas la production de la grille attendue.
ARC Prize explique que la conception s’appuie sur des connaissances élémentaires concernant notamment les objets, l’espace et les quantités. Selon sa présentation des principes d’ARC-AGI, ce choix vise à limiter le recours aux connaissances spécialisées et à examiner l’apprentissage de tâches inconnues.
Considérez un exemple inventé pour l’explication : plusieurs démonstrations montrent un objet dont la forme est conservée, mais dont les cases intérieures changent de couleur. La réponse pourrait exiger de distinguer contour et intérieur. Pour vérifier cette interprétation, il faudrait proposer une forme différente et éviter qu’une simple correspondance de pixels suffise.
La page de référence ARC-AGI détaille le test et ses déclinaisons. Aucun résultat particulier n’est nécessaire pour comprendre le principe : une évaluation de généralisation doit faire varier les problèmes tout en gardant une correction suffisamment précise pour comparer les réponses.
Mesurer une acquisition plutôt qu’un résultat isolé
Pour examiner l’adaptation, vous pouvez observer comment la réussite évolue à mesure que l’information disponible augmente. Une réponse correcte après une démonstration et une réponse correcte après de nombreuses corrections ne décrivent pas le même parcours.
Voici un protocole éditorial proposé pour une évaluation locale, et non une formule officielle de mesure de l’intelligence.
Définissez une famille de tâches. Précisez les règles possibles, les connaissances autorisées et les critères de réussite. Une famille trop vague rend les erreurs difficiles à interpréter.
Séparez préparation et évaluation. Les tâches utilisées pour construire les instructions ou régler le système ne doivent pas servir seules à annoncer sa performance.
Faites varier l’information reçue. Comparez des conditions avec des démonstrations plus ou moins nombreuses, en conservant des tâches distinctes mais comparables.
Fixez les ressources. Déclarez les outils, les tentatives, le temps disponible et les interventions humaines. Conservez la même règle de correction entre les conditions.
Décrivez les erreurs. Une réponse de mauvais format, une mauvaise règle et une règle correcte mal exécutée appellent des diagnostics différents.
Le résultat intéressant est alors un profil d’acquisition : dans quelles conditions le système atteint-il une compétence utile, et où cesse-t-il de progresser ?
Une telle expérience reste locale. Elle ne fournit pas une valeur absolue d’intelligence. Le guide pour évaluer un agent IA applique cette logique aux usages opérationnels, avec des jeux de tests et des critères adaptés au travail attendu.
Contrôler les raccourcis et la contamination
Un test peut être inédit dans ses formulations tout en répétant une structure devenue familière pendant la préparation. À l’inverse, partager quelques éléments connus ne suffit pas à invalider une épreuve : tout transfert suppose une continuité.
La question est de savoir si la réussite dépend de la relation que vous cherchez à mesurer. Si un système doit classer selon la forme, mais que les objets ronds sont toujours orange, il peut exploiter la couleur. Sa performance ne permet alors pas de départager les deux règles.
Pour rendre cette ambiguïté visible, construisez des cas où les indices divergent : un objet rond bleu, puis un objet anguleux orange. Ce changement permet d’examiner une hypothèse précise sur le comportement du système.
La contamination des évaluations concerne notamment l’exposition préalable aux éléments du test ou à leurs solutions. Le dépôt officiel d’ARC-AGI recommande de ne pas laisser les tâches d’évaluation guider le développement de l’algorithme.
En pratique, conservez une partie des tâches hors du cycle de réglage. Documentez les exemples montrés au système et les modifications apportées après consultation des résultats. Si les données d’entraînement ne sont pas accessibles, indiquez cette limite au lieu de certifier une absence d’exposition.
Un contrôle utile consiste aussi à comparer des tâches proches par leur apparence et différentes par leur logique, puis l’inverse. Vous pourrez ainsi mieux distinguer reconnaissance de surface et transfert structurel.
Comptabiliser le calcul et les aides disponibles
L’efficacité d’apprentissage et l’efficacité de calcul sont deux dimensions à documenter séparément. Chollet les distingue dans son cadre : employer peu d’information nouvelle ne signifie pas nécessairement employer peu de temps ou de calcul.
Pour votre propre évaluation, gardez plusieurs colonnes dans le bilan : réussite, information fournie, ressources consommées et assistance reçue. Les réunir trop vite dans une moyenne masque les compromis.
Supposons qu’un système propose de nombreuses solutions candidates, les vérifie et conserve la meilleure. Comparez sa performance avec celle d’un autre système seulement après avoir précisé leurs budgets respectifs. Le recours à la recherche ne disqualifie pas la réussite ; il change les conditions dans lesquelles elle a été obtenue.
Il faut aussi nommer l’unité évaluée. Un modèle seul, un modèle accompagné d’un moteur de recherche et un agent capable d’exécuter des programmes ne disposent pas des mêmes moyens.
Lorsqu’un outil fournit la réponse intermédiaire décisive, le résultat appartient au système complet. L’attribuer au seul modèle de langage empêcherait de comprendre ce qui fonctionne et ce qui risque de casser si l’outil disparaît.
Pour lire un classement public, cherchez donc le protocole avant de comparer les scores. L’article comment lire les benchmarks des modèles développe cette lecture. Une mesure exploitable indique les conditions permettant de reproduire la performance annoncée, au-delà du nom affiché dans le tableau.
Des chercheurs divergent sur la définition et les méthodes
L’approche de Chollet est une proposition de définition et d’évaluation, pas une définition unanimement adoptée. Son texte reconnaît lui-même la possibilité d’autres définitions selon les contextes.
Shane Legg et Marcus Hutter proposent une autre formalisation dans Universal Intelligence: A Definition of Machine Intelligence, publié en 2007. Elle porte sur l’aptitude à atteindre des objectifs dans une large variété d’environnements, avec une pondération liée à leur complexité. Le point de départ diffère d’une comparaison centrée sur l’efficacité d’acquisition de compétences de type humain.
La divergence concerne aussi les mécanismes capables de généraliser. Il serait excessif de déduire des difficultés observées qu’un réseau neuronal ne peut jamais recombiner des connaissances.
Dans une étude publiée dans Nature le 25 octobre 2023, Brenden Lake et Marco Baroni montrent qu’un réseau entraîné par méta-apprentissage peut produire une généralisation systématique comparable à celle des participants humains sur leurs épreuves de composition. Ce résultat porte sur les tâches étudiées ; il ne démontre pas une intelligence générale.
Ces positions ne se répartissent donc pas simplement entre partisans et adversaires des réseaux neuronaux. On peut partager l’intérêt pour le transfert tout en divergeant sur sa définition, son apprentissage et sa mesure.
Pour juger une proposition, séparez ces questions : quel phénomène est recherché, quelle expérience l’observe et quelle architecture obtient le résultat ?
Interpréter les résultats sans élargir leur portée
Une réussite répétée sur des tâches nouvelles constitue un indice de transfert dans le périmètre étudié. Elle devient plus informative lorsque les raccourcis sont contrôlés et que les ressources sont décrites.
Elle ne démontre cependant pas toutes les propriétés parfois associées à l’intelligence. Un test de transformation de grilles ne mesure pas directement la compréhension sociale, la capacité à conduire une expérience physique ou la fiabilité d’une action dans un logiciel métier.
L’échec demande une interprétation tout aussi précise. Le système a-t-il mal représenté les objets, choisi une hypothèse trop tôt, manqué de temps ou échoué à exécuter une règle pourtant identifiée ? Le score final seul ne tranche pas.
Évitez également d’assimiler une explication fluide à une démonstration de compréhension. Une hypothèse devient testable lorsqu’elle conduit à prévoir une réponse sur un cas qui départage plusieurs règles possibles.
Pour décider d’un usage, traduisez enfin la généralisation en variations concrètes : documents d’un nouveau fournisseur, demandes formulées autrement, exceptions inédites, outils indisponibles. Évaluez ces changements directement plutôt que d’extrapoler depuis une épreuve éloignée.
La page sur les benchmarks de l’AGI replace ces limites dans un cadre plus large. Une évaluation durable doit pouvoir évoluer lorsque les systèmes apprennent les conventions du test, tout en gardant une trace des conditions antérieures.
À retenir
- La compétence décrit une réussite ; la généralisation examine son extension à des situations nouvelles.
- Dans la définition de Chollet, l’efficacité d’acquisition s’interprète avec les connaissances préalables, l’expérience et la difficulté des tâches.
- La nouveauté doit être décrite : changement de présentation, combinaison nouvelle, règle inconnue ou transfert de domaine.
- Une mesure informative documente les démonstrations, les tentatives, les outils, le calcul et les interventions humaines.
- Aucun score isolé ne permet d’attribuer au système toutes les capacités associées à l’intelligence humaine.
Pages liées
Questions fréquentes
Quelle différence entre généralisation et mémorisation en IA ?
La mémorisation restitue une information déjà rencontrée. La généralisation applique un apprentissage à un cas nouveau. Pour les distinguer expérimentalement, il faut des tests dont la solution ne peut pas être retrouvée directement dans les données accessibles au système.
La généralisation suffit-elle à définir l'AGI ?
Cela dépend de la définition retenue et de l'étendue des tâches considérées. Une aptitude au transfert dans un domaine restreint ne démontre pas une intelligence générale. La fiabilité, l'apprentissage et l'adaptation doivent aussi être examinés dans des situations variées.
Un modèle peut-il généraliser sans modifier ses paramètres ?
Oui : des exemples fournis dans le contexte peuvent orienter son comportement sur une tâche nouvelle, sans entraînement supplémentaire de ses paramètres. Il faut ensuite vérifier si cette adaptation résiste à des cas différents de ceux montrés.
Un bon score sur ARC-AGI prouve-t-il une intelligence humaine ?
Il atteste une performance dans les conditions précises de l'évaluation. Il ne certifie ni une équivalence globale avec les capacités humaines, ni la fiabilité dans un autre environnement. Le protocole, les ressources et l'exposition préalable aux tâches restent déterminants.
Faut-il supprimer toutes les connaissances préalables pour mesurer l'intelligence ?
Non : une tâche n'est interprétable qu'à partir de certaines connaissances ou conventions. L'enjeu est de rendre ces préalables explicites et d'éviter qu'une préparation spécifique aux réponses soit confondue avec une capacité d'adaptation.