Raisonnement

Raisonnement : l'explication

Dans un outil IA, le raisonnement peut prendre plusieurs formes. Le modèle peut relier des faits présents dans votre demande, envisager des étapes intermédiaires ou proposer un plan. L’application peut aussi lui fournir une calculatrice, un moteur de recherche ou un programme de vérification. Le résultat dépend alors à la fois du modèle et de cette organisation. Pour juger la capacité réelle, il faut examiner si la conclusion découle des informations disponibles et respecte les contraintes de la tâche.

Le terme sert à parler de tâches qui demandent davantage qu’une reformulation ou une récupération directe d’information. Vous pouvez demander de choisir entre plusieurs itinéraires en fonction des horaires, ou d’expliquer pourquoi deux documents semblent se contredire. Le système doit alors combiner des éléments et gérer leurs relations. Cette capacité peut être évaluée sur des problèmes précis, mais une bonne performance dans un domaine ne garantit pas le même niveau dans tous les autres contextes d’utilisation.

Une explication de raisonnement est un texte que vous pouvez examiner, pas une preuve automatique du fonctionnement interne du modèle. Des travaux distinguent notamment la qualité d’une réponse et la fidélité de son explication : https://arxiv.org/abs/2301.13379. Une suite d’étapes convaincante peut contenir une erreur ou justifier après coup une conclusion. Demandez donc des éléments vérifiables, comme les hypothèses, les contraintes contrôlées et les sources utilisées. L’objectif est de pouvoir tester le résultat, plutôt que de se fier à sa seule présentation.

Un exemple concret

Vous devez organiser une réunion avec des personnes situées dans plusieurs fuseaux horaires. Vous fournissez leurs disponibilités, la durée souhaitée et les périodes à éviter. L’assistant combine ces contraintes et propose un créneau, en indiquant les heures locales correspondantes. Vous vérifiez les conversions et les disponibilités avant l’envoi. Si aucun créneau ne convient, une réponse utile doit le signaler et présenter les contraintes incompatibles plutôt qu’inventer un accord.

Pourquoi c'est important

Le raisonnement compte lorsque vous attendez d’un agent une décision cohérente ou un plan exploitable. Évaluez-le sur vos contraintes réelles et sur des cas où aucune solution n’existe. Vérifiez sa capacité à signaler les informations manquantes et à utiliser des contrôles externes. Une explication longue n’est pas un critère suffisant. Pour une décision importante, privilégiez des résultats dont vous pouvez vérifier les hypothèses et les conséquences avant l’exécution.

Idées reçues

• Une réponse correcte ne prouve pas à elle seule un raisonnement robuste : le système peut reconnaître un schéma familier ou réussir un cas particulier sans savoir traiter une variation qui modifie une contrainte essentielle du problème.
• Demander une explication plus longue ne garantit pas une meilleure solution : le modèle peut développer une erreur avec davantage de détails, alors qu’un calcul externe ou une vérification des contraintes apporterait un contrôle plus utile.

Autres termes : modèles de langage

hallucination

L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.

Transformer

Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.

embedding

Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.

token

Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.

fenêtre de contexte

La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.

poids ouverts

Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.

IA open source

L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.

quantification

La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.

Où le site en parle

Le terme apparaît dans 318 pages du site. Quelques-unes :

• Les modèles de raisonnement : fonctionnement, ce qu'ils améliorent, limites mesurées Guide
• Histoire de l'idée d'AGI : de Turing aux laboratoires actuels Guide
• « How We Get To AGI » : la conférence de François Chollet, chapitre par chapitre Guide
• Les limites de l'apprentissage profond : ce que les modèles font mal, analyse de François Chollet et d'autres chercheurs Guide
• Quand l’AGI ? Les prévisions publiées, leurs méthodes et pourquoi elles divergent Guide
• Réduire le coût d'un agent IA : choix du modèle, cache, contexte, routage, budgets Guide
• ARC-AGI : le test, ses versions et les scores publiés Guide
• Les risques de l'AGI : ce que disent les chercheurs, sans alarmisme Guide