OSWorld

OSWorld : l'explication

L’évaluation prépare un environnement avec des applications, des fichiers et un objectif à atteindre. L’agent observe les informations disponibles et agit avec les moyens autorisés, par exemple des commandes de souris et de clavier. Il doit enchaîner des étapes et vérifier leurs effets. Des mécanismes d’évaluation examinent ensuite le résultat obtenu. L’intérêt est de distinguer un assistant qui explique comment modifier un document d’un agent qui effectue réellement la modification demandée dans un logiciel et laisse un résultat vérifiable.

OSWorld sert à étudier l’utilisation d’ordinateurs par des agents dans des applications réelles. Les tâches peuvent impliquer des documents, des fichiers ou plusieurs logiciels. La famille a évolué : OSWorld 2.0 met notamment l’accent sur des missions plus longues et des contraintes rencontrées dans des processus de travail complets. La [présentation officielle d’OSWorld 2.0](https://osworld-v2.xlang.ai/) décrit cette orientation. Il faut donc identifier la version consultée, car des résultats provenant d’environnements et de collections de tâches différents ne mesurent pas exactement la même chose.

Le résultat dépend du modèle, de son système d’observation, des actions autorisées et du nombre d’étapes disponible. La configuration des applications peut également influencer la difficulté. Une réussite dans l’environnement du benchmark ne garantit pas la même fiabilité sur votre ordinateur, avec vos comptes et vos documents. Le taux de réussite ne résume pas non plus toute la sécurité d’exécution. Pour évaluer un agent, regardez comment il gère les permissions, les informations manquantes, les erreurs et les actions qu’il ne peut pas facilement annuler.

Un exemple concret

Vous souhaitez déléguer la préparation d’un tableau de dépenses à partir de reçus. Un résultat OSWorld peut vous renseigner sur la capacité d’un agent à enchaîner des actions dans des applications. Vous préparez ensuite un essai avec des fichiers fictifs et une copie du tableau. Vous vérifiez les montants, les cellules modifiées et l’emplacement du fichier final. Cet essai révèle aussi si l’agent contrôle son travail ou s’arrête trop tôt.

Pourquoi c'est important

OSWorld est pertinent lorsque vous cherchez un agent capable d’agir dans des logiciels, au-delà de la conversation. Vérifiez la version du benchmark et les moyens utilisés pour obtenir le score. Pour votre situation, examinez également le temps nécessaire, les erreurs récupérables et les possibilités de supervision. Un agent qui réussit certaines tâches de bureau ne doit pas recevoir automatiquement tous vos accès : les autorisations doivent correspondre aux actions réellement nécessaires.

Idées reçues

• Un bon résultat OSWorld ne signifie pas qu’un agent fonctionnera parfaitement dans toutes vos applications, car les interfaces, les réglages, les fichiers disponibles et les droits d’accès peuvent différer de ceux de l’environnement utilisé pour l’évaluation.
• Réussir une tâche dans OSWorld ne constitue pas une garantie générale de sécurité, car atteindre le résultat attendu et respecter toutes les limites d’autorisation, de confidentialité ou de réversibilité sont des dimensions qui doivent être examinées explicitement.

Autres termes : mesurer et comparer

benchmark

Benchmark désigne un test organisé selon des règles définies pour comparer les performances de systèmes.

indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA.

SWE-bench

SWE-bench est un benchmark qui évalue la résolution de problèmes logiciels issus de projets réels.

GPQA Diamond

GPQA Diamond est un sous-ensemble sélectionné du benchmark GPQA, composé de questions scientifiques difficiles à choix multiples.

FrontierMath

FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.

Terminal-Bench

Terminal-Bench est un ensemble de tests qui mesure la capacité d’un agent IA à accomplir des tâches dans un terminal, une interface où vous saisissez des commandes.

SimpleQA

SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.

AIME (benchmark)

AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 9 pages du site. Quelques-unes :

• Évaluer un agent IA : jeux de tests, métriques, benchmarks publics et suivi en production Guide
• Agents qui utilisent un ordinateur (computer use) : fonctionnement, offres, fiabilité, sécurité Guide
• Benchmark LLM : comment lire les classements des modèles Article
• Claude Opus 4.5 : prix, contexte et benchmarks Modèle
• Claude Sonnet 4.5 : prix, contexte et benchmarks Modèle
• Claude Sonnet 4.6 : prix, contexte et benchmarks Modèle
• Kimi K2.5 : prix, contexte et benchmarks Modèle
• o3 : prix, contexte et benchmarks Modèle