Computer use : une IA qui se sert d'un ordinateur comme vous
Le computer use désigne la capacité d'un modèle d'IA à utiliser un ordinateur comme un humain : il regarde l'écran, déplace le curseur, clique et tape au clavier. Il permet d'automatiser des logiciels qui n'offrent aucune API, au prix de nouveaux risques de sécurité.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2024 |
| Introduit par | Anthropic |
Définition
Dit simplement : on donne à l’IA un écran, une souris et un clavier virtuels. Plutôt que d’appeler des fonctions prévues pour elle, un agent IA doté du computer use se débrouille avec l’interface conçue pour les humains. Il s’appuie sur un modèle multimodal capable de lire une capture d’écran, d’y repérer un champ ou un bouton et d’estimer ses coordonnées.
Anthropic a introduit le terme en annonçant le 22 octobre 2024 cette capacité en bêta publique pour Claude 3.5 Sonnet, présentée alors comme expérimentale, encore lente et sujette aux erreurs.
La boucle d’agent
Le fonctionnement suit une boucle répétée jusqu’à la fin de la tâche :
- l’application envoie au modèle la consigne et une capture d’écran ;
- le modèle décide d’une action : clic, saisie, touche, défilement, zoom, attente ;
- l’application exécute l’action dans l’environnement ;
- elle renvoie le résultat et une nouvelle capture, et le modèle décide de la suite.
Point important : le modèle ne touche pas directement à la machine. C’est le code du développeur qui exécute chaque action, ce qui permet de filtrer, journaliser ou bloquer. La documentation officielle de l’outil détaille ces actions et les précautions associées.
Un exemple concret
Un service comptable reçoit chaque semaine des factures à saisir dans un vieux logiciel métier sans API. Un agent, lancé dans une machine virtuelle dédiée, ouvre chaque PDF, recopie fournisseur, date et montant dans les champs du logiciel, puis s’arrête avant la validation finale : un comptable vérifie et confirme. L’agent n’a accès ni à la messagerie ni aux identifiants bancaires.
Pourquoi ça compte et ce qu’il faut surveiller
Le computer use étend l’automatisation à des logiciels qu’aucune intégration ne couvrait. Mais il élargit aussi la surface d’attaque : une page web peut contenir une injection de prompt qui pousse l’agent à agir contre son utilisateur. Les recommandations officielles convergent : bac à sable avec privilèges minimaux, pas de données sensibles, liste de domaines autorisés et humain dans la boucle pour les actions aux conséquences réelles. Notre évaluateur de risque d’agent aide à passer ces points en revue.
Idées reçues
- « L’agent voit l’écran comme nous. » Il raisonne sur des images figées, prises entre deux actions, et peut rater ce qui bouge ou se trouve hors cadre.
- « C’est la meilleure façon d’automatiser. » C’est souvent la plus coûteuse et la plus lente ; une API reste préférable quand elle existe.
- « Un agent sur mon poste personnel, c’est sans risque. » Il hériterait de vos sessions ouvertes et de vos fichiers : isolez-le.
Termes voisins : navigateur IA, agent IA, injection de prompt, bac à sable.
Termes liés
- Agent IA · IA qui ne se contente pas de répondre : elle planifie et enchaîne des actions avec des outils pour atteindre un objectif donné.
- Navigateur IA (navigateur agentique) · Navigateur web qui intègre un assistant IA capable de résumer les pages et, parfois, d'agir à votre place (cliquer, remplir, réserver).
- Bac à sable (sandboxing) · Isolement d'un agent IA dans un environnement fermé où ses fichiers, son réseau et ses commandes sont limités, pour contenir les dégâts possibles.
- Injection de prompt · Attaque qui glisse des instructions cachées dans un texte lu par une IA pour lui faire ignorer ses consignes ou agir contre l'utilisateur.
- Humain dans la boucle · Principe qui fait valider, corriger ou arrêter par une personne les étapes importantes d'une IA ou d'un agent avant qu'elles ne s'exécutent.
- IA multimodale · IA capable de comprendre ou de produire plusieurs types de contenus : texte, images, son, vidéo, parfois dans la même conversation.
À essayer
Tout le glossaire
Questions fréquentes
Qui a popularisé le computer use ?
Anthropic l'a annoncé le 22 octobre 2024 en bêta publique avec Claude 3.5 Sonnet, en le qualifiant alors d'expérimental. D'autres éditeurs proposent depuis des agents comparables qui pilotent un navigateur ou un bureau.
Comment le modèle « voit-il » l'écran ?
Par des captures d'écran successives. Le modèle les analyse grâce à ses capacités de vision, choisit une action (clic à des coordonnées, saisie de texte, raccourci clavier), l'application l'exécute, puis renvoie une nouvelle capture.
Est-ce plus efficace qu'une API ?
Non. Quand une API ou un outil en ligne de commande existe, il est généralement plus rapide et plus fiable. Le computer use sert surtout pour les logiciels sans API ou les parcours qui n'existent qu'à l'écran.
Quels sont les principaux risques ?
Une page ou un document peut contenir des instructions cachées qui détournent l'agent (injection de prompt), et l'agent peut se tromper de bouton. D'où la recommandation d'un environnement isolé, sans identifiants sensibles, avec validation humaine des actions importantes.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.