FRENES

Glossaire · Agents et autonomie

Utilisation d'ordinateur

L’utilisation d’ordinateur est une capacité permettant à un agent IA d’interagir avec une interface graphique, par exemple en cliquant, en saisissant du texte ou en faisant défiler une page. Il observe l’état de l’écran et commande des actions dans un environnement auquel il a accès.

Utilisation d'ordinateur : l'explication

Le système fournit à l’agent des captures d’écran ou d’autres informations sur l’interface disponible. Le modèle choisit une action, comme sélectionner un champ ou appuyer sur un bouton. Un logiciel applique cette action, puis lui transmet un nouvel état de l’écran. L’agent répète le cycle pour avancer. Selon l’outil, il peut utiliser des coordonnées visuelles, des informations d’accessibilité ou d’autres repères fournis par l’environnement pour identifier l’élément avec lequel il doit interagir à ce moment.

Cette capacité sert à travailler dans des applications qui ne disposent pas d’une connexion directe adaptée à la tâche. Vous pouvez demander de remplir un formulaire ou de récupérer un document dans un portail. L’agent suit alors un parcours proche de celui d’un utilisateur humain, sans nécessairement comprendre tous les éléments de la page. L’exécution peut avoir lieu dans un navigateur isolé, un bureau distant ou un autre environnement contrôlé, selon le produit et ses options.

Une interface peut changer, afficher une fenêtre inattendue ou déplacer un bouton. L’agent peut aussi cliquer au mauvais endroit ou confondre un texte affiché avec une instruction légitime. Les permissions, la protection des données et la confirmation des actions importantes restent donc nécessaires. Cette capacité ne donne pas automatiquement accès à tout votre appareil. Son périmètre dépend de l’environnement fourni, des sessions ouvertes et des restrictions appliquées par le système qui contrôle effectivement les interactions.

Un exemple concret

Vous demandez à un agent de télécharger une attestation depuis un portail associatif. Dans le navigateur prévu pour la tâche, il ouvre la rubrique documents, choisit la bonne période et récupère le fichier. Si une connexion ou un code de vérification est nécessaire, vous intervenez selon le fonctionnement du service. Avant de modifier des coordonnées personnelles, l’agent vous présente le changement pour validation.

Pourquoi c'est important

L’utilisation d’ordinateur peut rendre accessibles des services sans intégration dédiée, mais elle dépend fortement de l’interface et des droits disponibles. Pour choisir un outil, vérifiez où il agit, quelles données il peut voir et comment vous pouvez l’arrêter. Regardez aussi les confirmations prévues avant un envoi ou une modification. Une action visuellement simple peut avoir des conséquences importantes dans l’application concernée.

Idées reçues

  • Un agent capable d’utiliser une interface n’a pas automatiquement le contrôle complet de votre ordinateur : il peut fonctionner dans un navigateur isolé ou un environnement distant dont les accès sont limités par le système.
  • Cliquer comme un utilisateur ne signifie pas comprendre une application comme lui : un déplacement de bouton, un message ambigu ou une page inattendue peut suffire à perturber l’agent et nécessiter une vérification ou votre intervention.

Autres termes : agents et autonomie

agent IA
Un agent IA est un système qui utilise un modèle pour décider des étapes à suivre afin de réaliser une tâche.
agent autonome
Un agent autonome est un agent IA qui peut poursuivre un objectif et choisir plusieurs actions sans demander votre intervention à chaque étape.
système multi-agents
Un système multi-agents est un ensemble d’agents qui se répartissent des tâches ou échangent des informations pour poursuivre un objectif.
planification
La planification est la préparation des étapes qu’un agent IA prévoit de suivre pour atteindre un objectif.
mémoire d'agent
La mémoire d’agent est l’ensemble des mécanismes qui permettent à un agent IA de conserver et de retrouver des informations utiles à son travail.
humain dans la boucle
L’humain dans la boucle est une organisation dans laquelle une personne intervient à certaines étapes du travail d’un système IA.
appel d'outils
L’appel d’outils est un mécanisme par lequel un modèle demande à un logiciel d’exécuter une fonction précise, comme rechercher un document ou consulter un calendrier.
agent de code
Un agent de code est un logiciel qui utilise un modèle d’IA et des outils pour réaliser des tâches de programmation.

Où le site en parle

Le terme apparaît dans 9 pages du site. Quelques-unes :

Dans la même famille

Pour aller plus loin

Questions fréquentes

Est-ce la même chose qu’une API ?

Non. Une API fournit des fonctions utilisables directement par un logiciel. L’utilisation d’ordinateur passe par une interface graphique. Les deux approches peuvent être combinées, et la plus adaptée dépend de la tâche et des connexions disponibles.

Voit-il tout mon ordinateur ?

Pas nécessairement. Il peut voir seulement un navigateur ou un bureau fourni pour la tâche. Vérifiez le périmètre exact, les dossiers accessibles et les sessions connectées. Les possibilités dépendent du produit et de ses autorisations.

Que se passe-t-il si la page change ?

L’agent peut parfois retrouver les éléments, mais un changement peut aussi provoquer une erreur. Un système prudent vérifie l’état après ses actions et s’arrête lorsqu’il ne peut plus identifier correctement la suite du parcours attendu.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons