Computer use: una IA que usa el ordenador como usted

Definición

Dicho de forma sencilla: se le da a la IA una pantalla, un ratón y un teclado virtuales. En lugar de llamar a funciones pensadas para ella, un agente de IA con computer use se las arregla con la interfaz diseñada para las personas. Se apoya en un modelo multimodal capaz de leer una captura de pantalla, localizar un campo o un botón y estimar sus coordenadas.

Anthropic introdujo el término al anunciar el 22 de octubre de 2024 esta capacidad en beta pública para Claude 3.5 Sonnet, presentada entonces como experimental, todavía lenta y propensa a errores.

El bucle del agente

Funciona como un bucle que se repite hasta terminar la tarea:

1. la aplicación envía al modelo la instrucción y una captura de pantalla;
2. el modelo elige una acción: clic, escritura, tecla, desplazamiento, zoom, espera;
3. la aplicación ejecuta la acción en el entorno;
4. devuelve el resultado y una nueva captura, y el modelo decide el siguiente paso.

Un punto clave: el modelo nunca toca la máquina directamente. Es el código del desarrollador el que ejecuta cada acción, lo que permite filtrarlas, registrarlas o bloquearlas. La documentación oficial de la herramienta detalla esas acciones y las precauciones recomendadas.

Un ejemplo concreto

Un departamento de contabilidad recibe cada semana facturas que hay que introducir en un antiguo programa de gestión sin API. Un agente, ejecutado en una máquina virtual dedicada, abre cada PDF, copia proveedor, fecha e importe en los campos del programa y se detiene antes de la validación final: un contable revisa y confirma. El agente no tiene acceso ni al correo ni a las credenciales bancarias.

Por qué importa y qué vigilar

El computer use amplía la automatización a programas que ninguna integración cubría. Pero también amplía la superficie de ataque: una página web puede contener una inyección de prompt que empuje al agente a actuar contra su usuario. Las recomendaciones oficiales coinciden: un entorno aislado (sandbox) con privilegios mínimos, sin datos sensibles, una lista de dominios autorizados y un humano en el bucle para las acciones con consecuencias reales. Nuestro evaluador de riesgo de agentes le ayuda a repasar estos puntos.

Ideas falsas habituales

• «El agente ve la pantalla como nosotros.» Razona sobre imágenes fijas tomadas entre dos acciones y puede pasar por alto lo que se mueve o queda fuera del encuadre.
• «Es la mejor forma de automatizar.» Suele ser la más lenta y costosa; una API sigue siendo preferible cuando existe.
• «Ejecutarlo en mi ordenador personal no tiene riesgo.» Heredaría sus sesiones abiertas y sus archivos: aíslelo.

Términos relacionados: navegador con IA, agente de IA, inyección de prompt, sandbox.