OSWorld

OSWorld: la explicación

La evaluación prepara un entorno con aplicaciones, archivos y un objetivo. El agente observa la información disponible y actúa mediante los mecanismos permitidos, como operaciones de ratón y teclado. Debe coordinar varios pasos y responder a los efectos de sus acciones. Después se examina el resultado obtenido. Esto permite distinguir un asistente que explica cómo editar un documento de un agente que realiza realmente los cambios solicitados. El trabajo final aporta evidencia adicional a una descripción convincente de lo que supuestamente ocurrió.

OSWorld estudia cómo utilizan los agentes ordenadores con aplicaciones reales. Las tareas pueden incluir documentos, archivos y procesos que atraviesan varios programas. La familia ha evolucionado, y OSWorld 2.0 se centra especialmente en encargos más largos y restricciones de procesos completos. La [presentación oficial de OSWorld 2.0](https://osworld-v2.xlang.ai/) describe esa orientación. Por eso, debe identificar la versión de cualquier puntuación. Los resultados de entornos o colecciones diferentes no miden necesariamente el mismo comportamiento, aunque compartan el nombre general en un gráfico comparativo.

El rendimiento depende del modelo, de cómo observa el entorno, de las acciones permitidas y del límite de pasos. La configuración de las aplicaciones también puede modificar la dificultad. Resolver una tarea del benchmark no garantiza igual fiabilidad en su ordenador, con sus cuentas y documentos. Además, completar una tarea no describe toda la seguridad de ejecución. Revise cómo gestiona el agente los permisos, la información ausente, los errores y las acciones difíciles de deshacer. Estas conductas importan junto con la tasa de éxito.

Un ejemplo concreto

Usted quiere delegar la preparación de una hoja de gastos a partir de recibos. Un resultado OSWorld aporta información sobre la capacidad del agente para coordinar acciones entre aplicaciones. Después prepara un ensayo con archivos ficticios y una copia de la hoja. Comprueba los importes, las celdas modificadas y la ubicación del archivo guardado. El ensayo también revela si el agente verifica su trabajo o termina antes de cumplir todas las condiciones.

Por qué importa

OSWorld resulta pertinente cuando necesita un agente que actúe en programas, además de conversar. Compruebe la versión del benchmark y los recursos utilizados para obtener la puntuación. Examine también tiempos de ejecución, errores recuperables y opciones de supervisión. Resolver algunas tareas de oficina no justifica conceder acceso ilimitado. Los permisos deben corresponder a las acciones necesarias, con revisión antes de operaciones que puedan tener consecuencias importantes para su trabajo.

Ideas equivocadas

• Un buen resultado OSWorld no significa que el agente funcionará perfectamente en todas sus aplicaciones, porque las interfaces, la configuración, los archivos disponibles y los permisos de las cuentas pueden diferir mucho del entorno utilizado durante la evaluación.
• Completar una tarea de OSWorld no demuestra seguridad integral, porque alcanzar el resultado esperado y respetar todos los requisitos de permisos, privacidad o reversibilidad son dimensiones diferentes que deben examinarse explícitamente en el contexto de uso.

Otros términos: medir y comparar

benchmark

Benchmark es una prueba organizada con reglas definidas para comparar el rendimiento de distintos sistemas.

índice de capacidades de Epoch AI

El índice de capacidades de Epoch AI es una medida compuesta que reúne resultados de varios benchmarks para comparar modelos de IA.

SWE-bench

SWE-bench es un benchmark que evalúa la resolución de problemas de software procedentes de proyectos reales.

GPQA Diamond

GPQA Diamond es un subconjunto seleccionado de GPQA que contiene preguntas científicas difíciles de opción múltiple.

FrontierMath

FrontierMath es un benchmark de matemáticas avanzadas desarrollado por Epoch AI con especialistas del ámbito matemático.

Terminal-Bench

Terminal-Bench es un conjunto de pruebas que mide la capacidad de un agente de IA para completar tareas mediante una terminal, una interfaz que recibe comandos escritos.

SimpleQA

SimpleQA es un benchmark que evalúa la exactitud de un modelo de lenguaje al responder preguntas factuales breves.

AIME (benchmark)

AIME (benchmark) designa el uso de problemas del American Invitational Mathematics Examination para evaluar modelos de lenguaje.

Dónde lo trata este sitio

El término aparece en 9 páginas del sitio. Algunas:

• Evaluar un agente IA: conjuntos de pruebas, métricas, benchmarks públicos y seguimiento en producción Guía
• Agentes que usan un ordenador (computer use): funcionamiento, opciones, fiabilidad y seguridad Guía
• Benchmark LLM: cómo interpretar las clasificaciones de modelos Artículo
• Claude Opus 4.5: precio, contexto y benchmarks Modelo
• Claude Sonnet 4.5: precio, contexto y benchmarks Modelo
• Claude Sonnet 4.6: precio, contexto y benchmarks Modelo
• Kimi K2.5: precio, contexto y benchmarks Modelo
• o3: precio, contexto y benchmarks Modelo