Generalización

Generalización: la explicación

Durante el entrenamiento, un modelo ajusta su funcionamiento a partir de ejemplos. La generalización aparece cuando los patrones aprendidos también sirven para datos no utilizados en ese ajuste. Por eso se reservan casos independientes para evaluar los resultados. La separación debe ser real: documentos casi idénticos o respuestas ya presentes en el entrenamiento pueden crear una impresión engañosa de novedad. La evaluación debe comprobar nuevos casos, no solo la reproducción de información vista anteriormente.

La noción es central en aprendizaje automático y afecta directamente a las herramientas cotidianas. Un agente entrenado con ciertos formatos de factura puede recibir otro diseño. Un asistente acostumbrado a peticiones sencillas puede encontrar instrucciones combinadas. La pregunta es qué patrones siguen siendo útiles. Resolver ejemplos próximos no demuestra adaptación a cualquier situación. La diferencia entre los casos conocidos y los nuevos importa mucho al interpretar los resultados y decidir para qué tareas utilizar el sistema.

Conviene distinguir la generalización del modelo de la adaptación de la aplicación completa. Un agente puede resolver una tarea consultando documentación, utilizando un programa o pidiendo una aclaración. Esto puede resultar útil aunque el modelo aislado fallara. En cambio, un éxito puntual no demuestra una capacidad estable. Una evaluación pertinente varía documentos, formulaciones y excepciones, y estudia los errores concretos en lugar de depender exclusivamente de una puntuación global que podría ocultar debilidades importantes.

Un ejemplo concreto

Usted utiliza un agente para clasificar facturas. Funciona con las plantillas habituales y después recibe un documento con otra distribución que incluye una nota de abono. Si identifica correctamente los importes y el tipo de documento, muestra una generalización útil. Si pide una aclaración ante una ambigüedad en lugar de adivinar, también gestiona un límite importante para la fiabilidad de su proceso de trabajo.

Por qué importa

La generalización determina si una herramienta seguirá siendo útil cuando cambien sus datos. Antes de elegirla, pruebe formatos diversos, redacciones poco habituales y excepciones representativas. Reserve ejemplos que no hayan servido para configurarla. Observe también cómo comunica sus dificultades. Un buen rendimiento en una demostración preparada no garantiza los mismos resultados con los documentos y las situaciones cambiantes de su trabajo real.

Ideas equivocadas

• Una puntuación elevada en ejemplos utilizados para configurar un sistema no demuestra generalización, porque puede reflejar detalles memorizados sin acreditar una capacidad fiable para resolver casos realmente nuevos que queden fuera del material de preparación.
• La generalización no es una cualidad uniforme válida para cualquier situación, porque un modelo puede adaptarse a un cambio de diseño y fallar ante otro idioma, una combinación distinta de reglas o un contexto de uso desconocido.

Otros términos: agi y alineación

AGI (inteligencia artificial general)

La AGI, o inteligencia artificial general, es la idea de una IA capaz de aprender y realizar una amplia variedad de tareas intelectuales, más allá de una especialidad.

ARC-AGI

ARC-AGI es una serie de pruebas diseñada para estudiar cómo las IA resuelven problemas desconocidos con pocos ejemplos o interacciones.

ARC Prize

ARC Prize es una iniciativa de investigación y concursos que impulsa avances abiertos sobre problemas de generalización en IA.

inteligencia fluida

La inteligencia fluida es la capacidad de razonar ante problemas nuevos sin depender principalmente de conocimientos adquiridos.

Dónde lo trata este sitio

El término aparece en 21 páginas del sitio. Algunas:

• La generalización, núcleo de la inteligencia según François Chollet: definiciones, ejemplos y medición Guía
• « How We Get To AGI »: la conferencia de François Chollet, capítulo a capítulo Guía
• Modelos de razonamiento: cómo funcionan, qué mejoran y qué límites muestran Guía
• Adaptación en tiempo de prueba: principios y resultados Guía
• Medir los avances hacia la AGI: benchmarks, límites, saturación y contaminación Guía
• Los límites del aprendizaje profundo: qué hacen mal los modelos, según François Chollet y otros investigadores Guía
• Historia de la idea de AGI: de Turing a los laboratorios actuales Guía
• ¿Cuándo llegará la AGI? Previsiones publicadas, métodos y motivos de sus diferencias Guía