Datos sintéticos en IA: definición y ejemplos

Nivel	Intermedio

Definición sencilla

Un modelo aprende a partir de ejemplos: sus datos de entrenamiento. Cuando faltan ejemplos, se pueden fabricar. Los datos sintéticos son textos, imágenes, tablas o diálogos generados por un programa, hoy a menudo un gran modelo de lenguaje, para que se parezcan a datos reales.

Un ejemplo concreto

Una pyme quiere un asistente que clasifique sus tickets de soporte en diez categorías, pero solo tiene 200 tickets etiquetados. Pide a un gran modelo que redacte 5000 tickets variados: clientes con prisa o muy educados, erratas, peticiones mezcladas. Tras revisar una muestra, usa ese conjunto para el ajuste fino de un modelo de lenguaje pequeño y luego mide el resultado con sus tickets reales.

La misma idea funciona a gran escala. En junio de 2023, un equipo de investigación presentó phi-1, un modelo de código de 1300 millones de parámetros entrenado en parte con unos 1000 millones de tokens de manuales y ejercicios generados con GPT-3.5, junto con 6000 millones de tokens seleccionados de la web.

Por qué es importante

Los datos sintéticos responden a tres problemas: la escasez (casos raros, idiomas poco representados), el coste (el etiquetado humano es lento y caro) y la privacidad (evitar exponer expedientes reales de clientes). También son clave en la destilación, donde un modelo grande produce los ejemplos con los que se entrena otro más pequeño.

Errores e ideas falsas frecuentes

«Cuantos más, mejor». Un gran volumen de ejemplos repetitivos enseña poco. La variedad y la exactitud importan más que la cantidad.
«Un modelo puede entrenarse sin fin con lo que él mismo produce». Un estudio de Shumailov y sus coautores, publicado en 2023, muestra que entrenar modelos generación tras generación con datos generados empobrece sus resultados: es el colapso del modelo.
«Sintético quiere decir sin riesgo». Los errores y sesgos del modelo generador pasan a los datos y, después, al modelo entrenado.

Términos relacionados: datos de entrenamiento, destilación, ajuste fino, colapso del modelo.

Términos relacionados

Datos de entrenamiento · Ejemplos (textos, imágenes, sonidos…) con los que aprende un modelo de IA; determinan lo que sabe y también sus fallos.

Colapso del modelo · Degradación progresiva de modelos entrenados, generación tras generación, con contenidos producidos por otros modelos en lugar de por personas.

Destilación de conocimiento · Técnica que entrena un modelo «alumno» pequeño para imitar las respuestas de un modelo «profesor» grande y así hacerlo más ligero.

Ajuste fino (fine-tuning) · Continuar el entrenamiento de un modelo ya entrenado con un pequeño conjunto de ejemplos para adaptarlo a una tarea, un estilo o un formato.

Modelo de lenguaje pequeño (SLM) · Modelo de lenguaje compacto, lo bastante ligero para funcionar en un ordenador o un móvil, eficaz en tareas concretas más que generales.

Preguntas frecuentes

¿Los datos sintéticos son falsos?

Son fabricados, no engañosos: ejemplos verosímiles creados para imitar una situación real. Su valor depende de su exactitud, de su variedad y del control de calidad aplicado antes de usarlos.

¿Sustituyen por completo a los datos reales?

Rara vez. Suelen complementar una base de datos reales, que también sirve para comprobar que el modelo funciona con casos auténticos. Una prueba final con ejemplos reales sigue siendo imprescindible.

¿Los datos sintéticos son anónimos?

No automáticamente. Un modelo generador puede reproducir fragmentos de los datos con los que se entrenó. Si hay datos personales en juego, haga revisar el enfoque por la persona responsable del cumplimiento normativo.

¿Cómo se generan?

Casi siempre pidiendo a un gran modelo de lenguaje que produzca ejemplos según unas instrucciones precisas (tema, tono, dificultad, formato) y filtrando luego los resultados, a veces con un segundo modelo que los puntúa.

Datos sintéticos: entrenar una IA con ejemplos fabricados

Lo esencial en cifras