Leyes de escala: por qué los modelos de IA son cada vez más grandes
Las leyes de escala son relaciones medidas que permiten prever cuánto mejora un modelo de IA al aumentar su tamaño, sus datos de entrenamiento y la potencia de cálculo. Explican buena parte de la carrera hacia modelos cada vez más grandes desde 2020.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2020 |
| Introducido por | Jared Kaplan et al. |
Qué dicen las leyes de escala
Dicho de forma sencilla: cuanto más grande es un modelo y más datos y cómputo se usan para entrenarlo, mejor funciona, y esa mejora sigue una curva previsible.
En enero de 2020, Jared Kaplan y sus coautores publicaron «Scaling Laws for Neural Language Models». Midieron la pérdida de un modelo de lenguaje, es decir, su error medio al predecir el token siguiente, y comprobaron que disminuye según una ley de potencia de tres factores: el número de parámetros, la cantidad de datos de entrenamiento y el cómputo de entrenamiento. Las tendencias se mantienen a lo largo de más de siete órdenes de magnitud. Un detalle llamativo: la forma exacta de la red, su anchura o su profundidad, importa poco dentro de un rango amplio.
En la práctica, una ley de potencia se ve como una recta en un gráfico con escalas logarítmicas: cada multiplicación del presupuesto aporta una bajada regular de la pérdida, pero cada paso cuesta más en términos absolutos.
Chinchilla: la corrección de 2022
El equipo de Kaplan recomendaba entrenar modelos muy grandes con una cantidad de datos relativamente modesta. En marzo de 2022, Jordan Hoffmann y sus coautores revisaron esa conclusión en el artículo Chinchilla: con el mismo cómputo, el tamaño del modelo y el número de tokens deben crecer por igual. Su demostración fue Chinchilla, un modelo de 70 mil millones de parámetros entrenado con cuatro veces más datos que Gopher y el mismo cómputo, que superó a Gopher (280 mil millones) y a GPT-3 (175 mil millones) en una amplia gama de evaluaciones.
Por qué es importante
Las leyes de escala sirven como herramienta de planificación: un laboratorio entrena modelos pequeños, ajusta la curva y predice el rendimiento de un modelo mucho más caro antes de lanzarlo. Han justificado inversiones enormes en GPU y centros de datos. También orientan decisiones prácticas: un modelo más pequeño entrenado durante más tiempo resulta más barato de ejecutar después, algo clave para productos con millones de usuarios.
Ideas erróneas
- «Más grande siempre es mejor.» Solo con un presupuesto óptimo: un modelo grande infraentrenado puede perder frente a uno más pequeño, como mostró Chinchilla.
- «Menos pérdida significa un modelo más inteligente.» La pérdida mide la predicción de texto; algunas capacidades aparecen de forma mucho menos regular.
- «El escalado se ha acabado.» El debate existe, pero los laboratorios extienden ahora la idea al cómputo en tiempo de inferencia.
Términos relacionados: preentrenamiento, cómputo de entrenamiento y parámetros.
Términos relacionados
- Cómputo de entrenamiento (FLOP) · Cantidad total de operaciones de cálculo, medida en FLOP, necesaria para entrenar un modelo de IA.
- Parámetros de un modelo · Números internos que un modelo ajusta durante su entrenamiento; su cantidad indica el tamaño del modelo, no directamente su calidad.
- Datos de entrenamiento · Ejemplos (textos, imágenes, sonidos…) con los que aprende un modelo de IA; determinan lo que sabe y también sus fallos.
- Preentrenamiento · Primera fase de entrenamiento de un modelo de lenguaje: aprende a predecir la continuación de textos en un corpus enorme, sin tarea concreta.
- Cómputo en inferencia (test-time compute) · Potencia de cálculo que gasta un modelo en el momento de responder, por ejemplo para razonar más tiempo o comparar varias soluciones.
- Modelo de lenguaje grande (LLM) · Programa entrenado con enormes cantidades de texto para predecir cómo sigue un texto; es el motor de los asistentes de IA.
Para probar
Todo el glosario
Preguntas frecuentes
¿Demuestran las leyes de escala que la IA mejorará sin límite?
No. Son regularidades observadas en un rango determinado, no leyes de la naturaleza. Predicen un menor error al predecir texto, lo que no se traduce automáticamente en capacidades útiles, y nada garantiza que se cumplan más allá de las escalas medidas.
¿Qué cambió el artículo Chinchilla?
Publicado en 2022 por Jordan Hoffmann y sus coautores, mostró que, con un presupuesto de cómputo fijo, el tamaño del modelo y el número de tokens de entrenamiento deben crecer en la misma proporción. Muchos grandes modelos de la época estaban, por tanto, infraentrenados.
¿Existen leyes de escala para el razonamiento?
Los laboratorios describen también mejoras ligadas al cómputo gastado al responder, por ejemplo dejando que un modelo de razonamiento piense más tiempo. Esas relaciones son más recientes y están menos establecidas públicamente que las del preentrenamiento.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.