Preentrenamiento: la fase en la que un modelo aprende el idioma
El preentrenamiento es la primera etapa, y la más costosa, en la creación de un gran modelo de lenguaje: el modelo lee una cantidad inmensa de texto y aprende a predecir lo que viene después. Ahí adquiere la mayor parte de sus conocimientos y de su dominio del idioma.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|---|
| Origen | 2018 |
| Introducido por | Radford et al. (OpenAI) |
La definición
Preentrenar un modelo consiste en hacerle leer cantidades gigantescas de texto (páginas web, libros, código, artículos) con un ejercicio siempre igual: adivinar el token siguiente. El modelo propone una continuación, se compara con el texto real y sus parámetros se ajustan para que se equivoque un poco menos la próxima vez. Repetido un número enorme de veces, este ejercicio sencillo le obliga a captar la gramática, el vocabulario, datos sobre el mundo y formas de razonar.
Se llama «pre»entrenamiento porque es solo el primer paso. El resultado, llamado modelo base, sabe continuar un texto, pero todavía no sabe conversar bien ni seguir instrucciones.
Un ejemplo concreto
Si le da a un modelo base el comienzo «Receta de tortilla de patatas: en una sartén, ponga», continuará de forma verosímil con aceite y patatas. Pero si le pregunta «¿Me da una receta de tortilla?», puede generar una lista de preguntas parecidas, como en un foro. Es la fase siguiente, con el ajuste fino y el RLHF, la que lo convierte en un asistente que responde.
De dónde viene el enfoque
La idea de preentrenar un modelo con texto no etiquetado antes de adaptarlo a una tarea se popularizó en 2018, en particular con el artículo de OpenAI «Improving Language Understanding by Generative Pre-Training» (Radford et al.), origen del nombre GPT, y con BERT de Google ese mismo año. Puede ver estos hitos en la cronología de la IA.
Por qué importa
El preentrenamiento explica varios comportamientos que usted observa a diario. La calidad y la variedad de los datos de entrenamiento determinan lo que sabe el modelo y sus sesgos. El final de esos datos marca la fecha de corte de conocimiento. Y el cómputo de entrenamiento necesario es tan grande que solo unos pocos laboratorios preentrenan los modelos mayores; la lista de modelos del sitio muestra quién los publica.
Ideas equivocadas frecuentes
- «El modelo ha memorizado Internet». Ha extraído regularidades estadísticas; puede reproducir algunos fragmentos, pero no contiene una copia consultable de la web.
- «Más datos siempre es mejor». La calidad y el filtrado de los datos importan tanto como la cantidad.
- «Con el preentrenamiento basta para tener un asistente». Sin las fases posteriores, el modelo no sigue bien las instrucciones.
Términos relacionados
- Datos de entrenamiento · Ejemplos (textos, imágenes, sonidos…) con los que aprende un modelo de IA; determinan lo que sabe y también sus fallos.
- Ajuste fino (fine-tuning) · Continuar el entrenamiento de un modelo ya entrenado con un pequeño conjunto de ejemplos para adaptarlo a una tarea, un estilo o un formato.
- RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) · Método de entrenamiento en el que personas comparan respuestas del modelo para que aprenda a preferir las juzgadas útiles y seguras.
- Fecha de corte de conocimiento · Fecha a partir de la cual un modelo de IA ya no recibió datos de entrenamiento: desconoce lo que ocurrió después.
- Cómputo de entrenamiento (FLOP) · Cantidad total de operaciones de cálculo, medida en FLOP, necesaria para entrenar un modelo de IA.
- Leyes de escala · Relaciones medidas que predicen cómo mejora el rendimiento de un modelo según su tamaño, sus datos y su cómputo.
Todo el glosario
Preguntas frecuentes
¿Un modelo sigue aprendiendo mientras converso con él?
No en tiempo real. Sus conocimientos básicos quedan fijados al terminar el preentrenamiento. Algunos proveedores pueden usar conversaciones para entrenar versiones futuras, según sus condiciones y sus ajustes de privacidad.
¿Por qué mi asistente no conoce las noticias recientes?
Porque sus datos de preentrenamiento terminan en una fecha determinada, llamada fecha de corte de conocimiento. Para lo más reciente, el asistente debe apoyarse en una búsqueda web o en documentos que usted le facilite.
¿Qué diferencia hay entre preentrenamiento y ajuste fino?
El preentrenamiento enseña al modelo el idioma y conocimientos generales a partir de textos variados. El ajuste fino, más corto y barato, adapta después ese modelo a una tarea, un estilo o un comportamiento concretos.
¿Se puede preentrenar un modelo propio?
Para un modelo grande, está fuera del alcance de la mayoría de las organizaciones, porque exige enormes cantidades de datos y de potencia de cálculo. Sí es habitual partir de un modelo de pesos abiertos ya preentrenado y ajustarlo.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.