LoRA: ajustar un gran modelo sin reentrenarlo entero
LoRA es una forma económica de ajustar un modelo de IA: se congela el modelo original y solo se entrenan pequeñas piezas añadidas. El resultado cabe en un archivo ligero que se puede conectar o quitar cuando se quiera.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2021 |
| Introducido por | Edward J. Hu et al. |
Cómo funciona
LoRA permite personalizar un modelo de IA añadiendo unas pocas piezas ajustables, en lugar de reentrenar el modelo completo.
El ajuste fino clásico actualiza todos los parámetros de un modelo, lo que exige tanta memoria como un entrenamiento y deja una copia completa que almacenar. LoRA, siglas de Low-Rank Adaptation, parte de otra hipótesis: el cambio útil es «sencillo» y puede escribirse como el producto de dos matrices estrechas, A y B. Los pesos originales se congelan y solo se entrenan A y B, normalmente en las capas de atención. Dos ajustes son clave: el rango r, que fija el tamaño de las matrices, y el factor de escala lora_alpha.
El método lo presentaron en junio de 2021 Edward J. Hu y sus coautores en el artículo original publicado en arXiv. Sobre GPT-3 175B, indican 10 000 veces menos parámetros entrenables y tres veces menos memoria de GPU que un ajuste completo, con una calidad igual o superior en sus pruebas.
Un ejemplo concreto
Una agencia de traducción quiere un modelo que respete el glosario y el tono de cada uno de sus tres grandes clientes. En lugar de guardar tres copias de un modelo de decenas de gigabytes, conserva un único modelo base y entrena tres adaptadores LoRA, cada uno mucho más ligero que el propio modelo, con un tamaño que depende del rango elegido. Cuando llega un documento, el servidor carga el adaptador del cliente correspondiente.
Por qué es importante
LoRA puso el ajuste fino de los modelos de pesos abiertos al alcance de quien no dispone de un centro de datos. Combinado con la cuantización en QLoRA, permitió ajustar un modelo de 65 mil millones de parámetros en una sola GPU de 48 GB, según sus autores. La técnica se extendió también a la generación de imágenes, donde se comparten adaptadores de estilo.
Ideas erróneas
- «Un LoRA es un modelo.» Es un complemento: sin el modelo base exacto, el adaptador no sirve.
- «Un rango más alto siempre es mejor.» Aumenta la capacidad de adaptación, pero también el riesgo de sobreajuste y el tamaño del archivo. El valor adecuado depende de los datos.
- «LoRA añade conocimientos fiables.» Como todo ajuste fino, cambia sobre todo el comportamiento; para datos que cambian, el RAG suele encajar mejor.
Términos relacionados: ajuste fino, cuantización, parámetros y VRAM.
Términos relacionados
- Ajuste fino (fine-tuning) · Continuar el entrenamiento de un modelo ya entrenado con un pequeño conjunto de ejemplos para adaptarlo a una tarea, un estilo o un formato.
- Parámetros de un modelo · Números internos que un modelo ajusta durante su entrenamiento; su cantidad indica el tamaño del modelo, no directamente su calidad.
- Cuantización · Técnica que guarda los pesos de un modelo con menos bits (8, 4 o incluso menos) para que ocupe mucha menos memoria.
- Modelo de pesos abiertos · Modelo de IA cuyos parámetros entrenados (los «pesos») se pueden descargar, lo que permite ejecutarlo en sus propios equipos.
- VRAM (memoria de vídeo) · Memoria integrada en la tarjeta gráfica donde debe caber el modelo de IA para funcionar rápido; suele ser lo que limita el uso en local.
- GPU (procesador gráfico) · Chip diseñado para hacer miles de cálculos en paralelo, convertido en el motor del entrenamiento y del uso de los modelos de IA.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué significa «bajo rango»?
En lugar de modificar una gran matriz de pesos, LoRA aprende la corrección como el producto de dos matrices estrechas. El rango r fija su anchura: cuanto más pequeño, menos parámetros hay que entrenar, pero la adaptación es menos rica.
¿Un adaptador LoRA funciona con cualquier modelo?
No. Se entrena para un modelo base concreto y solo sirve para él, o para versiones que compartan exactamente la misma arquitectura y los mismos pesos de partida.
¿LoRA hace más lentas las respuestas?
No necesariamente. El artículo original y la documentación de la biblioteca PEFT indican que los pesos del adaptador pueden fusionarse con el modelo base, lo que no añade latencia de inferencia.
¿Qué diferencia hay entre LoRA y QLoRA?
QLoRA, publicado en 2023, carga el modelo base cuantizado en 4 bits y entrena adaptadores LoRA encima. Así se reduce aún más la memoria necesaria para ajustar modelos muy grandes.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.