LoRA : affiner un grand modèle sans le réentraîner en entier
LoRA est une manière économique d'affiner un modèle d'IA : on gèle le modèle d'origine et l'on n'entraîne que de petites pièces ajoutées à côté. Le résultat tient dans un fichier léger, que l'on peut brancher ou débrancher à volonté.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2021 |
| Introduit par | Edward J. Hu et al. |
Le principe
LoRA permet de personnaliser un modèle d’IA en ajoutant quelques petites pièces réglables, au lieu de reprendre tout le modèle.
Le fine-tuning classique met à jour tous les paramètres d’un modèle, ce qui demande autant de mémoire qu’un entraînement et produit une copie complète à stocker. LoRA, pour Low-Rank Adaptation, part d’une autre hypothèse : la modification utile est « simple » et peut s’écrire comme le produit de deux matrices étroites, A et B. Les poids d’origine sont gelés ; seules A et B sont entraînées, généralement dans les couches d’attention. Deux réglages dominent : le rang r, qui fixe la taille des matrices, et le facteur d’échelle lora_alpha.
La méthode a été proposée en juin 2021 par Edward J. Hu et ses coauteurs dans l’article fondateur publié sur arXiv. Sur GPT-3 175B, ils rapportent un nombre de paramètres entraînables divisé par 10 000 et une mémoire GPU divisée par 3 par rapport à un affinage complet, avec une qualité équivalente ou meilleure sur leurs tests.
Un exemple concret
Une agence de traduction veut un modèle qui respecte le glossaire et le ton de chacun de ses trois clients. Plutôt que de stocker trois copies d’un modèle de plusieurs dizaines de gigaoctets, elle garde un seul modèle de base et entraîne trois adaptateurs LoRA, chacun beaucoup plus léger que le modèle lui-même, sa taille dépendant du rang choisi. Au moment de traiter un document, le serveur charge l’adaptateur du client concerné.
Pourquoi ça compte
LoRA a démocratisé l’affinage des modèles à poids ouverts. Combiné à la quantification dans QLoRA, il a permis d’affiner un modèle de 65 milliards de paramètres sur un seul GPU de 48 Go, selon ses auteurs. La technique s’est aussi imposée en génération d’images, où l’on partage des adaptateurs de style.
Idées reçues
- « LoRA, c’est un modèle. » C’est un complément : sans le modèle de base exact, l’adaptateur ne sert à rien.
- « Un rang plus élevé est toujours meilleur. » Il augmente la capacité d’adaptation, mais aussi le risque de surapprentissage et la taille du fichier. Le bon réglage dépend des données.
- « LoRA ajoute des connaissances fiables. » Comme tout affinage, il modifie surtout le comportement ; pour des faits qui changent, le RAG reste plus adapté.
Termes voisins : fine-tuning, quantification, paramètres, VRAM.
Termes liés
- Fine-tuning (affinage) · Poursuite de l'entraînement d'un modèle déjà entraîné sur un petit jeu d'exemples ciblés, pour l'adapter à une tâche, un style ou un format.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Quantification · Technique qui stocke les poids d'un modèle avec moins de bits (8, 4, voire moins) pour qu'il occupe beaucoup moins de mémoire.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
- VRAM (mémoire vidéo) · Mémoire intégrée à la carte graphique, où le modèle d'IA doit tenir pour tourner vite : c'est souvent elle qui limite ce que l'on peut faire en local.
- GPU (processeur graphique) · Puce conçue pour faire des milliers de calculs en parallèle, devenue le moteur de l'entraînement et de l'utilisation des modèles d'IA.
À essayer
Tout le glossaire
Questions fréquentes
Que veut dire « faible rang » ?
Au lieu de modifier une grande matrice de poids, LoRA apprend sa correction sous la forme du produit de deux matrices étroites. Le rang r fixe leur largeur : plus il est petit, moins il y a de paramètres à entraîner, mais moins l'adaptation peut être riche.
Un adaptateur LoRA fonctionne-t-il avec n'importe quel modèle ?
Non. Il est entraîné pour un modèle de base précis et ne s'applique qu'à lui, ou à des versions qui partagent exactement la même architecture et les mêmes poids de départ.
LoRA ralentit-il les réponses ?
Pas nécessairement. L'article d'origine et la documentation de la bibliothèque PEFT indiquent que les poids de l'adaptateur peuvent être fusionnés avec le modèle de base, ce qui n'ajoute aucune latence d'inférence.
Quelle différence entre LoRA et QLoRA ?
QLoRA, publié en 2023, charge le modèle de base quantifié en 4 bits et entraîne des adaptateurs LoRA par-dessus. Cela réduit encore la mémoire nécessaire pour affiner de très grands modèles.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.