Mélange d'experts (MoE) : un grand modèle qui ne travaille qu'en partie
Un modèle à mélange d'experts (Mixture of Experts, MoE) contient de nombreux sous-réseaux spécialisés, mais n'en sollicite que quelques-uns pour chaque token. Il peut ainsi être très grand sur le papier tout en restant plus rapide et moins coûteux à faire tourner qu'un modèle classique de même taille.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2017 |
| Introduit par | Shazeer et al. |
Le principe : beaucoup d’experts, peu au travail
Dans un modèle classique dit « dense », chaque paramètre participe au calcul de chaque token. Dans un modèle à mélange d’experts, certaines couches sont remplacées par un ensemble de petits réseaux, les experts, précédés d’un routeur (ou réseau de « gating »). Pour chaque token, le routeur choisit les quelques experts les plus adaptés, et seuls ceux-ci calculent. Les autres restent au repos.
L’idée a été popularisée pour le langage par l’article de Shazeer et ses coauteurs, déposé sur arXiv en 2017, qui parlait de « calcul conditionnel » : la capacité du réseau augmente fortement, le calcul par exemple beaucoup moins.
Un exemple concret : Mixtral 8x7B
En décembre 2023, Mistral AI a publié Mixtral 8x7B, un modèle à poids ouverts sous licence Apache 2.0. Selon l’annonce officielle, chaque couche contient 8 groupes de paramètres (les experts) et le routeur en sélectionne 2 pour chaque token. Résultat : 46,7 milliards de paramètres au total, mais seulement 12,9 milliards utilisés par token. En pratique, le modèle calcule à peu près au rythme d’un modèle de 13 milliards de paramètres tout en disposant d’une capacité bien supérieure. Vous pouvez comparer ce type de modèles dans notre page des modèles open source.
Pourquoi ça compte
- Coût et vitesse : à qualité comparable, un MoE demande moins de calcul par token pendant l’inférence, ce qui réduit la facture et la latence.
- Montée en échelle : il permet d’augmenter le nombre total de paramètres sans que le calcul d’entraînement suive au même rythme.
- Lecture des fiches modèles : de nombreux modèles récents, notamment à poids ouverts, adoptent cette architecture. Comprendre la différence entre paramètres totaux et actifs évite de mal comparer deux modèles.
Erreurs et idées reçues fréquentes
- « Un MoE de 46 milliards se comporte comme un modèle de 46 milliards. » Pas forcément : sa qualité se situe souvent entre celle d’un modèle dense de la taille de ses paramètres actifs et celle d’un modèle dense de sa taille totale.
- « Il tient dans moins de mémoire. » Non : tous les experts doivent être chargés. C’est un point clé pour qui veut l’héberger soi-même.
- « Chaque expert est un spécialiste d’un domaine. » La répartition apprise par le routeur n’est pas thématique au sens humain.
- « MoE et Transformer s’opposent. » Au contraire : dans les grands modèles de langage, les experts remplacent en général certaines couches d’un Transformer.
Termes voisins
Paramètres d’un modèle, inférence, Transformer, lois d’échelle et modèle à poids ouverts.
Termes liés
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
- Transformer · Architecture de réseau de neurones fondée sur l'attention, présentée en 2017, qui sert de base à presque tous les grands modèles de langage.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
- Calcul d'entraînement (FLOP) · Quantité totale d'opérations de calcul, mesurée en FLOP, nécessaire pour entraîner un modèle d'IA.
- Lois d'échelle · Relations mesurées qui prédisent comment la performance d'un modèle progresse avec sa taille, ses données et son calcul.
À essayer
Tout le glossaire
Questions fréquentes
Que signifient « paramètres totaux » et « paramètres actifs » ?
Les paramètres totaux sont tous les poids du modèle, experts compris. Les paramètres actifs sont ceux réellement utilisés pour calculer un token donné. Pour Mixtral 8x7B, Mistral AI annonçait 46,7 milliards de paramètres au total, dont 12,9 milliards utilisés par token.
Un modèle MoE demande-t-il moins de mémoire ?
Non, pas en proportion. Tous les experts doivent rester chargés en mémoire, car le routeur peut choisir n'importe lequel au token suivant. Le gain porte surtout sur la quantité de calcul par token, donc sur la vitesse et le coût d'inférence.
Les experts sont-ils spécialisés par sujet, comme un expert en droit ou en cuisine ?
Pas vraiment. Le routeur apprend seul à répartir les tokens, et la spécialisation qui en résulte est souvent peu lisible pour un humain. Il ne faut pas imaginer un comité de spécialistes thématiques.
D'où vient l'architecture MoE pour les modèles de langage ?
L'article de référence est « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer », déposé sur arXiv en janvier 2017 par Noam Shazeer et ses coauteurs. Il montrait qu'une couche d'experts activés de façon sélective permettait d'augmenter fortement la capacité d'un réseau sans multiplier le calcul.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.