Mezcla de expertos (MoE): un modelo enorme que solo trabaja en parte
Un modelo de mezcla de expertos (Mixture of Experts, MoE) contiene muchas subredes especializadas, pero solo recurre a unas pocas para cada token. Así puede ser muy grande sobre el papel y, aun así, más rápido y barato de ejecutar que un modelo clásico del mismo tamaño.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|---|
| Origen | 2017 |
| Introducido por | Shazeer et al. |
La idea: muchos expertos, pocos trabajando
En un modelo clásico, llamado «denso», cada parámetro participa en el cálculo de cada token. En un modelo de mezcla de expertos, algunas capas se sustituyen por un conjunto de redes más pequeñas, los expertos, precedidas por un enrutador (o red de gating). Para cada token, el enrutador elige los pocos expertos más adecuados y solo esos calculan. El resto permanece en reposo.
El enfoque se popularizó en el lenguaje con el artículo de Shazeer y sus coautores publicado en arXiv en 2017, que hablaba de «cómputo condicional»: la capacidad de la red crece muchísimo y el cálculo por ejemplo, bastante menos.
Un ejemplo concreto: Mixtral 8x7B
En diciembre de 2023, Mistral AI publicó Mixtral 8x7B, un modelo de pesos abiertos con licencia Apache 2.0. Según el anuncio oficial, cada capa contiene 8 grupos de parámetros (los expertos) y el enrutador selecciona 2 para cada token. Resultado: 46.700 millones de parámetros en total, pero solo 12.900 millones utilizados por token. En la práctica, el modelo calcula aproximadamente al ritmo de uno de 13.000 millones de parámetros, con una capacidad muy superior. Puede comparar este tipo de modelos en nuestra página de modelos open source.
Por qué importa
- Coste y velocidad: con una calidad comparable, un MoE requiere menos cálculo por token durante la inferencia, lo que reduce la factura y la espera.
- Escalado: permite aumentar el número total de parámetros sin que el cómputo de entrenamiento crezca al mismo ritmo.
- Lectura de fichas técnicas: muchos modelos recientes, sobre todo de pesos abiertos, usan esta arquitectura. Entender la diferencia entre parámetros totales y activos evita comparaciones injustas.
Errores e ideas equivocadas frecuentes
- «Un MoE de 46.000 millones rinde como un modelo denso de 46.000 millones.» No necesariamente. Su calidad suele situarse entre la de un modelo denso del tamaño de sus parámetros activos y la de uno del tamaño total.
- «Ocupa menos memoria.» No: hay que cargar todos los expertos. Es un punto clave si quiere ejecutarlo en su propio equipo.
- «Cada experto domina una materia.» El reparto que aprende el enrutador no es temático en un sentido humano.
- «MoE es una alternativa al Transformer.» Al contrario: en los grandes modelos de lenguaje, los expertos suelen sustituir ciertas capas dentro de un Transformer.
Términos relacionados
Parámetros de un modelo, inferencia, Transformer, leyes de escala y modelos de pesos abiertos.
Términos relacionados
- Parámetros de un modelo · Números internos que un modelo ajusta durante su entrenamiento; su cantidad indica el tamaño del modelo, no directamente su calidad.
- Inferencia · Momento en que un modelo ya entrenado se usa para producir una respuesta: cada pregunta enviada a una IA desencadena una inferencia.
- Transformer · Arquitectura de red neuronal basada en la atención, presentada en 2017, que sirve de base a casi todos los grandes modelos de lenguaje.
- Modelo de pesos abiertos · Modelo de IA cuyos parámetros entrenados (los «pesos») se pueden descargar, lo que permite ejecutarlo en sus propios equipos.
- Cómputo de entrenamiento (FLOP) · Cantidad total de operaciones de cálculo, medida en FLOP, necesaria para entrenar un modelo de IA.
- Leyes de escala · Relaciones medidas que predicen cómo mejora el rendimiento de un modelo según su tamaño, sus datos y su cómputo.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué significan parámetros totales y parámetros activos?
Los parámetros totales son todos los pesos del modelo, incluidos todos los expertos. Los activos son los que realmente se usan para calcular un token concreto. Para Mixtral 8x7B, Mistral AI indicaba 46.700 millones de parámetros en total, de los que se usan 12.900 millones por token.
¿Un modelo MoE necesita menos memoria?
No en la misma proporción. Todos los expertos deben permanecer cargados, porque el enrutador puede elegir cualquiera en el siguiente token. El ahorro está sobre todo en el cálculo por token, es decir, en la velocidad y el coste de la inferencia.
¿Cada experto se especializa en un tema, como derecho o cocina?
No exactamente. El enrutador aprende por sí solo a repartir los tokens y la especialización resultante suele ser difícil de interpretar para una persona. No conviene imaginar un comité de especialistas temáticos.
¿De dónde viene la arquitectura MoE en los modelos de lenguaje?
El artículo de referencia es «Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer», publicado en arXiv en enero de 2017 por Noam Shazeer y sus coautores. Mostró que una capa de expertos activados de forma selectiva aumentaba mucho la capacidad de una red sin multiplicar el cálculo.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.