ES
Intermedio

Destilación: cuando un modelo grande enseña a uno pequeño

La destilación de conocimiento consiste en entrenar un modelo pequeño, el «alumno», para que reproduzca el comportamiento de un modelo grande, el «profesor». El objetivo es obtener un modelo mucho más ligero y barato que conserve buena parte de las capacidades del original.

Datos a 22 de octubre de 2026

Lo esencial en cifras

NivelIntermedio
Origen2015
Introducido porHinton, Vinyals et Dean

El profesor y el alumno

Un modelo grande sabe mucho, pero ejecutarlo cuesta caro. La destilación parte de una idea sencilla: en lugar de entrenar un modelo pequeño solo con datos en bruto, se le hace imitar a un modelo grande que ya funciona bien. El alumno no aprende únicamente la respuesta correcta, sino también cómo el profesor reparte su confianza entre varias respuestas posibles, algo que contiene mucha información.

Es la idea que expusieron Geoffrey Hinton, Oriol Vinyals y Jeff Dean en un artículo de 2015: comprimir el conocimiento de un conjunto de modelos en un único modelo más sencillo de desplegar.

Un ejemplo concreto

En 2019, Victor Sanh y sus coautores publicaron DistilBERT, una versión destilada del modelo BERT. Según su artículo, era un 40 % más pequeño y un 60 % más rápido, y conservaba el 97 % de la capacidad de comprensión del lenguaje del original.

Hoy la técnica está muy extendida en los grandes modelos de lenguaje. Un laboratorio usa su modelo más grande para generar un gran volumen de respuestas o razonamientos, es decir, datos sintéticos, y entrena con ellos modelos más pequeños. Muchos modelos de lenguaje pequeños y modelos de pesos abiertos se presentan como «destilados» de uno mayor. Puede consultar algunos en nuestra página de modelos open source.

Por qué importa

  • Coste: un modelo con menos parámetros responde más rápido y cuesta menos en cada petición.
  • Uso local: un modelo destilado puede funcionar en un portátil o un móvil, sin enviar sus datos a la nube.
  • Especialización: se puede destilar una sola habilidad (resumir, clasificar, extraer datos) en un modelo compacto.

Errores e ideas equivocadas frecuentes

  • «Destilado significa comprimido sin pérdida.» Casi siempre hay alguna pérdida, sobre todo en tareas complejas o poco habituales.
  • «Destilación y cuantización son lo mismo.» La cuantización reduce la precisión numérica del mismo modelo; la destilación entrena un modelo nuevo y más pequeño.
  • «El alumno lo hereda todo, también la fiabilidad.» También hereda los errores y sesgos del profesor, y puede añadir otros.
  • «Siempre está permitido.» Las condiciones de algunos servicios pueden prohibirlo: es una cuestión de licencia, no solo técnica.

Términos relacionados: ajuste fino (fine-tuning), modelo de lenguaje pequeño, datos sintéticos, cuantización.

Términos relacionados

  • Modelo de lenguaje pequeño (SLM) · Modelo de lenguaje compacto, lo bastante ligero para funcionar en un ordenador o un móvil, eficaz en tareas concretas más que generales.
  • Ajuste fino (fine-tuning) · Continuar el entrenamiento de un modelo ya entrenado con un pequeño conjunto de ejemplos para adaptarlo a una tarea, un estilo o un formato.
  • Datos sintéticos · Datos creados artificialmente, a menudo por otro modelo de IA, para entrenar, ajustar o evaluar un modelo cuando faltan datos reales.
  • Cuantización · Técnica que guarda los pesos de un modelo con menos bits (8, 4 o incluso menos) para que ocupe mucha menos memoria.
  • Parámetros de un modelo · Números internos que un modelo ajusta durante su entrenamiento; su cantidad indica el tamaño del modelo, no directamente su calidad.
  • Modelo de pesos abiertos · Modelo de IA cuyos parámetros entrenados (los «pesos») se pueden descargar, lo que permite ejecutarlo en sus propios equipos.

Para probar

Todo el glosario

Preguntas frecuentes

¿En qué se diferencia la destilación del fine-tuning?

El fine-tuning continúa el entrenamiento de un modelo con datos elegidos, a menudo escritos por personas. La destilación usa otro modelo, más grande, como fuente de ejemplos o probabilidades que imitar. En la práctica, destilar suele implicar un fine-tuning del alumno con las salidas del profesor.

¿Un modelo destilado es tan bueno como su profesor?

Por lo general no, aunque la diferencia puede ser pequeña en las tareas previstas. Según sus autores, DistilBERT era un 40 % más pequeño y un 60 % más rápido que BERT y conservaba el 97 % de su capacidad de comprensión del lenguaje. En tareas más difíciles la distancia se nota más.

¿Se puede destilar cualquier modelo?

Técnicamente basta con poder consultar al profesor. Pero las condiciones de uso de algunos servicios comerciales pueden prohibir usar sus respuestas para entrenar un modelo competidor. Revise la licencia y las condiciones del modelo profesor antes de empezar.

¿Quién introdujo la destilación?

El término se consolidó con el artículo «Distilling the Knowledge in a Neural Network», de Geoffrey Hinton, Oriol Vinyals y Jeff Dean, publicado en arXiv en marzo de 2015. Mostraba cómo comprimir el conocimiento de un conjunto de modelos en uno solo, más fácil de desplegar.

Fuentes de los datos

Datos a 22 de octubre de 2026

Señalar un error

¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.