Servidor de inferencia: el software que sirve un modelo de IA
Un servidor de inferencia es el programa que mantiene un modelo de IA cargado en memoria y responde a las peticiones que recibe, igual que un servidor web atiende a los visitantes. Busca atender el mayor número posible de peticiones con la misma GPU sin desperdiciar memoria.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|
La definición
Un servidor de inferencia es un software que ejecuta un modelo de forma continua y lo hace accesible mediante una API.
Hacer inferencia es usar un modelo ya entrenado para producir una respuesta. Un servidor de inferencia convierte ese paso en un servicio: carga los pesos en una o varias GPU, recibe peticiones HTTP, planifica su ejecución y devuelve los tokens a medida que se generan. La mayoría expone hoy una API compatible con la de OpenAI, lo que permite sustituir un proveedor por un modelo alojado por usted mismo sin reescribir la aplicación.
Ejemplos y técnicas clave
Entre los proyectos abiertos más conocidos:
- vLLM, nacido en el Sky Computing Lab de la Universidad de Berkeley, se basa en PagedAttention, descrito en un artículo de 2023: la caché clave-valor se divide en bloques, como la memoria virtual de un sistema operativo, lo que limita el desperdicio. Los autores indican un rendimiento de 2 a 4 veces superior al de los sistemas comparados.
- llama-server, el servidor de llama.cpp, lee archivos en formato GGUF y ofrece puntos de acceso compatibles con OpenAI y una interfaz web.
- Ollama, pensado para uso local, admite modelos GGUF.
Estos motores comparten técnicas comunes: el continuous batching, que añade nuevas peticiones a un lote en curso en lugar de esperar a que termine; la cuantización de los pesos (GPTQ, AWQ, FP8 o GGUF según el motor); y la decodificación especulativa.
Por qué es importante
El coste de un servicio de IA depende del número de peticiones que una GPU puede atender. Como la generación está limitada sobre todo por el ancho de banda de memoria, un buen servidor de inferencia agrupa las peticiones y gestiona la memoria con precisión para procesar más con el mismo hardware. También es lo que permite alojar un modelo abierto en su propia infraestructura, por motivos de confidencialidad o de control de costes.
Ideas erróneas
- «El modelo lo hace todo; el servidor no cambia nada.» Con los mismos pesos, la elección del motor y de su configuración influye mucho en el rendimiento y la latencia.
- «Compatible con OpenAI significa idéntico.» La compatibilidad cubre los puntos de acceso principales, no siempre todas las opciones.
- «Hace falta una GPU de centro de datos.» llama.cpp y Ollama funcionan en equipos domésticos con modelos cuantizados.
Términos relacionados: inferencia, caché clave-valor, GGUF y decodificación especulativa.
Términos relacionados
- Inferencia · Momento en que un modelo ya entrenado se usa para producir una respuesta: cada pregunta enviada a una IA desencadena una inferencia.
- Caché clave-valor (KV cache) · Memoria donde un modelo guarda los cálculos ya hechos sobre los tokens anteriores para no repetirlos en cada palabra nueva.
- GPU (procesador gráfico) · Chip diseñado para hacer miles de cálculos en paralelo, convertido en el motor del entrenamiento y del uso de los modelos de IA.
- GGUF (formato de modelo) · Formato de archivo único que reúne los pesos de un modelo, a menudo cuantizados, y sus metadatos, para ejecutarlo en local con llama.cpp y derivados.
- Decodificación especulativa · Técnica de aceleración en la que un modelo pequeño propone varios tokens por adelantado y el modelo grande los verifica de una vez.
- Cuantización · Técnica que guarda los pesos de un modelo con menos bits (8, 4 o incluso menos) para que ocupe mucha menos memoria.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué diferencia hay entre un servidor de inferencia y una biblioteca como Transformers?
Una biblioteca permite ejecutar un modelo dentro de un script. Un servidor de inferencia añade una API de red, la gestión de muchas peticiones simultáneas y optimizaciones de memoria, para un uso continuo por parte de aplicaciones.
¿Ollama es un servidor de inferencia?
Sí, para uso local: su documentación describe una API servida por defecto en localhost, puerto 11434, con un punto de acceso compatible con la API de OpenAI.
¿Se sigue recomendando Text Generation Inference (TGI)?
Su documentación indica que ha pasado a modo de mantenimiento y remite a otros motores, entre ellos vLLM, SGLang, llama.cpp y MLX.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.