LiteLLM: opinión, precio, seguridad y alternativas

Qué hace LiteLLM

LiteLLM pertenece a la familia de infraestructura de agentes: piezas técnicas de los agentes: memoria, entornos de ejecución aislados, pasarelas de modelos, observabilidad, evaluación. En nuestra tabla ocupa el puesto 13 de los 28 proyectos de esta familia del directorio.

No es un agente en sí: es una pieza que usan otros agentes (memoria, ejecución aislada, acceso web, pasarela de modelos o seguimiento). Se elige en función del agente o framework que debe equipar.

Se usa desde: API, SDK para desarrolladores, aplicación web y terminal (CLI). Modelos utilizables: Claude (Anthropic), GPT (OpenAI), Gemini (Google), DeepSeek, Qwen (Alibaba), Mistral, Llama (Meta), Kimi (Moonshot), GLM (Zhipu), Grok (xAI), modelos locales (Ollama, llama.cpp, vLLM…), OpenRouter y cualquier modelo compatible con la API de OpenAI. Puede funcionar en su propia máquina o servidor.

Presentación del repositorio (en inglés): «The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]»

¿Para quién es LiteLLM?

Se dirige a equipos que ejecutan agentes en producción y necesitan una pieza fiable: ejecución aislada, memoria, pasarela de modelos u observabilidad. Ejemplos de tareas que se le confían:

• aislar el código generado por un agente
• seguir los costes y errores de las llamadas al modelo
• dar una memoria duradera a un agente

Es un buen candidato si se siente cómodo en un terminal, sus datos deben quedarse en sus máquinas y quiere poder usar un modelo local, sin coste de API.

Accesos y control humano

Su documentación no detalla los accesos concedidos al agente: compruébelos en los ajustes antes de conectarlo a sus cuentas.

No hemos podido establecer si pide validación humana antes de las acciones sensibles: pruébelo primero en una cuenta o carpeta sin importancia.

Precio de LiteLLM

El código es público pero el repositorio no declara licencia: su reutilización no está formalmente autorizada. El coste real depende del alojamiento y, en su caso, de la oferta en línea del editor.

Empezar con LiteLLM

1. Instálelo: el proyecto se distribuye como un paquete de Python (instalación con pip o uv). El comando exacto figura en el README del repositorio.
2. Empiece por el ejemplo mínimo de la documentación y añada una sola herramienta cada vez comprobando lo que hace el agente con ella.
3. Encárguele una tarea corta y verificable, revise el resultado y el registro de sus acciones, y luego aumente la dificultad poco a poco.

Seguridad: nivel de riesgo

Una pieza de infraestructura ve pasar prompts, claves y datos: alójela usted mismo o lea la política de conservación del servicio.

Puntos detectados para LiteLLM:

• Sin licencia: uso en empresa jurídicamente frágil.

Tres reflejos: mínimo privilegio (permisos mínimos, claves dedicadas), validación humana para las acciones irreversibles, sandbox para la ejecución de código. El diagnóstico de seguridad de agentes IA revisa su instalación en pocos minutos.

Actividad del proyecto y versiones

Creado el 27 de julio de 2023, el repositorio BerriAI/litellm suma 61.965 estrellas, 12.636 copias (forks) y 1820 incidencias abiertas, con 55.118 commits en total. Ha recibido cambios este mes.

En las últimas 52 semanas: 34.459 commits, una media de 662,7 por semana.

1530 versiones publicadas en total; 18 en los últimos doce meses. Última versión: v1.106.3, el 24 de octubre de 2026.

LiteLLM frente a otros infraestructura de agentes

Estrellas de GitHub de los proyectos de código abierto mejor valorados de la familia infraestructura de agentes. Las estrellas miden la atención, no la calidad: un proyecto muy mediático las acumula rápido, una herramienta especializada tendrá pocas.

LiteLLM y otros infraestructura de agentes en una tabla

Los 7 agentes mejor clasificados de la misma familia, 7 de ellos de código abierto. La nota sobre 100 solo se aplica a los proyectos de código abierto; para los servicios propietarios indicamos el precio de entrada publicado. Un guion señala un dato que la documentación no precisa.

Cómo lo hemos evaluado

Nota: 79/100, calculada solo con datos públicos y verificables, sin pruebas subjetivas ni acuerdos comerciales:

• Adopción 34/40: 61.965 estrellas en escala logarítmica (40 puntos a partir de unas 200 000).
• Actividad 30/30: último commit hace menos de un mes, 18 versiones en seis meses, 34.459 commits en un año.
• Marco 15/30: licencia, validación humana por defecto, autoalojamiento, elección de modelo y sitio de documentación.

La nota no dice si el agente resolverá sus tareas: mide la solidez del proyecto. La tabla completa está en la página de método.