LiteLLM es una pasarela de IA autoalojable y un SDK de Python que ponen todos los modelos, agentes y servidores MCP detrás de una sola clave y una API compatible con OpenAI.
Qué hace LiteLLM
Según su web, LiteLLM permite llamar a más de cien proveedores y cientos de modelos con el formato de OpenAI, cambiar de modelo sin tocar el código y dar acceso a toda la organización con claves virtuales. Registra el gasto por clave, usuario, equipo y organización, aplica presupuestos y límites de uso, enruta cada petición al modelo adecuado y gestiona alternativas ante fallos. La versión empresarial añade SSO, SCIM, registros de auditoría, gestores de secretos y soporte.
- API compatible con OpenAI para más de cien proveedores de modelos, con cambio de modelo sin modificar la aplicación.
- Claves virtuales, usuarios y equipos con acceso centralizado a modelos, agentes y servidores MCP.
- Seguimiento del gasto por clave, usuario, equipo y organización, con presupuestos y límites de uso.
- Alternativas automáticas entre modelos ante fallos y enrutado de cada petición al modelo adecuado.
- Registro de peticiones y respuestas y métricas para Prometheus.
- SDK de Python para llamar a los modelos y SDK de agentes que enruta cada turno.
- Despliegue autoalojado, incluso en redes aisladas, con SSO, SCIM y registros de auditoría en la versión empresarial.
Precio
Según su página de precios, la pasarela de código abierto es gratuita para autoalojar siempre, con 0 $, y no tiene límite de uso por token. La versión Enterprise se contrata con facturación anual y se dimensiona según la capacidad anual de peticiones, la arquitectura de despliegue y el soporte, nunca por token, y no publica importes.
Para quién es
Equipos de plataforma y de ingeniería que dan acceso a varios modelos de lenguaje a toda su organización y necesitan controlar costes, claves y gobernanza desde un único punto.
Valoraciones y comentarios