Braintrust es una plataforma de observabilidad activa y evaluación para agentes de IA. Traza la producción, convierte patrones reales en evals y ayuda a detectar regresiones antes de que lleguen a los usuarios.
Qué hace Braintrust
Según su web, Braintrust registra prompts, respuestas y llamadas a herramientas en tiempo real, permite puntuar salidas con LLMs, código o personas y comparar prompts y modelos lado a lado con datasets reales. Incluye playgrounds, experimentos y Brainstore, una base de datos pensada para datos de IA a gran escala. Su documentación incluye referencia de API y SDK.
- Trazas en tiempo real de prompts, respuestas y llamadas a herramientas de los agentes.
- Evals que puntúan salidas con LLM como juez, código o revisión humana.
- Comparación de prompts y modelos lado a lado sobre datasets reales.
- Bloqueo de versiones defectuosas antes de que lleguen a producción.
- Brainstore, base de datos diseñada para datos de IA a escala.
- Control de acceso por proyecto y recurso, y cifrado de datos en tránsito y en reposo.
- SDK y referencia de API documentados.
Precio
Según su página de precios, Starter cuesta 0 $ al mes, no pide tarjeta e incluye 10 $ en créditos de modelo, 1 GB de datos procesados (después 4 $/GB), 10.000 puntuaciones (después 2,50 $ por cada 1.000) y 14 días de retención. Pro cuesta 249 $ al mes e incluye 100 $ en créditos, 5 GB (después 3 $/GB), 50.000 puntuaciones (después 1,50 $ por cada 1.000) y 30 días de retención; startups que cumplan requisitos pueden obtener de 6 a 12 meses gratis. Enterprise tiene precio a medida.
Para quién es
Equipos de ingeniería y producto que ejecutan agentes en producción y necesitan medir la calidad y evitar regresiones en cada versión.