Évaluations et suivi en production des applications IA.
Braintrust est un service pour tracer, évaluer et améliorer des applications IA. On instrumente le code avec son SDK (auto-instrumentation des clients de modèles) ou on envoie des traces OpenTelemetry vers son API. Les traces alimentent des jeux de données et des évaluations (scorers, LLM-juge, expériences), qu'on peut lancer en intégration continue. L'auto-hébergement n'existe qu'en offre Enterprise, en mode hybride : les données restent dans le cloud du client.
- 0
- actus
- 1
- produits au paysage
Fonctionnalités et prix
Ce qu'il propose.
Observabilité
Comparer →- ✓Traces LLMTraces et logs des appels de modèles, d'outils et d'agents ; auto-instrumentation sans changer chaque appel
- ✓ÉvaluationsJeux de données, playgrounds, expériences, scorers (dont LLM-juge), scoring en ligne des traces, intégration continue
- ✓Gestion des promptsPrompts versionnés et affectés à des environnements, modifiables sans redéployer l'application
- ✓Suivi des coûtsTokens et coût estimé par span, remontés jusqu'à la trace parente
- ✓OpenTelemetryTraces et logs OTLP vers api.braintrust.dev/otel ; processeurs de spans pour Python et TypeScript
- —Open sourceSeul le proxy IA est open source ; l'auto-hébergement est réservé à l'offre Enterprise
- ✓Offre gratuiteStarter : 1 Go de données et 10 000 scores par mois, 14 jours de rétention, utilisateurs illimités
- ✓Prix publicStarter et Pro affichés ; Enterprise sur devis
Chronologie
Ses actus.
Pas encore d'actu sur Braintrust. Elles arrivent ici dès qu'un élément de la veille, un article, un événement ou une sortie de modèle le cite.
Paysage API & IA agentique
