Maintenant que l'application de chatbot fonctionne, vous pouvez également utiliser Elastic Observability pour surveiller l'application. Elastic est 100% OpenTelemetry native en ingérant et en conservant les données OTel sans nécessiter de traduction de données.
Nous avons déjà configuré l'application Chatbot avec OpenTelemetry (en utilisant EDOT).
Comment obtenir des traces ?
Configurez OTEL_SDK_DISABLED=false dans votre fichier .env l'application enverra des logs, des métriques et des traces au déploiement Elastic local.
Voir les détails dans la section OpenTelemetry du README de l'application Chatbot.
Le traçage fonctionnera pour tous les LLM - OpenAI, Azure OpenAI, AWS Bedrock, Google Vertex AI.
Tableau de bord LLM
Vous pouvez également voir les performances du LLM grâce aux intégrations LLM Observability pour OpenAI, Azure OpenAI, Google VertexAI et AWS Bedrock.
Il est facile de les activer en ajoutant l'intégration sur Elastic.
En savoir plus sur OTel et LLM Obs sur Elastic Observability Labs.
Précédemment
Historique du chatSuivant
Conclusion