Ahora que tienes la app de chatbot activa, también puedes usar Elastic Observability para monitorizar la aplicación. Elastic es 100% nativo de OpenTelemetry al ingerir y retener datos OTel sin necesidad de traducción de datos.
Ya configuramos la app de chatbots con OpenTelemetry (usando EDOT).
¿Cómo consigo rastros?
Configura OTEL_SDK_DISABLED=false en tu .env la aplicación enviará registros, métricas y trazas al despliegue local de Elastic.
Consulta los detalles en la sección README OpenTelemetry de la aplicación de chatbots.
El trazado funcionará para todos los LLMs: OpenAI, Azure OpenAI, AWS Bedrock, Google Vertex AI.
Panel de control de LLM
También puedes ver qué tan bien funciona el LLM a través de las integraciones de Observabilidad LLM para OpenAI, Azure OpenAI, Google VertexAI y AWS Bedrock.
Estos se activan fácilmente agregando la integración en Elastic.
Lee más sobre OTel y LLM Obs en Elastic Observability Labs.
Previamente
Historial de chatPróximo
Conclusión