Observabilidade

Agora que o aplicativo de chatbot está em execução, você também pode usar o Elastic Observability para monitorar o aplicativo. O Elastic é 100% nativo do OpenTelemetry, ingerindo e retendo dados OTel sem a necessidade de tradução de dados.

Já configuramos o aplicativo Chatbot com o OpenTelemetry (usando EDOT).

Como faço para obter os rastros?

Configure OTEL_SDK_DISABLED=false em seu arquivo .env O aplicativo enviará logs, métricas e rastreamentos para a implantação local do Elasticsearch.

Veja mais detalhes na seção OpenTelemetry do arquivo README do aplicativo Chatbot.

O rastreamento funcionará para todos os LLMs - OpenAI, Azure OpenAI, AWS Bedrock, Google Vertex AI.

Painel de controle do LLM

Você também pode verificar o desempenho do LLM por meio das integrações de observabilidade do LLM para OpenAI, Azure OpenAI, Google VertexAI e AWS Bedrock.

Essas funcionalidades podem ser facilmente ativadas adicionando a integração no Elastic.

Leia mais sobre OTel e LLM Obs no Elastic Observability Labs.