Dicas e recursos para solucionar problemas de alocação de memória do Elasticsearch.

Olá! Com a expansão da Elastic da nossa oferta Elasticsearch Service Cloud e da integração automatizada, expandimos o público do Elastic Stack de equipes de operações completas a engenheiros de dados, equipes de segurança e consultores. Como engenheira de suporte da Elastic, gostei de interagir com mais históricos de usuários e com casos de uso ainda mais amplos.&nbsp;
Com um público mais amplo, estou vendo mais perguntas sobre como gerenciar a alocação de recursos, em particular a proporção mística entre shard-heap e como evitar circuit breakers. Eu entendo. Quando comecei com o Elastic Stack, tinha as mesmas perguntas. Foi minha primeira introdução ao gerenciamento de heap Java e shards de banco de dados de séries temporais e redimensionamento de minha própria infraestrutura.
Quando entrei na equipe da Elastic, adorei que, além da documentação, tínhamos blogs e tutoriais para que eu pudesse me integrar rapidamente. Mas eu sofri no primeiro mês para correlacionar meu conhecimento teórico com os erros que os usuários enviavam pela minha fila de tíquetes. Por fim, descobri, como outros engenheiros de suporte, que muitos dos erros relatados eram apenas sintomas de problemas de alocação, e os mesmos sete links dariam aos usuários informações atualizadas para eles gerenciarem sua alocação de recursos com sucesso.
Falando como engenheira de suporte, nas seções a seguir, examinarei os principais links da teoria de gerenciamento de alocação que enviamos aos usuários, os principais sintomas que vemos e para onde direcionamos os usuários a atualizar suas configurações para resolver seus problemas de alocação de recursos.
<h2>Teoria</h2>
Como uma aplicação Java, o Elasticsearch requer alguma alocação de memória lógica (heap) da memória física do sistema. Isso deve ser até metade da RAM física, <a href="https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html#compressed_oops" target="_self">com limite de 32 GB</a>. Definir um uso de heap mais alto geralmente é um ato <a href="https://www.elastic.co/guide/en/cloud/current/ec-memory-pressure.html#ec-memory-pressure-causes" target="_self">em resposta</a> a consultas caras e maior armazenamento de dados. O <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/circuit-breaker.html#parent-circuit-breaker" target="_self">circuit breaker principal</a> é 95% por padrão, mas recomendamos redimensionar os recursos uma vez que <a href="https://www.elastic.co/pt/blog/found-understanding-memory-pressure-indicator#conclusion" target="_self">se alcance 85%</a> de forma consistente.&nbsp;
Eu recomendo fortemente estes artigos de visão geral da nossa equipe para obter mais informações:
<ul>
 <li aria-level="1"><a href="https://www.elastic.co/pt/blog/a-heap-of-trouble" target="_self">A heap of trouble</a> (Um monte de problemas)</li>
 <li aria-level="1"><a href="https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html" target="_self">Heap: Sizing and swapping</a> (Heap: dimensionamento e troca)</li>
 <li aria-level="1"><a href="https://www.elastic.co/pt/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster" target="_self">Quantos shards eu devo ter em meu cluster do Elasticsearch?</a></li>
</ul>
<h2>Config</h2>
As <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.11/important-settings.html#heap-size-settings" target="_self">configurações padrão</a> do Elasticsearch dimensionam automaticamente seu heap da JVM com base na função do nó e na memória total. No entanto, conforme necessário, você pode configurá-lo diretamente das três maneiras a seguir:
1. Diretamente no seu arquivo <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.11/advanced-configuration.html#setting-jvm-heap-size" target="_self">config &gt; jvm.options</a> dos seus arquivos locais do Elasticsearch<pre class="prettyprint">## JVM configuration ################################################################ ## IMPORTANT: JVM heap size ################################################################ … #Xms represents the initial size of total heap space #Xmx represents the maximum size of total heap space -Xms4g -Xmx4g </pre>
2. Como uma variável de ambiente do Elasticsearch <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.12/docker.html#docker-cli-run-prod-mode" target="_self">no seu docker-compose</a><pre class="prettyprint">version: '2.2' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.12.0 environment: - node.name=es01 - cluster.name=es - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - discovery.type=single-node ulimits: memlock: soft: -1 hard: -1 ports: - 9200:9200 </pre>
3. Por meio do nosso Elasticsearch Service &gt; Deployment (Implantação) &gt; <a href="https://www.elastic.co/guide/en/cloud/current/ec-customize-deployment-components.html#ec-cluster-size" target="_self">Edit view</a> (Editar visualização). Observação: o controle deslizante atribui memória física, e cerca de metade será alocada para a heap.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt85a09eec61be50dc/60832291b775555b377675af/blog-elasticsearch-memory.png" data-sys-asset-uid="blt85a09eec61be50dc" alt="blog-elasticsearch-memory.png" />
<h2>Solução de problemas</h2>
Se você está enfrentando problemas de desempenho com seu cluster, provavelmente trata-se dos suspeitos de sempre
<ul>
 <li aria-level="1">Problemas de configuração: Oversharding, sem política de <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-index-lifecycle-management.html" target="_self">ILM</a></li>
 <li aria-level="1">Volume induzido: alto ritmo/carga de solicitações, sobrepondo consultas caras/gravações</li>
</ul>
Todas as solicitações de cURL/API a seguir podem ser feitas no Elasticsearch Service &gt; API Console (Console de API), como um cURL para a Elasticsearch API ou em Kibana &gt; Dev Tools (Ferramentas para desenvolvedores).
<h3>Oversharding</h3>
Índices de dados <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html" target="_self">são armazenados em subshards</a> que usam heap para manutenção e durante solicitações de busca/gravação. O tamanho do shard deve se <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.x/size-your-shards.html#shard-size-recommendation" target="_self">limitar a 50 GB</a>, e o número de shards deve se limitar conforme <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.x/size-your-shards.html#shard-count-recommendation" target="_self">determinado por meio desta equação</a>:<pre class="prettyprint">shards = sum(nodes.max_heap) * 20 </pre>
Tomando o exemplo do Elasticsearch Service acima com 8 GB de memória física em duas zonas (que alocará dois nós no total)<pre class="prettyprint">#node.max_heap 8GB of physical memory / 2 = 4GB of heap #sum(nodes.max_heap) 4GB of heap * 2 nodes = 8GB #max shards 8GB * 20 160 </pre>
Em seguida, compare isso com <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-allocation.html" target="_self">_cat/allocation</a><pre class="prettyprint">GET /pt/_cat/allocation?v=true&amp;h=shards,node shards node 41 instance-0000000001 41 instance-0000000000 </pre>
Ou com <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-health.html" target="_self">_cluster/health</a><pre class="prettyprint">GET /pt/_cluster/health?filter_path=status,*_shards { "status": "green", "unassigned_shards": 0, "initializing_shards": 0, "active_primary_shards": 41, "relocating_shards": 0, "active_shards": 82, "delayed_unassigned_shards": 0 } </pre>
Portanto, esta implantação tem 82 shards da recomendação máxima de 160. Se a contagem for maior do que a recomendada, você poderá sentir os sintomas nas próximas duas seções (veja abaixo).
Se algum shard relata &gt;0 fora de active_shards ou active_primary_shards, você identificou uma causa importante de configuração para problemas de desempenho.
Mais comumente, se isso relatar um problema, será unassigned_shards&gt;0. Se esses shards forem principais, seu cluster relatará como status:red e, se forem apenas réplicas, relatará como status:yellow. Por isso, é importante <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html#dynamic-index-settings" target="_self">definir réplicas em índices</a> para que o cluster possa se recuperar em vez de sofrer perda de dados caso encontre um problema.
Vamos fingir que temos um status:yellow com um único shard não atribuído. Para investigar, verificaríamos qual shard de índice está tendo problemas via <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-shards.html" target="_self">_cat/shards</a><pre style="white-space: pre;display: -webkit-box;" class="prettyprint">GET _cat/shards?v=true&amp;s=state index shard prirep state docs store ip node logs 0 p STARTED 2 10.1kb 10.42.255.40 instance-0000000001 logs 0 r UNASSIGNED kibana_sample_data_logs 0 p STARTED 14074 10.6mb 10.42.255.40 instance-0000000001 .kibana_1 0 p STARTED 2261 3.8mb 10.42.255.40 instance-0000000001 </pre>
Portanto, isso será para nossos logs de índice não pertencentes ao sistema, que têm um shard de réplica não atribuído. Vamos ver o que está causando problemas executando <a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.12/cluster-allocation-explain.html" target="_self">_cluster/allocation/explain</a> (dica profissional: quando você escala o problema para o suporte, isso é exatamente o que fazemos).<pre style="white-space: pre;display: -webkit-box;" class="prettyprint">GET _cluster/allocation/explain?pretty&amp;filter_path=index,node_allocation_decisions.node_name,node_allocation_decisions.deciders.* { "index": "logs", "node_allocation_decisions": [{ "node_name": "instance-0000000005", "deciders": [{ "decider": "data_tier", "decision": "NO", "explanation": "node does not match any index setting [index.routing.allocation.include._tier] tier filters [data_hot]" }]}]} </pre>
Essa mensagem de erro aponta para data_hot, que faz parte de uma política de <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html" target="_self">gestão de ciclo de vida de índice</a> (ILM) e indica que nossa política de ILM é incongruente com nossas configurações de índice atuais. Nesse caso, a causa desse erro é a configuração de uma política de ILM hot-warm sem ter nós hot-warm designados. (Eu precisava garantir que algo iria falhar; isso sou eu forçando exemplos de erros para vocês. Vejam só o que vocês fizeram comigo 😂.)
Só para constar: se você executar esse comando quando não tiver nenhum shard não atribuído, receberá um erro 400 dizendo que não é possível encontrar shards não atribuídos para explicar porque não há nada de errado para relatar.
Se você tiver uma causa não lógica (por exemplo, um erro de rede temporário como o nó deixou o cluster durante a alocação), poderá usar o prático <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-reroute.html" target="_self">_cluster/reroute</a> do Elastic.
<pre class="prettyprint">POST /pt/_cluster/reroute </pre>

Essa solicitação sem customizações inicia um processo assíncrono em segundo plano que tenta alocar todos os shards com state:UNASSIGNED atuais. (Não seja como eu e não espere terminar para entrar em contato com o desenvolvedor porque pensei que seria instantâneo e, coincidentemente, escalei bem a tempo de ele dizer que não há nada de errado porque não havia mais nada.)
<h3>Circuit breakers</h3>
Maximizar sua alocação de heap pode fazer com que as solicitações para seu cluster atinjam o tempo limite ou causem erros. Além disso, com frequência, farão seu cluster ter exceções de circuit breaker. A ocorrência de circuit breaker causa eventos do elasticsearch.log como<pre class="prettyprint">Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data for [<transport_request>] would be [num/numGB], which is larger than the limit of [num/numGB], usages [request=0/0b, fielddata=num/numKB, in_flight_requests=num/numGB, accounting=num/numGB] </transport_request></pre>
Para investigar, dê uma olhada em seu heap.percent, examinando <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-nodes.html" target="_self">_cat/nodes</a><pre class="prettyprint">GET /pt/_cat/nodes?v=true&amp;h=name,node*,heap* #heap = JVM (logical memory reserved for heap) #ram = physical memory name node.role heap.current heap.percent heap.max tiebreaker-0000000002 mv 119.8mb 23 508mb instance-0000000001 himrst 1.8gb 48 3.9gb instance-0000000000 himrst 2.8gb 73 3.9gb </pre>
Ou, se você o habilitou anteriormente, navegue até Kibana &gt; Stack Monitoring (Monitoramento da stack).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb3f4f2c5cdb2823c/608322c4eed217453bf28487/blog-elasticsearch-memory-2.png" data-sys-asset-uid="bltb3f4f2c5cdb2823c" alt="blog-elasticsearch-memory-2.png" />
Se você confirmou que está atingindo seus circuit breakers de memória, considere aumentar a heap temporariamente para ter espaço para investigar. Ao investigar a causa raiz, procure nos logs de proxy do cluster ou no elasticsearch.log os eventos consecutivos anteriores. Você estará procurando
<ul>
 <li aria-level="1">consultas caras, especialmente:<ul>
 <li aria-level="2">altas agregações de bucket<ul>
 <li aria-level="3">&nbsp;Eu me senti tão boba quando descobri que as buscas alocam temporariamente uma determinada porta da sua heap antes de executarem a consulta com base no tamanho da busca ou nas dimensões do bucket, então, definir 10.000.000 estava provocando azia na minha equipe de operações.</li>
 </ul>
 </li>
 <li aria-level="2">mapeamentos não otimizados<ul>
 <li aria-level="3">A segunda razão para me sentir boba foi quando pensei que fazer relatórios hierárquicos faria buscas melhores do que dados nivelados (não é o caso).</li>
 </ul>
 </li>
 </ul>
 </li>
 <li aria-level="1">Volume/ritmo das solicitações: geralmente consultas em lote ou assíncronas</li>
</ul>
<h3>É hora de redimensionar</h3>
Se esta não é a primeira vez que você atinge os circuit breakers ou você suspeita que será um problema contínuo (por exemplo, atingir 85% consistentemente, então é hora de analisar os recursos de redimensionamento), convém examinar mais de perto <a href="https://www.elastic.co/pt/blog/found-understanding-memory-pressure-indicator" target="_self">a pressão de memória da JVM</a> como seu indicador de heap de longo prazo. <a href="https://www.elastic.co/guide/en/cloud/current/ec-memory-pressure.html" target="_self">Você pode verificar isso</a> em Elasticsearch Service &gt; Deployment (Implantação)
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt42b0179b9a3b7782/608323041cac355a10f6d157/blog-elasticsearch-memory-3.png" data-sys-asset-uid="blt42b0179b9a3b7782" alt="blog-elasticsearch-memory-3.png" />
Ou pode calcular a partir de <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-nodes-stats.html" target="_self">_nodes/stats</a><pre class="prettyprint">GET /pt/_nodes/stats?filter_path=nodes.*.jvm.mem.pools.old {"nodes": { "node_id": { "jvm": { "mem": { "pools": { "old": { "max_in_bytes": 532676608, "peak_max_in_bytes": 532676608, "peak_used_in_bytes": 104465408, "used_in_bytes": 104465408 }}}}}}} </pre>
onde<pre class="prettyprint">JVM Memory Pressure = used_in_bytes / max_in_bytes </pre>
Um possível sintoma disso é a alta frequência e a longa duração dos eventos do coletor de lixo (gc) em seu elasticsearch.log<pre class="prettyprint">[timestamp_short_interval_from_last][INFO ][o.e.m.j.JvmGcMonitorService] [node_id] [gc][number] overhead, spent [21s] collecting in the last [40s] </pre>
Se você confirmar esse cenário, precisará pensar em redimensionar seu cluster ou reduzir as demandas que o atingem. Convém investigar/considerar:
<ul>
 <li aria-level="1">o aumento dos recursos de heap (heap/nó, número de nós)</li>
 <li aria-level="1">a redução dos shards (excluir dados desnecessários/antigos, <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-index-lifecycle-management.html" target="_self">usar o ILM</a> para colocar os dados em <a href="https://www.elastic.co/pt/blog/hot-warm-architecture" target="_self">armazenamento warm/cold</a> para que você possa <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/ilm-shrink.html" target="_self">encolhê-los</a>, desativar réplicas de dados que não causarão problemas se forem perdidos)</li>
</ul>
<h2>Conclusão</h2>
Uau! Pelo que vejo no Suporte da Elastic, esse é o resumo dos tíquetes mais comuns dos usuários: shards não atribuídos, relação shard-heap desbalanceada, circuit breakers, alta coleta de lixo e erros de alocação. Todos são sintomas da conversa básica sobre gerenciamento de alocação de recursos. Espero que agora você também conheça a teoria e as etapas de resolução.
Neste ponto, porém, se você não conseguir resolver um problema, fique à vontade para entrar em contato. Teremos o maior prazer em ajudar! Você pode entrar em contato conosco via <a href="http://discuss.elastic.co/" target="_self">fóruns de discussão da Elastic no Discuss</a>, <a href="https://join.slack.com/t/elasticstack/shared_invite/zt-o4sdlhb7-OGXEcy4iry_CsxVyJLGYag" target="_self">comunidade da Elastic no Slack</a>, consultoria, treinamento e suporte.
Viva a nossa capacidade de autogerenciar a alocação de recursos do Elastic Stack sem depender do pessoal de operações (mas sem deixar de amá-los)!

blog-banner-circuit-buildings.jpg

blog-thumb-circuit-buildings.jpg

Managing and troubleshooting Elasticsearch memory

Como gerenciar e solucionar problemas de memória do Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Stef Nestor

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/elastic-cloud-account-terms" target="_self">Termos de Serviço</a> e também concorda em receber <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">comunicações especiais</a> por meio dos dados de contato que forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/serverless-preview-terms" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Ao enviar, você concorda com os <a href="/pt/agreements/global/cloud-services-monthly" rel="nofollow">Termos de Serviço do Elastic Cloud</a>. Seus dados pessoais serão tratados de acordo com a <a href="/pt/legal/privacy-statement">Declaração de Privacidade da Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/terms-of-use" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

Explore similar demos

Explore outras demonstrações semelhantes

Overview

Load More

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

O conteúdo desta página não está disponível no idioma selecionado. A Elastic está trabalhando para garantir que o conteúdo esteja disponível em vários idiomas.Agradecemos a compreensão.

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Consultar a hora de início do webinar no meu fuso horário

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Não vai conseguir participar? Inscreva-se e nós lhe enviaremos a gravação. Você também receberá um email com conteúdo relacionado.

Author

Articles by Stef Nestor

Como gerenciar e solucionar problemas de memória do Elasticsearch

Sign up for Elastic Cloud free trial