As GPUs não são apenas para jogadores e criptomineradores! Elas são usadas para treinar redes neurais, simular dinâmica de fluidos computacional e processar cargas de trabalho em datacenters. Saiba como monitorar as métricas desses importantes

As unidades de processamento gráfico, ou GPUs, não são apenas para jogos de PC. Hoje, as GPUs são usadas para treinar redes neurais, simular <a href="https://news.developer.nvidia.com/tag/computational-fluid-dynamics/">dinâmica de fluidos computacional</a>, minerar bitcoin e processar cargas de trabalho em datacenters. E eles estão no cerne da maioria dos <a href="https://www.olcf.ornl.gov/summit/">sistemas de computação de alto desempenho</a>, tornando o monitoramento do desempenho da GPU nos datacenters atuais tão importante quanto o monitoramento do desempenho da CPU.
Com isso em mente, vamos ver como usar o <a href="/pt/observability">Elastic Observability</a> junto com as ferramentas de monitoramento de GPU da NVIDIA para observar e otimizar o desempenho da GPU.&nbsp;
<h2>Dependências</h2>Para colocar as métricas de GPU da NVIDIA em funcionamento, precisaremos criar ferramentas de monitoramento de GPU da NVIDIA a partir do código-fonte (Go). E, obviamente, precisaremos de uma GPU da NVIDIA. A AMD e outros tipos de GPU usam diferentes drivers e ferramentas de monitoramento para Linux; então, teremos de abordá-los em outro post.
As GPUs da NVIDIA estão disponíveis em muitos provedores de serviços em nuvem, como <a href="https://cloud.google.com/nvidia">Google Cloud</a> e <a href="https://aws.amazon.com/nvidia/">Amazon Web Services (AWS)</a>. Para este post, usaremos uma instância em execução no <a href="https://www.genesiscloud.com/">Genesis Cloud</a>.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7d63774972e8ab13/60341d862e76da7e3b0238cb/blog-nvidia-gpu-o11y-1.png" data-sys-asset-uid="blt7d63774972e8ab13" alt="" style="display: block; margin: auto; width:500px;">
Vamos começar instalando o NVIDIA Datacenter Manager de acordo com a seção de instalação do <a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/getting-started.html">NVIDIA’s DCGM Getting Started Guide</a> (Guia de introdução ao DCGM da NVIDIA) para Ubuntu 18.04. Observação: ao seguir o guia, preste atenção especial ao substituir o parâmetro <code>&lt;architecture&gt;</code> pelo nosso. Podemos encontrar nossa arquitetura usando o comando <code>uname</code>.
<pre class="prettyprint">uname -a
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt80f53ff622bcc753/60341d9ab44dcf7721649d52/blog-nvidia-gpu-o11y-2.png" data-sys-asset-uid="blt80f53ff622bcc753" alt="" "="">
A resposta nos diz que a nossa arquitetura é <code>X86_64</code>. Portanto, a etapa 1 do guia de introdução seria:
<pre class="prettyprint">echo "deb http://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
</pre>Também há um erro de digitação na etapa 2. Remova o <code>&gt;</code> final de <code>$distribution</code>.
<pre class="prettyprint">sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/7fa2af80.pub
</pre>Após a instalação, deveremos conseguir ver os detalhes da nossa GPU executando o comando <code>nvidia-smi</code>.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3e7a0d66edf77f3e/60341db0a8b314423f5eeccb/blog-nvidia-gpu-o11y-3.png" data-sys-asset-uid="blt3e7a0d66edf77f3e" alt="" style="width: 500px;">
<h3>gpu-monitoring-tools da NVIDIA</h3>Para criar o gpu-monitoring-tools da NVIDIA, precisaremos instalar o Golang. Então, vamos cuidar disso agora.
<pre class="prettyprint">cd /tmp 
wget https://golang.org/dl/go1.15.7.linux-amd64.tar.gz
sudo mv go1.15.7.linux-amd64.tar.gz /usr/local/ 
cd /usr/local/ 
sudo tar -zxf go1.15.7.linux-amd64.tar.gz 
sudo rm go1.15.7.linux-amd64.tar.gz
</pre>OK, é hora de terminar a configuração da NVIDIA instalando o <a href="https://github.com/NVIDIA/gpu-monitoring-tools">gpu-monitoring-tools</a> da NVIDIA a partir do GitHub.
<pre class="prettyprint">cd /tmp 
git clone https://github.com/NVIDIA/gpu-monitoring-tools.git
cd gpu-monitoring-tools/ 
sudo env "PATH=$PATH:/usr/local/go/bin" make install
</pre><h3>Metricbeat</h3>Agora estamos prontos para instalar o Metricbeat. Verifique rapidamente em <a href="/pt/downloads/beats/metricbeat">elastic.co</a> qual é a versão mais recente do Metricbeat e ajuste o número da versão nos comandos abaixo.&nbsp;
<pre class="prettyprint">cd /tmp 
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.2-amd64.deb 
sudo dpkg -i metricbeat-7.10.2-amd64.deb # 7.10.2 is the version number
</pre><h2>Elastic Cloud</h2>OK, vamos colocar o Elastic Stack em funcionamento. Precisaremos de um lugar para armazenar nossos novos dados de monitoramento de GPU. Para isso, criaremos uma nova implantação no Elastic Cloud. Se você ainda não é um cliente do Elastic Cloud, pode se inscrever para fazer uma <a href="https://cloud.elastic.co/registration">avaliação gratuita de 14 dias</a>. Como alternativa, você pode <a href="/pt/start">configurar sua própria implantação</a> localmente.
Em seguida, <a href="/guide/en/cloud/current/ec-create-deployment.html">crie uma nova implantação do Elastic Observability</a> no Elastic Cloud.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf2d6dfe13810850b/60341dc719e43d7b181cd44e/blog-nvidia-gpu-o11y-4.png" data-sys-asset-uid="bltf2d6dfe13810850b" alt="" style="display: block; margin: auto;">
Quando a sua implantação na nuvem estiver em funcionamento, anote seu Cloud ID e as credenciais de autenticação — vamos precisar deles para a configuração do Metricbeat que vem a seguir.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc52805217d28f2ce/60341de0a8b314423f5eeccf/blog-nvidia-gpu-o11y-5.png" data-sys-asset-uid="bltc52805217d28f2ce" alt="" style="display: block; margin: auto; width:400px;">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcfbe0272c86d9e9d/60341dff43b017423e0df465/blog-nvidia-gpu-o11y-6.png" data-sys-asset-uid="bltcfbe0272c86d9e9d" alt="" style="display: block; margin: auto;">
<h2>Configuração</h2>O arquivo de configuração do Metricbeat está localizado em /etc/metricbeat/metricbeat.yml. Abra-o no seu editor favorito e edite os parâmetros <code>cloud.id</code> e <code>cloud.auth</code> para corresponderem à sua implantação.
Exemplo de alterações na configuração do Metricbeat usando as capturas de tela acima:
<pre class="prettyprint">cloud.id: "staging:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDM4ODZkYmUwMWNjODQ2NDM4YjRlNzg5OWEyZDAwNGM5JDBiMTc0YzYyMTVlYTQwYWQ5M2NmMGY4MjVhNzJmOGRk" 
cloud.auth: "elastic:J7KYiDku2wP7DFr62zV4zL4y"
</pre>A configuração de entrada do Metricbeat é modular. O gpu-monitoring-tools da NVIDIA publica as métricas da GPU via Prometheus; então, vamos habilitar o módulo Prometheus do Metricbeat agora.
<pre class="prettyprint">sudo metricbeat modules enable prometheus
</pre>Podemos confirmar que a nossa configuração do Metricbeat foi bem-sucedida usando os comandos de módulos e o teste do Metricbeat.
<pre class="prettyprint">sudo metricbeat test config
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt985061f113eae978/60341e2d3cdceb7720e5bc1b/blog-nvidia-gpu-o11y-7.png" data-sys-asset-uid="blt985061f113eae978" alt="" style="width: 500px;">
<pre class="prettyprint">sudo metricbeat test output
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt107ab54ba5b67113/60341e392d3c3774992c4c2b/blog-nvidia-gpu-o11y-8.png" data-sys-asset-uid="blt107ab54ba5b67113" alt="" style="width: 600px;">
<pre class="prettyprint">sudo metricbeat modules list
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf8c1a44d2324cc4e/60341e4c54bb3918e6be05da/blog-nvidia-gpu-o11y-9.png" data-sys-asset-uid="bltf8c1a44d2324cc4e" alt="" style="width: 500px;">
Se seus testes de configuração não forem bem-sucedidos como os exemplos acima, consulte nosso <a href="/guide/en/beats/metricbeat/current/troubleshooting.html">Metricbeat troubleshooting guide</a> (Guia de solução de problemas do Metricbeat).&nbsp;
Concluímos a configuração do Metricbeat executando seu comando de configuração, que carregará alguns dashboards padrão e configurará mapeamentos de índice. O comando de configuração normalmente leva alguns minutos para ser concluído.
<pre class="prettyprint">sudo metricbeat setup
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1be1b4b77c62728a/60341e692d3c3774992c4c35/blog-nvidia-gpu-o11y-10.png" data-sys-asset-uid="blt1be1b4b77c62728a" alt="" style="width: 550px;">
<h2>Exportação de métricas</h2>É hora de começar a exportar métricas. Vamos iniciar o dcgm-exporter da NVIDIA.
<pre class="prettyprint">dcgm-exporter --address localhost:9090 
# Saída 
INFO[0000] Starting dcgm-exporter 
INFO[0000] DCGM successfully initialized! 
INFO[0000] Not collecting DCP metrics: Error getting supported metrics: This request is serviced by a module of DCGM that is not currently loaded 
INFO[0000] Pipeline starting 
INFO[0000] Starting webserver
</pre>Observação: você pode ignorar o aviso do DCP
A configuração das métricas do dcgm-exporter é definida no arquivo /etc/dcgm-exporter/default-counters.csv, no qual 38 métricas diferentes são definidas por padrão. Para obtermos a lista completa de valores possíveis, podemos consultar o <a href="https://docs.nvidia.com/datacenter/dcgm/dcgm-api/group__dcgmFieldIdentifiers.html">DCGM Library API Reference Guide</a> (Guia de referência da API da biblioteca do DCGM).&nbsp;
Em outro console, vamos iniciar o Metricbeat.
<pre class="prettyprint">sudo metricbeat -e
</pre>Agora você pode ir para a instância do Kibana e atualizar o padrão de indexação ‘metricbeat-*’. Podemos fazer isso navegando até Stack Management &gt; Kibana &gt; Index Patterns (Gerenciamento da stack &gt; Kibana &gt; Padrões de indexação) e selecionando o padrão de indexação metricbeat-* na lista. Em seguida, clique em Refresh field list (Atualizar lista de campos).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfb422ead7c63b383/60341e7f20cf3e18e0faebff/blog-nvidia-gpu-o11y-11.png" data-sys-asset-uid="bltfb422ead7c63b383" alt="" style="display: block; margin: auto; width:650px;">
Agora, nossas novas métricas da GPU estão disponíveis no Kibana. Os novos nomes de campos são prefixados por prometheus.metrics.DCGM_. Aqui está um snippet mostrando os novos campos do Discover.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5a26cecf9772f1a2/60341e8ed4c37c7b178603e9/blog-nvidia-gpu-o11y-12.png" data-sys-asset-uid="blt5a26cecf9772f1a2" alt="" style="display: block; margin: auto; width:500px;">
Parabéns! Agora estamos prontos para analisar nossas métricas da GPU no Elastic Observability.
Por exemplo, você pode comparar o desempenho da GPU e da CPU no Metrics Explorer (Explorador de Métricas):
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta164eda1ddce5c0c/60341ea1d4c37c7b178603ed/blog-nvidia-gpu-o11y-13.png" data-sys-asset-uid="blta164eda1ddce5c0c" alt="" style="display: block; margin: auto;">
Pode também encontrar pontos significativos de utilização da GPU na visualização Inventory (Inventário):
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt513da21d6f0068b0/60341eaed0e3f0162ee92659/blog-nvidia-gpu-o11y-14.png" data-sys-asset-uid="blt513da21d6f0068b0" alt="" style="display: block; margin: auto;">
<h2>Considerações sobre o monitoramento da GPU</h2>Esperamos que este post tenha sido útil. Essas são apenas algumas opções de monitoramento, mas o Elastic Observability lhe permite trabalhar com todos os seus objetivos. Aqui estão alguns outros exemplos de aspectos interessantes da GPU para monitorar <a href="https://on-demand.gputechconf.com/gtc/2014/presentations/S4253-tools-tips-for-managing-a-gpu-cluster.pdf">de acordo com a NVIDIA</a>:
<ul>
	<li>Temperatura da GPU: verifique se há pontos quentes</li>
	<li>Uso de energia da GPU: uso de energia superior ao esperado =&gt; possíveis problemas de hardware</li>
	<li>Velocidades de clock atuais: abaixo do esperado =&gt; limitação de energia ou problemas de hardware</li>
</ul>E, se precisar simular a carga da GPU, você poderá usar o comando <a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/feature-overview.html#profiling-dcgmproftester">dcgmproftester10</a>.
<pre class="prettyprint">dcgmproftester10 --no-dcgm-validation -t 1004 -d 30
</pre>Vá ainda mais longe no seu monitoramento usando o <a href="/guide/en/observability/current/metrics-threshold-alert.html">alerta da Elastic</a> para automatizar as recomendações da NVIDIA. Em seguida, eleve o nível, encontrando anomalias na sua infraestrutura de GPU com <a href="/pt/videos/automated-anomaly-detection-with-elasticsearch-using-machine-learning">machine learning</a>. Se você ainda não é um cliente do Elastic Cloud e gostaria de experimentar as etapas deste post do blog, pode se inscrever para fazer uma <a href="https://cloud.elastic.co/registration">avaliação gratuita de 14 dias</a>.

blog-banner-charts-monitor.png

blog-thumb-charts-monitor.png

How to monitor NVIDIA GPU metrics with Elastic Observability

Como monitorar as métricas da GPU da NVIDIA com o Elastic Observability

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Solutions Architect

Kent Brake

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/elastic-cloud-account-terms" target="_self">Termos de Serviço</a> e também concorda em receber <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">comunicações especiais</a> por meio dos dados de contato que forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/serverless-preview-terms" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Ao enviar, você concorda com os <a href="/pt/agreements/global/cloud-services-monthly" rel="nofollow">Termos de Serviço do Elastic Cloud</a>. Seus dados pessoais serão tratados de acordo com a <a href="/pt/legal/privacy-statement">Declaração de Privacidade da Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/terms-of-use" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.

Explore similar demos

Explore outras demonstrações semelhantes

Overview

Load More

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

O conteúdo desta página não está disponível no idioma selecionado. A Elastic está trabalhando para garantir que o conteúdo esteja disponível em vários idiomas.Agradecemos a compreensão.

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Consultar a hora de início do webinar no meu fuso horário

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Não vai conseguir participar? Inscreva-se e nós lhe enviaremos a gravação. Você também receberá um email com conteúdo relacionado.

Author

Articles by Kent Brake

Solutions Architect, Elastic

Como monitorar as métricas da GPU da NVIDIA com o Elastic Observability