Les GPU ne servent pas qu'au jeu et au minage de cryptomonnaie ! Ils entraînent des réseaux de neurones artificiels, simulent la mécanique des fluides numérique et traitent des charges de travail. Apprenez à monitorer leurs indicateurs avec Elastic.

Les processeurs graphiques, ou GPU, ne sont pas réservés au jeu sur PC&nbsp;! Aujourd'hui, ils servent à entraîner des réseaux de neurones artificiels, simuler la <a href="https://news.developer.nvidia.com/tag/computational-fluid-dynamics/">mécanique des fluides numérique</a>, miner des Bitcoins et traiter des charges de travail dans des data centers. Et comme ils se trouvent au cœur de la plupart des <a href="https://www.olcf.ornl.gov/summit/">systèmes informatiques hautes performances</a>, il est crucial de monitorer leurs performances dans les data centers, en plus de celles des CPU.
En gardant ces éléments en tête, voyons comment utiliser <a href="/fr/observability">Elastic&nbsp;Observability</a> avec les outils de monitoring de GPU NVIDIA pour observer et optimiser les performances des GPU.&nbsp;
<h2>Dépendances</h2>Pour avoir des indicateurs de GPU NVIDIA fonctionnels, nous devons créer des outils de monitoring de GPU NVIDIA à l'aide d'un code source (Go). Et nous aurons aussi besoin d'un GPU NVIDIA, comme vous l'aurez sans doute deviné. Les GPU de type AMD et autres utilisent des pilotes Linux et des outils de monitoring différents. Nous en parlerons donc dans un autre article.
Les GPU NVIDIA sont disponibles auprès de nombreux fournisseurs cloud, tels que <a href="https://cloud.google.com/nvidia">Google&nbsp;Cloud</a> et <a href="https://aws.amazon.com/nvidia/">Amazon&nbsp;Web&nbsp;Services (AWS)</a>. Dans le cadre de cet article, nous nous servirons d'une instance fonctionnant sur <a href="https://www.genesiscloud.com/">Genesis&nbsp;Cloud</a>.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7d63774972e8ab13/60341d862e76da7e3b0238cb/blog-nvidia-gpu-o11y-1.png" data-sys-asset-uid="blt7d63774972e8ab13" alt="" style="display: block; margin: auto; width:500px;">
Commençons par installer NVIDIA Data Center Manager en suivant les instructions fournies dans le guide de démarrage <a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/getting-started.html">NVIDIA’s DCGM Getting Started Guide</a> pour Ubuntu&nbsp;18.04. Remarque&nbsp;: tout au long de la procédure, faites attention à remplacer le paramètre <code>&lt;architecture&gt;</code> par celui qui correspond à l'architecture que nous utilisons. Vous pouvez le déterminer à l'aide de la commande <code>uname</code>.
<pre class="prettyprint">uname -a
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt80f53ff622bcc753/60341d9ab44dcf7721649d52/blog-nvidia-gpu-o11y-2.png" data-sys-asset-uid="blt80f53ff622bcc753" alt="" "="">
D'après la commande, notre architecture est la <code>X86_64</code>. Aussi, voici à quoi ressemblerait l'étape&nbsp;1 du guide de démarrage&nbsp;:
<pre class="prettyprint">echo "deb http://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
</pre>À l'étape&nbsp;2, il y a une erreur. Supprimez le <code>&gt;</code> de <code>$distribution</code>.
<pre class="prettyprint">sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/7fa2af80.pub
</pre>Une fois l'installation terminée, nous devrions être en mesure de voir les détails de notre GPU à l'aide de la commande <code>nvidia-smi</code>.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3e7a0d66edf77f3e/60341db0a8b314423f5eeccb/blog-nvidia-gpu-o11y-3.png" data-sys-asset-uid="blt3e7a0d66edf77f3e" alt="" style="width: 500px;">
<h3>Programme gpu-monitoring-tools de NVIDIA</h3>Pour créer le programme gpu-monitoring-tools de NVIDIA, nous devons installer Golang. C'est parti&nbsp;!
<pre class="prettyprint">cd /tmp 
wget https://golang.org/dl/go1.15.7.linux-amd64.tar.gz
sudo mv go1.15.7.linux-amd64.tar.gz /usr/local/ 
cd /usr/local/ 
sudo tar -zxf go1.15.7.linux-amd64.tar.gz 
sudo rm go1.15.7.linux-amd64.tar.gz
</pre>À présent, l'heure est venue de finaliser la configuration de NVIDIA avec l'installation du programme <a href="https://github.com/NVIDIA/gpu-monitoring-tools">gpu-monitoring-tools</a> à partir de GitHub.
<pre class="prettyprint">cd /tmp 
git clone https://github.com/NVIDIA/gpu-monitoring-tools.git
cd gpu-monitoring-tools/ 
sudo env "PATH=$PATH:/usr/local/go/bin" make install
</pre><h3>Metricbeat</h3>Nous sommes maintenant prêts à installer Metricbeat. Jetez un œil à la page <a href="/fr/downloads/beats/metricbeat">elastic.co</a> pour connaître la dernière version de Metricbeat et ajustez le numéro de version dans les commandes ci-dessous.&nbsp;
<pre class="prettyprint">cd /tmp 
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.2-amd64.deb 
sudo dpkg -i metricbeat-7.10.2-amd64.deb # 7.10.2 correspond au numéro de version
</pre><h2>Elastic&nbsp;Cloud</h2>Maintenant, au tour de la Suite&nbsp;Elastic&nbsp;! Nous devons définir un emplacement pour les données de monitoring de notre nouveau GPU. Pour cela, nous allons créer un nouveau déploiement sur Elastic&nbsp;Cloud. Si vous n'avez pas encore de compte Elastic&nbsp;Cloud, vous pouvez vous inscrire pour bénéficier d'un <a href="https://cloud.elastic.co/registration">essai gratuit de 14&nbsp;jours</a>. Si vous préférez, vous pouvez <a href="/fr/start">configurer votre propre déploiement</a> en local.
Ensuite, <a href="/guide/en/cloud/current/ec-create-deployment.html">créez un déploiement Elastic&nbsp;Observability</a> sur Elastic&nbsp;Cloud.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf2d6dfe13810850b/60341dc719e43d7b181cd44e/blog-nvidia-gpu-o11y-4.png" data-sys-asset-uid="bltf2d6dfe13810850b" alt="" style="display: block; margin: auto;">
Une fois que votre déploiement est fonctionnel, notez l'ID cloud et les informations d'authentification correspondantes. Nous en aurons besoin pour notre configuration Metricbeat à venir.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc52805217d28f2ce/60341de0a8b314423f5eeccf/blog-nvidia-gpu-o11y-5.png" data-sys-asset-uid="bltc52805217d28f2ce" alt="" style="display: block; margin: auto; width:400px;">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcfbe0272c86d9e9d/60341dff43b017423e0df465/blog-nvidia-gpu-o11y-6.png" data-sys-asset-uid="bltcfbe0272c86d9e9d" alt="" style="display: block; margin: auto;">
<h2>Configuration</h2>Le fichier de configuration de Metricbeat se trouve dans /etc/metricbeat/metricbeat.yml. Ouvrez-le dans l'éditeur de votre choix et modifiez les paramètres <code>cloud.id</code> et <code>cloud.auth</code> afin qu'ils correspondent à votre déploiement.
Exemple de changements de configuration de Metricbeat avec les captures ci-dessus&nbsp;:
<pre class="prettyprint">cloud.id: "staging:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDM4ODZkYmUwMWNjODQ2NDM4YjRlNzg5OWEyZDAwNGM5JDBiMTc0YzYyMTVlYTQwYWQ5M2NmMGY4MjVhNzJmOGRk" 
cloud.auth: "elastic:J7KYiDku2wP7DFr62zV4zL4y"
</pre>La configuration d'entrée de Metricbeat est modulaire. Le programme gpu-monitoring-tools de NVIDIA publie les indicateurs du GPU via Prometheus. Nous allons donc maintenant activer le module Metricbeat de Prometheus.
<pre class="prettyprint">sudo metricbeat modules enable prometheus
</pre>Pour vérifier que la configuration de Metricbeat fonctionne bien, exécutons les commandes "test" et "modules".
<pre class="prettyprint">sudo metricbeat test config
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt985061f113eae978/60341e2d3cdceb7720e5bc1b/blog-nvidia-gpu-o11y-7.png" data-sys-asset-uid="blt985061f113eae978" alt="" style="width: 500px;">
<pre class="prettyprint">sudo metricbeat test output
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt107ab54ba5b67113/60341e392d3c3774992c4c2b/blog-nvidia-gpu-o11y-8.png" data-sys-asset-uid="blt107ab54ba5b67113" alt="" style="width: 600px;">
<pre class="prettyprint">sudo metricbeat modules list
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf8c1a44d2324cc4e/60341e4c54bb3918e6be05da/blog-nvidia-gpu-o11y-9.png" data-sys-asset-uid="bltf8c1a44d2324cc4e" alt="" style="width: 500px;">
Si vos tests de configuration échouent, comme dans les exemples ci-dessus, consultez notre <a href="/guide/en/beats/metricbeat/current/troubleshooting.html">guide sur la résolution des problèmes de Metricbeat</a>.&nbsp;
Pour terminer la configuration de Metricbeat, utilisez la commande "setup". Celle-ci chargera des tableaux de bord par défaut et définira des mappings d'index. En général, il faut quelques minutes pour que la commande "setup" s'exécute.
<pre class="prettyprint">sudo metricbeat setup
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1be1b4b77c62728a/60341e692d3c3774992c4c35/blog-nvidia-gpu-o11y-10.png" data-sys-asset-uid="blt1be1b4b77c62728a" alt="" style="width: 550px;">
<h2>Exportation d'indicateurs</h2>Les indicateurs n'attendent que vous&nbsp;! L'heure est venue de les exporter. Commençons avec la commande "dcgm-exporter" de NVIDIA.
<pre class="prettyprint">dcgm-exporter --address localhost:9090 
# Sortie 
INFO[0000] Starting dcgm-exporter 
INFO[0000] DCGM successfully initialized! 
INFO[0000] Not collecting DCP metrics: Error getting supported metrics: This request is serviced by a module of DCGM that is not currently loaded 
INFO[0000] Pipeline starting 
INFO[0000] Starting webserver
</pre>Remarque&nbsp;: vous pouvez ignorer l'avertissement de DCP.
La configuration des indicateurs dcgm-exporter est définie dans le fichier /etc/dcgm-exporter/default-counters.csv, dans lequel 38&nbsp;indicateurs sont définis par défaut. Pour accéder à la liste complète des valeurs possibles, consultez le guide <a href="https://docs.nvidia.com/datacenter/dcgm/dcgm-api/group__dcgmFieldIdentifiers.html">DCGM Library API Reference Guide</a>.&nbsp;
Dans une autre console, lancez Metricbeat.
<pre class="prettyprint">sudo metricbeat -e
</pre>Maintenant, vous pouvez vous rendre dans l'instance Kibana et actualiser le modèle d'indexation "metricbeat-*". Pour cela, accédez à Stack Management &gt; Kibana&gt; Index Patterns (Gestion de la suite &gt; Kibana &gt; Modèles d'indexation) et sélectionnez le modèle d'indexation metricbeat-* dans la liste. Cliquez ensuite sur Refresh field list (Actualiser la liste de champs).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfb422ead7c63b383/60341e7f20cf3e18e0faebff/blog-nvidia-gpu-o11y-11.png" data-sys-asset-uid="bltfb422ead7c63b383" alt="" style="display: block; margin: auto; width:650px;">
À présent, les indicateurs de notre GPU sont disponibles dans Kibana. Les nouveaux champs ont un nom qui commence par le préfixe prometheus.metrics.DCGM_. Voici un extrait présentant les nouveaux champs à partir de Discover.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5a26cecf9772f1a2/60341e8ed4c37c7b178603e9/blog-nvidia-gpu-o11y-12.png" data-sys-asset-uid="blt5a26cecf9772f1a2" alt="" style="display: block; margin: auto; width:500px;">
Félicitations&nbsp;! Nous sommes désormais prêts à analyser les indicateurs de votre GPU dans Elastic&nbsp;Observability.
Par exemple, vous pouvez comparer les performances des GPU et des CPU dans Metrics Explorer&nbsp;:
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta164eda1ddce5c0c/60341ea1d4c37c7b178603ed/blog-nvidia-gpu-o11y-13.png" data-sys-asset-uid="blta164eda1ddce5c0c" alt="" style="display: block; margin: auto;">
Vous pouvez également déterminer les points d'utilisation du GPU dans la vue Inventory (Inventaire)&nbsp;:
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt513da21d6f0068b0/60341eaed0e3f0162ee92659/blog-nvidia-gpu-o11y-14.png" data-sys-asset-uid="blt513da21d6f0068b0" alt="" style="display: block; margin: auto;">
<h2>Considérations relatives au monitoring des GPU</h2>Nous espérons que vous avez trouvé cet article utile. Ce sont là quelques exemples de monitoring parmi d'autres. Avec Elastic&nbsp;Observability, relevez tous les défis qui s'offrent à vous&nbsp;! Voici d'autres aspects relatifs aux GPU que vous pouvez monitorer <a href="https://on-demand.gputechconf.com/gtc/2014/presentations/S4253-tools-tips-for-managing-a-gpu-cluster.pdf">avec NVIDIA</a>&nbsp;:
<ul>
	<li>Température du GPU&nbsp;: vérifiez les zones sensibles.</li>
	<li>Consommation de puissance du GPU&nbsp;: si la consommation est plus élevée que prévue, il y a probablement un souci au niveau matériel.</li>
	<li>Fréquence d'horloge réelle&nbsp;: si elle est plus faible que prévue, il peut y avoir un blocage au niveau de la puissance ou un souci matériel.</li>
</ul>Et si vous avez besoin de simuler la charge d'un GPU, vous pouvez utiliser la commande <a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/feature-overview.html#profiling-dcgmproftester">dcgmproftester10</a>.
<pre class="prettyprint">dcgmproftester10 --no-dcgm-validation -t 1004 -d 30
</pre>Envie de passer au niveau supérieur&nbsp;? Utilisez <a href="/guide/en/observability/current/metrics-threshold-alert.html">l'alerting Elastic</a> pour automatiser les recommandations de NVIDIA dans le cadre du monitoring. Et pour aller encore plus loin, détectez les anomalies dans l'infrastructure de votre GPU grâce au <a href="/fr/videos/automated-anomaly-detection-with-elasticsearch-using-machine-learning">Machine Learning</a>. Si vous n'avez pas encore de compte Elastic&nbsp;Cloud et que vous souhaitez reproduire la procédure présentée dans cet article, vous pouvez vous inscrire pour bénéficier d'un <a href="https://cloud.elastic.co/registration">essai gratuit de 14&nbsp;jours</a>.

blog-banner-charts-monitor.png

blog-thumb-charts-monitor.png

How to monitor NVIDIA GPU metrics with Elastic Observability

En avant pour le monitoring des indicateurs de GPU NVIDIA avec Elastic Observability

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Solutions Architect

Kent Brake

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Kent Brake

Solutions Architect, Elastic

En avant pour le monitoring des indicateurs de GPU NVIDIA avec Elastic Observability