CloudUnit permet de monitorer vos projets dès la première ligne de code grâce à une solution out of the box munies de tableaux de bord pré-configurés.

<h2>Le contexte</h2>En 2015 <a href="https://www.treeptik.com/">Treeptik</a>, une jeune startup aixoise, partenaire premium de Docker sur le volet formation et conseils, a mis à disposition en open source une forge logicielle orientée développement Java : CloudUnit. Nous fournissons de facto les images pour Tomcat, WildFly, Fatjar (vertx, springboot, etc.) mais aussi de nombreux modules base de données et autres comme NoSQL, JMS, etc.
Le projet est entièrement disponible sous licence GPLV3 sur <a href="https://github.com/Treeptik/cloudunit">Github</a>.
<img src="https://api.contentstack.io/v2/uploads/5898863fcbae7ea64c367bcf/download?uid=blt8109b6cb095ce888" data-sys-asset-uid="blt8109b6cb095ce888" alt="Homepage">
Figure 1 - Page d'accueil des applications
<img src="https://api.contentstack.io/v2/uploads/5898866ce661a5a14cd6c736/download?uid=blt8d43b6ac657141b4" data-sys-asset-uid="blt8d43b6ac657141b4" alt="Modules">
Figure 2 - Liste des modules disponibles
<h2>Problématique</h2>Le principe de CloudUnit est de fournir un environnement complet mais simple à mettre en oeuvre que ce soit pour son installation ou son utilisation. CloudUnit, développé en Java sur SpringFramework, expose une API REST qui est consommée par un Client Angular (FrontWeb) ou un CLI écrit en SpringShell. Plus exactement CloudUnit est un orchestrateur au dessus de Docker qui fait tourner des images standards mais très customisées.
Au fait, que vient faire Elastic là dedans à côté de Nexus, Jenkins2, SonarQube… ?
Et bien, nous savons tous que le monitoring est rarement un point prioritaire durant les phases de développement. D’ailleurs, rares sont les équipes intégrant les compétences liées à la Suite Elastic – Elasticsearch, Kibana, Beats et Logstash. Généralement c’est en production que l’on se rend compte des problèmes de performance et au mieux en pré-production lors des tests de charge.
Nous souhaitons donner à toutes les équipes (petites ou grosses) les moyens de monitorer leurs développements dès la première ligne de code. Nous fournissons ainsi une plateforme sur étagère avec des tableaux de bord préconfigurés.
<img src="https://api.contentstack.io/v2/uploads/58988576c53eb7216ec01966/download?uid=blt083ea015f985bd6d" data-sys-asset-uid="blt083ea015f985bd6d" alt="Dashboard">
Figure 3 - Tableau de bord de l’état de santé global de la plateforme (nombre et type des conteneurs applicatifs, consommation globale de ressources)
<h2>Les cas d’utilisation</h2>Un éditeur de logiciel ou le plateau d’une grande SSII peut utiliser CloudUnit dès le début de ses projets pour qualifier ses développements. Le chef de projet bénéficie d’une vue claire sur les tableaux de bord Kibana et peut très vite se rendre compte, par exemple, qu’un développeur utilise mal Hibernate en surchargeant la base de données. Pour cela nous formons les équipes de développement aux bonnes pratiques Java avec la librairie DropWizards Metrics afin que ceux-ci puissent générer leurs propres métriques et exploiter la Suite Elastic au mieux. Par ailleurs, nous faisons souvent le constat qu’il est nécessaire de former les développeurs avant même de parler d’Elastic ou Kibana. C’est pourquoi, CloudUnit permet de disposer immédiatement de la Suite Elastic déployée localement. Les administrateurs système peuvent évidemment la prendre main et la configurer en mode cluster.
<h2>Comment cela fonctionne-t-il ?</h2>Le monitoring de CloudUnit se base aujourd’hui sur
<ul>
	<li>des agents légers de transport Beats</li>
	<li>un agent java fork de jmxtrans pour la partie JMX.</li>
</ul>Les images CloudUnit présentes sur le dockerhub intègrent toutes ces fonctionnalités.
Plus précisément, voici comment tout fonctionne. Afin de monitorer non seulement les ressources consommées par les conteneurs Docker mais aussi les métriques spécifiques aux applications déployées, nous utilisons l’agent Metricbeat qui dispose de nombreux modules. L’agent collecte les statistiques des conteneurs (CPU, mémoire disque, etc.) mais aussi les métriques applicatives et les envoie directement dans Elasticsearch. Nous sommes donc capables de déployer de nouvelles applications depuis l’interface de CloudUnit, de générer des tableaux de bords sans aucune configuration manuelle.
<img src="https://api.contentstack.io/v2/uploads/5898869724a040ab4cb535a0/download?uid=bltd0c33af023c9c7d4" data-sys-asset-uid="bltd0c33af023c9c7d4" alt="treeptik-data-workflow.png">
Figure 4&nbsp;- Metricbeat data workflow
Pour cela nous avons créé un conteneur Docker dédié au stockage des binaires de nos agents de monitoring nommés cu-monitoring. Ce conteneur contient les binaires de Metricbeat, Heartbeat et Packetbeat.
Notre agent cu-monitoring est démarré via un fichier docker compose : 
<pre class="prettyprint">monitoring-agents:
 container_name: cu-monitoring-agents
 hostname: ${HOSTNAME}
 build:
 context: cu-elk/monitoring-agents
 image: cloudunit/elk-monitoring-agents
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock:ro
 - ./cu-elk/monitoring-agents/metricbeat-conf:/opt/cloudunit/monitoring-agents/metricbeat/conf.d
 - monitoring-agents:/opt/cloudunit/monitoring-agents
 environment:
 - "TZ=${TZ}"
 - "ELASTICSEARCH_URL=$ELASTICSEARCH_URL"
 - "HOSTNAME=${HOSTNAME}"
 labels:
 - "traefik.enable=false"
 depends_on:
 - elasticsearch
</pre>Dans ce fichier on spécifie deux volumes persistants Docker dont un pour y stocker les fichiers de configuration de l’agent Metricbeat (un par type d’application) ainsi qu’une variable d’environnement définissant l’url du backend Elasticsearch.
Afin de démarrer le processus Metricbeat au démarrage de nos applications, il faut modifier le docker-entrypoint.sh pour y ajouter le démarrage du processus on mode background (ou non) en fonction de la valeur de la variable d’environnement APPLICATIVE_MONITORING.
<pre class="prettyprint">#!/bin/bash
CU_USER=$2
CU_PASSWORD=$3
if [[ ! -z "$CU_USER" ]] && [[ ! -z "$CU_PASSWORD" ]]
then
 PATTERN_USER="s/CU_USER/$CU_USER/g"
 PATTERN_PASSWD="s/CU_PASSWORD/$CU_PASSWORD/g"
 sed -i $PATTERN_USER /opt/cloudunit/tomcat/conf/tomcat-users.xml
 sed -i $PATTERN_PASSWD /opt/cloudunit/tomcat/conf/tomcat-users.xml
fi
# if $APPLICATIVE_MONITORING doesn't exist or is equals to 1
if [ -z "$APPLICATIVE_MONITORING" ] || [ "$APPLICATIVE_MONITORING" -eq 1 ]; then
 /opt/cloudunit/monitoring-agents/metricbeat/metricbeat -c /opt/cloudunit/monitoring-agents/metricbeat/conf.d/nginx.yml&
fi
# if $JMX_MONITORING doesn't exist or is equals to 1
if [ -z "$JMX_MONITORING" ] || [ "$JMX_MONITORING" -eq 1 ]; then
 JAVA_OPTS="$JAVA_OPTS -javaagent:/opt/cloudunit/tomcat/lib/jmxtrans-agent-1.2.5-SNAPSHOT-jar-with-dependencies.jar=/opt/cloudunit/conf/jmxtrans-agent.xml"
fi
# JAVA_OPTS="$JAVA_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n"
if [[ $1 == "run" ]]; then
 exec catalina.sh "run"
fi
exec "$@"
</pre>Une fois nos conteneurs, visualisations et tableaux de bord définis (un par type d’application) on peut commencer à créer nos applications depuis CloudUnit ou lancer manuellement notre application avec la commande : <code>docker run -d cloudunit/tomcat-8</code> ce qui permettra d’accéder sans aucune configuration manuelle à ce type de tableau de bord : 
<img src="https://api.contentstack.io/v2/uploads/5898877d2169358b57b953b7/download?uid=bltf73b5b1429fcbde0" data-sys-asset-uid="bltf73b5b1429fcbde0" alt="System Dashboard">
Figure 5 - Tableau de bord d'une module de type MySQL
De même nous travaillons sur un agent Java en open source : <a href="https://github.com/Treeptik/jmxtrans-agent">https://github.com/Treeptik/jmxtrans-agent</a>:
Cet agent Java a été ajouté dans chacun de nos conteneurs et est activé par défaut. Il envoie de façon automatique l’ensemble des données des beans JMX dans l’instance Elastic de CloudUnit.
<pre class="prettyprint">#!/bin/bash
CU_USER=$2
CU_PASSWORD=$3
if [[ ! -z "$CU_USER" ]] && [[ ! -z "$CU_PASSWORD" ]]
then
 PATTERN_USER="s/CU_USER/$CU_USER/g"
 PATTERN_PASSWD="s/CU_PASSWORD/$CU_PASSWORD/g"
 sed -i $PATTERN_USER /opt/cloudunit/tomcat/conf/tomcat-users.xml
 sed -i $PATTERN_PASSWD /opt/cloudunit/tomcat/conf/tomcat-users.xml
fi
# if $APPLICATIVE_MONITORING doesn't exist or is equals to 1
if [ -z "$APPLICATIVE_MONITORING" ] || [ "$APPLICATIVE_MONITORING" -eq 1 ]; then
 /opt/cloudunit/monitoring-agents/metricbeat/metricbeat -c /opt/cloudunit/monitoring-agents/metricbeat/conf.d/nginx.yml&
fi
# if $JMX_MONITORING doesn't exist or is equals to 1
if [ -z "$JMX_MONITORING" ] || [ "$JMX_MONITORING" -eq 1 ]; then
 JAVA_OPTS="$JAVA_OPTS -javaagent:/opt/cloudunit/tomcat/lib/jmxtrans-agent-1.2.5-SNAPSHOT-jar-with-dependencies.jar=/opt/cloudunit/conf/jmxtrans-agent.xml"
fi
# JAVA_OPTS="$JAVA_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n"
if [[ $1 == "run" ]]; then
 exec catalina.sh "run"
fi
exec "$@"
</pre>Grâce à l’explorateur de fichier, un utilisateur peut éditer directement le fichier de configuration de l’agent pour décider de ce qui sera envoyé vers le backend Elastic.&nbsp;Evidemment tout ceci peut s’intégrer dans un cycle CI Pipeline avec Jenkins de façon automatique.
<img src="https://api.contentstack.io/v2/uploads/589887d32169358b57b953be/download?uid=blt26ed97d83fad9d9b" data-sys-asset-uid="blt26ed97d83fad9d9b" alt="Explorateur">
Figure 6 - Explorateur de fichiers
<img src="https://api.contentstack.io/v2/uploads/58988813c53eb7216ec0196f/download?uid=blt579750c94e3888ea" data-sys-asset-uid="blt579750c94e3888ea" alt="Edition">
Figure 7 - Edition d'un fichier via l'explorateur
<h2>Encore plus de Suite Elastic !</h2>Nous sommes en train de mettre en place une solution de logging automatisé de nos application via l’agent Filebeat. Celle-ci utilisera la même suite logicielle que nous utilisons pour les métriques mais avec l’ajout du composant Logstash afin d’enrichir nos données, et les présenter via des tableaux de bord basés sur des métriques tirés de logs.
Avec l’évolution rapide des agents Beats (bientôt version 6), nous envisageons de mettre en place d’autres agents comme Packetbeat, ou encore Heartbeat qui nous permettront de nous assurer du bon fonctionnement de nos services applicatifs.
Dans le but de minimiser les ressources disque occupées par les métriques, nous allons utiliser la fonction native de filtrage des agents Beats qui nous permettra de sélectionner exclusivement les métriques utilisés dans les tableaux de bord.
En parallèle de CloudUnit et pour une intégration future dans celui-ci, nous travaillons également sur la mise en place d’un workflow d'auto-scaling de service Docker à partir de métriques délivrées par Metricbeat et Heartbeat. Ce workflow basé sur Logstash analysera les résultats des métriques délivrés par Heartbeat et Metricbeat dans Elasticsearch pour augmenter ou diminuer automatiquement le nombre de conteneurs dans un service Docker Swarm. L'auto-scaling pourra être effectué en fonction du temps de réponse d’une application ou des ressources consommées.
La collecte automatique de métriques en fonction du type d’application est une fonctionnalité essentielle du PaaS Cloudunit et la richesse de la Suite Elastic nous permet de construire de façon efficace ces outils.
<hr><img src="https://api.contentstack.io/v2/uploads/589888d0d11580ac5fec6b12/download?uid=bltcf1277ef423efdbb" data-sys-asset-uid="bltcf1277ef423efdbb" alt="Sebastien Musso" width="141" height="141" style="float: left; width: 141px; height: 141px; margin:0 10px 10px 0;">
Sébastien Musso est Ingénieur Système Expert Docker chez Treeptik et OPSDev sur le Projet Cloudunit. Il utilise la Suite Elastic dans afin de logger et monitorer des plateformes applicatives. Contributeur au projet Metricbeat sur la partie Docker.
<img src="https://api.contentstack.io/v2/uploads/5898893be661a5a14cd6c747/download?uid=blt5b5c6b5ad1fa909e" data-sys-asset-uid="blt5b5c6b5ad1fa909e" alt="Nicolas Muller" width="142" height="142" style="width: 142px; height: 142px; float: right; margin:0 0 10px 10px;">Nicolas Muller, associé chez Treeptik, est développeur Java depuis plus de 10 ans. Membre actif du MarsJUG et du Fablab d’Aix-en-Provence. Speaker à Devoxx en 2014/2015 sur Docker et InfluxDB, il s’intéresse tout autant à Golang / ELM / la métrologie et surtout à la Suite Elastic qu’il adore depuis sa découverte. Porteur chez Treeptik du projet CloudUnit avec une équipe de passionnés de Docker.

cloudunit-control-room-full-bleed.jpg

control-room-image.jpg

CloudUnit utilise la Suite Elastic pour monitorer vos projets dès la première ligne de code

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Nicolas Muller

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Nicolas Muller

CloudUnit utilise la Suite Elastic pour monitorer vos projets dès la première ligne de code

Sign up for Elastic Cloud free trial