Les technologies d'Elastic aide mytaxi à maintenir la réactivité de leur app en tant que cache et fournit aussi un back-end pour un volume colossal de logs.

<p><img src="https://api.contentstack.io/v2/assets/575e4cef3dc542cb38c09329/download?uid=blt0c4ab6c5c3b557f7?uid=blt0c4ab6c5c3b557f7" data-sys-asset-uid="blt45fd4001b2df7f93" alt="mytaxi_logo" width="207" height="92" style="float: right; width: 207px; height: 92px; margin: 0px;">
</p><blockquote class="summary"><em>Notre business repose sur l'ensemble technologique d'Elastic de deux manières. D’une part, celui-ci permet à notre app de rester réactive en tant que cache et, d’autre part, fournit un back-end pour un volume colossal de logs. Cet article décrit l'architecture utilisée pour notre cluster de logging.
<a href="https://mytaxi.com/index.html" target="_blank">Mytaxi</a> est actuellement l'app de taxis la plus utilisée en Europe: nous connectons chaque jour des milliers de clients avec des chauffeurs de taxis. La réservation, la recherche de taxis et le paiement doivent s'effectuer rapidement et sans problème 24 h/24 et 7 j/7.</em></blockquote><h2>Le cluster de logging<br></h2><p>Nous avons démarré en 2013 avec une configuration plutôt standard de l'ensemble technologique d'Elastic. Celui-ci était composé de deux nœuds Elasticsearch et un nœud pour Logstash et Kibana. Cela fonctionnait très bien jusqu'à ce que notre croissance augmente rapidement en 2014. Nous avons conservé cette configuration jusqu'à mi-2015. Le cluster a été abandonné pendant la phase de croissance et ses performances étaient donc peu optimales. À la mi-2015, nous avions environ 2 To de données stockées dans Elasticsearch.
</p><p>En 2013, nous avons également décidé de passer d'une structure de back-end monolithique à une architecture de micro-services. Aujourd'hui, notre back-end est composé d'environ 50 micro-services. Nous avions besoin de rassembler les logs de ces services en un seul et même endroit. En juillet 2015, nous avons donc décidé d'installer un nouveau cluster pour prendre en charge nos besoins pour les années à venir. Nous avions les exigences suivantes :<br>
</p><ul>
	<li>Enregistrer nos logs pendant 90 jours (un jour de données équivaut environ à 40 Go de logs)</li>
	<li>La performance de lecture était un goulet d'étranglement lorsque nous souhaitions obtenir des données sur de longues périodes. Nous souhaitions augmenter nos performances en installant davantage de nœuds.</li>
	<li>Le nombre de shards est configuré pendant la création des clusters. Il ne peut être modifié par la suite. Nous souhaitions un chiffre qui soit divisible à la fois par 2, 4, 5 et 10. Le plus petit commun multiple est donc 20.</li>
	<li>Chaque serveur Elasticsearch gère un nombre pair de shards.</li>
	<li>Bien que l'argent ne soit pas l'objectif principal, nous souhaitions atteindre un optimum entre prix et performance.</li>
</ul><h2>Installation du matériel et procédure</h2><p>Ces exigences en tête nous sommes allés voir AWS et avons étudié les tailles d'instance possibles. Trois tailles différentes correspondaient à nos exigences (les prix ne sont peut-être plus les mêmes à l'heure actuelle) :
</p><ul>
	<li>i2.xlarge - 4 CPU, 30,5 Go RAM, 800 Go SSD - 686,62 $/mois</li>
	<li>i2.2xlarge - 8 CPU, 60,5 Go RAM, 2 x 800 Go SSD - 1510,57 $/mois</li>
	<li>m1.xlarge - 4 CPU, 15 Go RAM, 4 x 420 Go HDD - 277,43 $/mois</li>
</ul><p>L'option m1.xlarge nous semblait être la meilleure. Peu onéreuse, elle disposait de 4 HDD qui pouvaient être combinés à un RAID0. Dix instances de ce type pouvaient former un cluster de 150 Go de RAM et 16,8 To d'espace disque. Avec autant d'espace disque, nous aurions pu facilement augmenter la période de conservation des logs.
</p><p>Pour configurer dix nœuds et installer une configuration semblable d'Elasticsearch, nous avons utilisé Ansible. Le guide combinait les rôles pour :
</p><ul>
	<li>Le « bootstrap » de l'instance AWS (installation du nom de l'hôte, installation des packs communs, etc.)</li>
	<li>Configurer un RAID0 dans le logiciel</li>
	<li>Installer un logiciel de surveillance qui envoie ses informations à un proxy de surveillance au sein du même VPC</li>
	<li>Connecter les instances à notre serveur d'annuaire, pour que les ingénieurs back-end puissent se connecter via SSH</li>
	<li>Installer et configurer Elasticsearch notamment plusieurs plugins</li>
</ul><h2>Architecture du logcluster</h2><p>	<span id="docs-internal-guid-63e0fedd-7d06-7deb-ba52-d9f622ad4364">Avec une installation de 10 nœuds d'Elasticsearch, vous vous demandez sûrement à quoi ressemble le système. Nos micro-services envoient leurs logs d'application dans un Elasticache AWS (Redis). Logstash récupère alors les logs et les traite. L'image ci-dessous illustre l'architecture.</span>
</p><p><img src="https://api.contentstack.io/v2/assets/575e4cef3dc542cb38c0934a/download?uid=blt94bf10fa2418bd38?uid=blt94bf10fa2418bd38" data-sys-asset-uid="blt32f77ed8b41f7b57" alt="logcluster.png" "="" style="max-width:100%;">&nbsp;
</p><h2>Exemples d'utilisation du logcluster</h2><p>	<span id="docs-internal-guid-63e0fedd-7d07-56cb-ca35-aac2c8e9e870">Début novembre 2015, nous avons décidé de mettre en place un changement radical dans notre architecture back-end. Nous avons configuré chacun de nos micro-services dans un conteneur Docker basé sur un cluster AWS ECS. Ce changement majeur a été accompagné par notre logcluster. La migration devant être faite sans interrompre le service, nous avions les yeux rivés sur les écrans de Kibana. Même les augmentations les plus infimes dans les taux d'exception d'une application peuvent indiquer des problèmes dans le service live. C'est pourquoi à chaque fois qu'on lançait un conteneur pour un nouveau service, on avait tous les yeux rivés sur les grands écrans TV qui présentent les données de Kibana, et on était tous heureux lorsqu'il n'y avait pas d'exception à constater. Même si on a eu un peu peur lorsque Batman a fait son apparition...</span>
</p><p><img src="https://api.contentstack.io/v2/assets/575e4cef12798d8e381fe673/download?uid=blt7d7204806603f32d?uid=blt7d7204806603f32d" data-sys-asset-uid="blt3b872bba91fd22d3" alt="kibana_batman.png" style="max-width:100%;">
</p><h2>Conclusion</h2><p>Nous avons pour objectif de fournir l'expérience la plus optimale de réservation de taxi en Europe et d'étendre notre service dans davantage de villes dans les années à venir. Avec environ 50 micro-services, nous avons besoin d'un centre d'informations pour avoir une idée du statut général du système. C'est ce que fournit l'ensemble technologique d'Elasticsearch. De plus, il permet également à nos développeurs d'étudier les bugs plus en détail et de surveiller l'impact des changements de plus près.
</p><p><br>
</p><img src="https://api.contentstack.io/v2/assets/575e4cef58208ba076e29117/download?uid=blt2ab3600475ffc077?uid=blt2ab3600475ffc077" data-sys-asset-uid="blt3c3099a8fed129d9" alt="Sebastian_Headshot.png" style="float: left; margin: 0px;"><p style="text-align: right;"><span id="docs-internal-guid-cecc46b7-85d1-dea8-372a-77cd4b264ed7"><em>Sebastian Herzberg est ingénieur réseau et système chez Intelligent Apps GmbH (mytaxi) à Hambourg depuis mai 2015. Depuis quelques mois, il travaille sur un nouveau système de surveillance et la migration vers Docker. Il travaille principalement sur les systèmes back-end basés sur AWS avec une équipe de 3 administrateurs système et 2 ingénieurs back-end.</em>
</span></p><p>	<em></em>
</p><p><br>
</p>

taxis-people-waiting.jpg

taxi-ihr-fahrer-mobile-phone.jpg

How the Elastic Stack Keeps our Taxis Rolling

Avec les technologies d'Elastic, tout roule !

Lancez-vous

pattern-footer-cta-generic-bottom-left-172x90-blue-bg.svg

pattern-footer-cta-generic-bottom-right-145x250-blue-bg.svg

pattern-footer-cta-generic-top-left-145x250-blue-bg.svg

pattern-footer-cta-generic-top-right-172x90-blue-bg.svg

Generic - Blue - Color

Blog Footer CTA

Inscrivez-vous à un essai gratuit d'Elastic Cloud

Blog Footer

Sebastian Herzberg

Articles By

Register to Attend

Sign In to Attend

Register to Watch

You'll also receive an email with related content

Nous vous enverrons plus contenu susceptible de vous intéresser.

Watch now

Regarder maintenant

Learn more

En savoir plus

Contact Info

See All Posts

What to explore next...

Load more news

Load more press releases

Load More

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Hosted by

Highlights

Featured webinar

On-demand webinar

Upcoming webinar

View next

Register now

Video for

Small image for

View more posts

Continue reading

Share

Translate Content

AUTHOR

Article de Sebastian Herzberg

Avec les technologies d'Elastic, tout roule !

Inscrivez-vous à un essai gratuit d'Elastic Cloud

Produits et solutions

Entreprise

Ressources

Solutions

La Suite Elastic (ELK)

NOUVEAUTÉ

AUTHOR

Article de Sebastian Herzberg

Avec les technologies d'Elastic, tout roule !

Inscrivez-vous à un essai gratuit d'Elastic Cloud