Observabilité
Télécommunications

Telefónica : un réseau de diffusion de contenu de renommée internationale aux capacités de recherche améliorées

Présentation de l’entreprise

Telefónica est l’un des plus grands opérateurs de télécommunications et de téléphonie mobile au monde avec plus de 350 millions de clients. L’entreprise dont le siège social est basé à Madrid, en Espagne, mène ses opérations sur plusieurs continents, à savoir l’Europe et l’Amérique.

Lancée comme une entreprise publique de télécommunication proposant des services de base au grand public, Telefónica possède désormais ses propres réseaux et un vaste éventail d’offres complètes, connectées et multicanaux. Ainsi, elle compte 276 millions de clients en téléphonie mobile, plus de neuf millions d’abonnés à ses offres Internet fibre et haut débit mais aussi plus de huit millions d’adeptes de ses bouquets de chaînes payantes.

Un réseau de diffusion de contenu de renommée internationale

La marque Telefónica s’est fait un nom en garantissant à ses clients des services fiables et de qualité, principalement grâce à son orientation permanente vers l’innovation et son engagement à fournir des produits d’excellence sur ses réseaux.

Ces dernières années, les méthodes de prestation de services de Telefónica se sont considérablement complexifiées face à la prolifération de nouvelles offres vidéo, Internet et de téléphonie. Les données de mesure et de logging en matière de consommation et de prestation de services se sont diversifiées et multipliées à grande vitesse. Par conséquent, les entreprises de télécommunication de toutes tailles ont investi massivement dans la gestion des infrastructures. Nombre des solutions développées fournissent des données opérationnelles sur des éléments spécifiques de ces infrastructures. Or, il manquait une méthode d’extraction, d’unification et d’analyse des données sur plusieurs systèmes hétérogènes, le tout en temps réel.

À l’instar de nombre de ses concurrents, Telefónica a mis en place ses propres systèmes qui se sont avérés complexes, chers à entretenir et peu souples sur le plan technique. Et pour couronner le tout, ils étaient incapables d’anticiper les incidents et de garantir une bonne latence. Le système interne était bien doté d’un référentiel, mais d’aucune fonction d’analyse des données ni de capacité à prendre des mesures en conséquence.

Telefónica a trouvé la solution qu’il lui fallait avec la Suite Elastic. Ainsi, l’entreprise peut agréger et analyser différentes sources de données non unifiées. Telefónica innove même en élaborant une plateforme de gestion des données qui assure un accès en temps réel aux informations de valeur sur le plan fonctionnel et commercial en vue d’améliorer l’expérience client globale.

Les capacités puissantes de la Suite Elastic

Álvaro Aldana, responsable technique du monitoring vidéo à l’international, et son équipe en charge du monitoring vidéo au sein de Telefónica ont testé les premières moutures du réseau de diffusion de contenu de l’entreprise. Ils ont notamment surveillé les données à l’aide de solutions propriétaires et open source. Le but de l’opération était d’optimiser la scalabilité du portefeuille de services afin de séduire davantage de clients tout en garantissant des performances supérieures à l’aide des informations cachées au sein des données de mesure et de logging. Face à la croissance rapide des offres Internet, de téléphonie mobile et de vidéo à la demande (VOD), l’équipe d’Álvaro Aldana était consciente de la nécessité de disposer d’une solution hautement évolutive capable de traiter et d’analyser simultanément et en temps réel des données provenant de plusieurs sources. Après avoir testé différentes options, la Suite Elastic s’est imposée comme la solution idéale pour éliminer les développements ponctuels et rendre la plateforme fonctionnelle au sein de toute l’entreprise.

En seulement quelques mois, l’équipe a modifié cette dernière afin qu’elle puisse transmettre les transactions clients et les journaux de diffusion vidéo à Elasticsearch afin d’obtenir des données sur la consommation et la performance des services. Grâce à l’adoption de la Suite Elastic, ils ont pu voir les canaux utilisés par les clients mais aussi les latences et statistiques des vitesses de transmission associées, des données auxquelles ils n’avaient pas accès auparavant. Et ce n’est pas tout ! Outre la composition de la clientèle de Telefónica et les contenus qu’elle regarde, l’équipe a pu contrôler la proportion de consommation en direct ou à la demande, notamment en fonction de la situation géographique et de l’heure de la journée.

L’analyse des données de log et des anomalies à grande échelle

Les données de log fournissent une précieuse vue d’ensemble du fonctionnement individuel et transversal de vastes réseaux. Les journaux consignent dans des dossiers textes intermittents tous les événements d’un système, notamment les connexions, les interactions des utilisateurs et les erreurs. Cet exercice relève du défi lorsqu’il s’agit de traiter de multiples systèmes et des formats variés.

Telefónica a trouvé son bonheur grâce à Elasticsearch. C’est l’outil idéal pour contrôler et analyser d’importants volumes de données aux formats hétérogènes. Désormais capable d’identifier les anomalies, de repérer les tendances et de réaliser de véritables prévisions de données, l’entreprise a véritablement gagné en puissance.

Il n’y a pas de mystère : pour optimiser ses performances, une entreprise ne doit pas se contenter d’un monitoring de logs basique ; elle doit être en mesure d’analyser ses données à grande échelle. Aujourd’hui, nous disposons de méthodes innovantes et diversifiées pour étudier nos données au sein d’une plateforme évolutive. En outre, nous sommes passés d’un simple modèle de monitoring et de maintenance à un véritable paradigme d’innovation et d’optimisation.

– Álvaro Aldana, Responsable technique du monitoring vidéo à l’international, Telefónica

Désormais en mesure d’analyser les données de log en temps réel (indépendamment du format de la source), l’équipe peut envisager de nouvelles relations et corrélations aussi facilement et rapidement qu’elle génère de nouvelles idées. Cette nouvelle capacité a permis à Telefónica de se concentrer sur l’optimisation de ses systèmes au lieu de la résolution de ses problèmes. En outre, l’entreprise a largement imposé sa nouvelle compétence en analyse des données au sein d’un marché beaucoup plus vaste.

Par exemple, l’équipe peut aisément déterminer le nombre d’erreurs liées à chaque fragment de vidéo, puis comparer ces données à l’utilisation de l’infrastructure. Ce développement fondamental lui permet désormais d’identifier les serveurs les plus sollicités, leurs utilisations et les domaines où concentrer les ressources en ingénierie. En ingérant, traitant, analysant et stockant de plus en plus de données variées, l’équipe peut signaler les éventuels problèmes aux équipes opérationnelles de manière plus informée, apporter des solutions proactives et efficaces mais aussi optimiser les performances réseau en temps réel.

Depuis l’intégration d’Elasticsearch dans son réseau de diffusion de contenu en 2014, Telefónica a attiré de nouveaux utilisateurs et ainsi enregistré une hausse spectaculaire de la consommation de ses contenus. Au cours des trois dernières années, la clientèle de Telefónica a doublé, ce qui a poussé l’équipe à poursuivre ses expérimentations.

Toujours sous la direction d’Álvaro Aldana, elle a appris à identifier les anomalies grâce au contenu des logs. Elle utilise notamment la fonctionnalité de machine learning d’Elastic pour analyser les schémas des autres logs de l’entreprise, notamment ceux de la plateforme vidéo de bout en bout de Telefónica (encodage et décodage, flux de contenu et autres activités du serveur extérieures au réseau principal). Les fonctionnalités de machine learning d’Elastic modèlent automatiquement le comportement des tendances de données d’Elasticsearch, des périodicités et d’autres informations. Sans elles, l’équipe avait du mal à identifier de telles anomalies. Grâce à la détection des facteurs d’influence sur ces anomalies, les ingénieurs identifient plus rapidement les erreurs, en analysent les causes racines plus facilement et réduisent le nombre de faux positifs. Ainsi, des améliorations ont été enregistrées dans tous ces domaines et la qualité des services est garantie en parallèle.

L’application des fonctionnalités de machine learning d’Elastic s’avère très prometteuse au sein de toute l’entreprise, et ce pour un vaste éventail de cas d'utilisation. Cette fonctionnalité nous aide déjà à améliorer le logging de la gestion des services via l’identification de nouveaux problèmes liés à la diffusion de contenu et au streaming. Ces problèmes auparavant indétectables peuvent ternir notre image. En les repérant en temps réel grâce à Elasticsearch, nous sommes bien plus réactifs, nos services de diffusion de contenu sont plus performants et notre réputation de qualité est garantie.

– Álvaro Aldana, Responsable technique du monitoring vidéo à l’international, Telefónica

Suite à l’augmentation constante de la consommation de ses services numériques, Telefónica a compris la nécessité d’analyser et de stocker de plus grands volumes de données. L’entreprise doit avoir accès à 15 à 25 jours de données, contrairement aux trois jours auparavant conservés. L’équipe souhaitait tout particulièrement faciliter l’utilisation de la plateforme pour les développeurs sans qu’ils n’expérimentent aucune baisse de performance si un utilisateur effectue une importante recherche.

Par ailleurs, en moins de quatre mois, Telefónica a abandonné son ancienne solution de logging des données de sa plateforme vidéo au profit d’Elasticsearch, ce qui lui permet de mieux comprendre l’historique de son système, d’identifier les anomalies à l’aide des fonctionnalités de machine learning et de réaliser des économies en parallèle.

Álvaro Aldana et ses collègues ont travaillé en étroite collaboration avec le support technique et les équipes sur le terrain d’Elastic afin de développer et d’adapter la plateforme, de la tester et d’élargir l’éventail du matériel utilisé pour trouver la combinaison idéale.

L’essentiel est de créer une bonne alchimie avec les autres solutions, en particulier celles de notre précédent fournisseur, et de pouvoir configurer le tout très facilement. Grâce à notre partenariat avec Elastic, nous avons pu adapter chaque élément de la plateforme d’une manière optimale, ce qui nous a permis de bénéficier d’importantes améliorations. La plateforme a connu une accélération phénoménale : nous pouvons désormais traiter 200 000 documents par seconde grâce aux adaptations effectuées et à notre collaboration étroite avec le support technique Elastic.

– Álvaro Aldana, Responsable technique du monitoring vidéo à l’international, Telefónica

Résultats

L’équipe a remarqué des améliorations immédiates de la puissance de traitement de la plateforme, mais ce n’est rien comparé aux optimisations des processus opérationnels. Désormais, Álvaro Aldana sait en temps réel si un correctif logiciel est efficace ou non ou bien comment une nouvelle mise à jour influe sur le temps de chargement d’un fragment vidéo du côté de l’utilisateur. Tout cela grâce à Elastic, l’atout majeur pour Telefónica.

Avant de faire appel à Elastic, l’entreprise gérait un sous-ensemble d’indicateurs limités des services qui se fondaient sur les processus de traitement par lots. Aujourd’hui, les équipes de développement du réseau de diffusion de contenu peuvent voir en temps réel des indicateurs de performance clés entièrement consolidés et élaborer instantanément des tableaux de bord en vue de prendre des décisions immédiates.

« Voir les changements en temps réel a transformé notre méthode de gestion du réseau de diffusion de contenu. Nous en étions incapables avant de travailler avec la Suite Elastic, explique Álvaro Aldana. Nous nous améliorons à vitesse grand V grâce à un puissant écosystème d’outils basé sur Elasticsearch. Notre développement a été rapide. Nous avons étendu les solutions sous-tendant l’écosystème afin que la Suite Elastic soit au cœur de notre cadre opérationnel. »

En associant de manière innovante les données de log aux fonctionnalités de machine learning, Telefónica bénéficie d’une vue en temps réel de son réseau de diffusion de contenu. Au lieu de se concentrer uniquement sur sa gestion et sa maintenance, l’entreprise peut optimiser tout le réseau, un atout essentiel pour améliorer l’ensemble de ses services. Elasticsearch permet aux administrateurs d’identifier les anomalies et d’en comprendre les causes plus rapidement. En outre, au lieu de réagir en fonction des problèmes passés, les équipes peuvent maintenant modeler et analyser de grands volumes de données historiques mais aussi identifier les schémas, les tendances, les signes avant-coureurs et les alertes.

L’avenir

Selon l’équipe, l’orientation de Telefónica envers les performances de son réseau est la condition sine qua non pour entretenir une relation de confiance avec ses clients sur le long terme. La Suite Elastic va être mise en place pour les applications de plateforme vidéo, comme les portails client, la gestion des droits et du contenu mais aussi les services fournis aux clients. Cependant, Álvaro Aldana en est persuadé : seul l’éventail de technologies permettra à Telefónica de conserver son avantage concurrentiel, indépendamment des évolutions du secteur des télécommunications et des besoins des utilisateurs.

« Nous serons capables de développer le type de réseau dans lequel les clients ont confiance uniquement grâce à l’innovation en matière de performances. En d’autres termes, nous devons abandonner nos solutions de monitoring simple pour adopter un modèle d’optimisation. La fiabilité et la résilience seront toujours au cœur de nos activités au fur et à mesure que nous développons notre portefeuille de services et réinventons leur prestation, conclut Álvaro Aldana. Grâce à Elastic, nous disposons d’une plateforme intelligente ultra-sensible qui nous permet de réagir en temps réel et de mieux nous préparer aux futures évolutions. »

Clusters de Telefónica

  • Nombre de clusters
    1
  • Nombre de nœuds
    10
  • Nombre total de documents
    30 176 007 552
  • Taille totale des données
    27 To
  • Vitesse de traitement
    De 1 à 1,5 To par jour environ