Ministère de l’Agriculture - Suivre les activités de pêche commerciale avec la Suite Elastic

Au sein du Ministère de l'Agriculture et de l'Alimentation (le Ministère), notre équipe d'architectes BMSQ (Bureau des Méthodes, Support et Qualité) évalue et fournit des solutions logicielles visant à résoudre les problématiques transverses que peuvent rencontrer les équipes projet. 

En tant que spécialistes data, nous avons été impliqués dans la refonte du dispositif de traçabilité des activités de pêche commerciale placées sous la responsabilité du Ministère. L'objectif est d'améliorer la qualité, la rapidité et la précision de restitution d'importants volumes de données liées aux activités de pêche (déclaration de sortie du port, déclaration de pêche, rejet de poisson…) que les navires ont pour obligation légale de déclarer aux autorités françaises. 

Notre défi est de mettre à disposition des métiers des informations à jour, vérifiées, complètes, dynamiques et visualisables sous diverses formes en fonction de l'audience ciblée. La solution sur laquelle nous nous sommes arrêtés a été la Suite Elastic. La Suite Elastic permet d'intégrer toutes nos données et de visualiser les données dans un format facile à partager et se reposant sur des données en temps réel sur les activités de pêche commerciale. Avec ces données intégrées, nous pouvons agir de manière coercitive pour stopper les activités de pêche illégales et négocier les droits de pêche avec les pays voisins. 

Pourquoi nous avons choisi la Suite Elastic plutôt que Splunk ou Graylog

La première étape du projet a été la réalisation d'une preuve de concept  avec  une solution capable de stocker, extraire et présenter les données en temps réel. 

Nous avons effectué un benchmark avec la Suite Elastic et d'autres outils, tels que Graylog et Splunk. Nous avons finalement été séduits par la rapidité et la facilité de prise en main de la Suite Elastic, ainsi que sa puissance et son évolutivité. L'outil de présentation et d'animation des données, Canvas, a également été décisif sur ce projet, il nous a permis d'informer efficacement les utilisateurs finaux dans un contexte où les réglementations et mesures de protection sont toujours plus exigeantes. Enfin, nous avons aussi fait le choix d'une souscription à la Suite Elastic pour réduire le temps de développement et rester concentrés sur notre cœur de métier grâce à l'aide de l'équipe de support d'Elastic. 

Affiner le suivi des activités de pêche pour garantir la conformité aux normes et soutenir les négociations politiques

Grâce aux systèmes GPS obligatoires sur les navires de pêche de plus de 12 mètres, nous sommes capables de suivre les navires en temps réel tout en indexant ces données de surveillance dans Elasticsearch, avant de visualiser ces données dans Kibana ou Canvas.

De cette façon, nous aidons le Ministère sur plusieurs plans :

• Localisation des zones d'activités des navires et de fortes pêches
• Surveillance des quotas de pêche des zones FAO (Food & Agriculture Organization) 
• Signalement des cas de non respect de la législation

Exemple de visualisation Kibana pour localiser les zones de forte pêche

Avec Canvas, nous pouvons affiner la granularité, la qualité et le format de restitution afin de nous assurer que les données sont présentées dans le format le plus pertinent pour l'audience visée, en particulier si celle-ci n'est pas technique.

Exemple d'infographie réalisée sur Canvas pour la surveillance des données de pêche

Nous n'étions pas en mesure de créer des visualisations comme celles-ci avec nos outils précédents, il s'agissait de bases de données traditionnelles et d'une application en Java. Ces dernières rencontraient des limites en termes de performance de requêtage liées aux nombreux champs de filtrage, au-delà de 300. Désormais, une fois traitées par Logstash, les données sont stockées et indexées dans Elasticsearch. Elles peuvent alors être filtrées, croisées et corrélées en temps réel et en toute autonomie par les métiers.

Elastic nous permet de valider l'exactitude et la cohérence des déclarations des navires par rapport aux événements enregistrés.

Nous prenons en charge et intégrons dans Elasticsearch des données brutes et stockons 10 ans d'historique soit 135 millions d'enregistrements, comportant chacun plus de 300 champs de filtrage différents. Nous recevons les données brutes ERS (Electronic Reporting System) au format XML émises par les bateaux à partir d'un logiciel de bord ou d'un GPS et nous les modélisons au fil de l'eau pour les intégrer dans notre cluster Elasticsearch.

Schéma d'architecture

Ils rassemblent un vivier d'informations, telles que quantités et espèces pêchées, rejets des espèces protégées, campagnes de pêche, type de bateau complété du pavillon, de l'immatriculation et de l'appareillage utilisé, quotas de pêche par zone territoriale, opérateur satellite en fonction de la région du globe.

Les informations en temps réel et détaillées par région servent ensuite de base d'analyses consolidées et de discussion pour notamment remédier sans délai au non-respect des réglementations, réagir rapidement en cas de polémique médiatique sur les espèces marines protégées, ou encore renégocier chaque année les quotas au sein de l'Union Européenne.

Expansion  vers des cas d'usage politiques, économiques et environnementaux 

Le ministère continue de surveiller de près les différentes releases de la Suite Elastic. Nous attendons également la disponibilité d'une version française de Kibana pour pouvoir élargir le panel d'utilisateurs de la solution. La solution séduit de plus en plus et les dernières fonctionnalités apportées par les versions 7.11 et 7.12 d'Elastic sont testées avec un grand intérêt notamment l'ajout de Tracks dans l'application Maps qui nous permet de suivre la trace d'un bateau.

Suivi des itinéraires empruntés par les bateaux avec Elastic Maps

Nous avons apprécié l'ergonomie, la flexibilité et la créativité de Kibana qui permet aux métiers d'être bien informés et rapidement opérationnels face aux réglementations et mesures de protection toujours plus exigeantes. De plus, la modélisation des données de pêche disponibles au format XML s'effectue par lot, ce qui permet avec Elasticsearch de faire des requêtes sur un volume de données en croissance continue, et sans devoir attendre le traitement de tout un historique de 10 ans en cours. Elastic permet également une itération du processus d'indexation, dès lors que de nouvelles données viennent enrichir les champs existants. 

A court terme, le Ministère a pour objectif de terminer le déploiement de la solution et de l'ouvrir à un panel toujours plus important d'utilisateurs.

Au-delà des activités de pêche, nous allons devoir stocker, traiter et analyser toujours plus de données de traçage notamment dans le domaine de l'alimentation - depuis la production en ferme jusqu'à la consommation. Tout ceci signifie que la solution Elastic pourrait nous servir pour ces nouveaux projets de développement au coeur des enjeux politiques, écologiques et sanitaires.

Sébastien Arnaud — architecte Échanges & Data au Ministère de l'Agriculture

Après une formation initiale dans le domaine des réseaux et de la sécurité informatique, il a travaillé sur des solutions complexes d'échange et de transformation de la donnée.

Il aime designer et intégrer des architectures innovantes afin de traiter, stocker et valoriser toujours plus de data.