Elasticでデータを一元化し、公共に役立てる欧州警察機関のプロジェクト
65,000名の警官と2,000名のITプロフェッショナルが所属する、欧州のある警察機関は「インフラ、アプリ、監査データの全ログを格納する集中型の検索可能レポジトリを構築する」という課題に挑んでいます。
この課題解決のためにElasticのプラットフォームを導入し、最終的に全ログデータのセントラルハブとして動作するデータレイクを構築する計画が決まりました。開発目標は、「350のアプリからくるログデータを、2年間かけてデータレイクに格納すること」です。
この機関のあるプロダクトラインマネージャーは次のように語りました。「2年後には、1日あたり75TBのデータをインジェストする計画です。参考までに比較すると、Appleの個人向けクラウドストレージプランに格納できる全容量の20倍近いデータが毎日捕捉されるということになります。現在、接続済みのソースからすでに1日あたり2.5TBのデータが流入しており、処理を行っています。増加に対応する能力は、このシステムに不可欠です」
DevOps、調査担当者、デジタルセキュリティ担当者のためのロギング
このプロダクトラインマネージャーは、次のように明かしました。「ご存じの通り、警察にもDevOpsチームがあります。この計画を進めることで、DevOpsのログ情報の格納・保持の業務はずっと楽になります。さらに、良質のソースに基づいて固有のシステム向けのダッシュボードを構築することも可能になります。
このデータレイクを使用するもう1つのグループには、容疑者を調査する捜査員も含まれます。
たとえばある警官が娘のボーイフレンドの身辺調査をしようと考えて、前科の記録を調べた場合、それは警察のデータの妥当な使用ではありません。データの使用は、業務に関連するものでなければなりません」
このプロダクトラインマネージャーはまた、次のように付け加えました。「3つ目のユーザーグループが、セキュリティオペレーションセンターの開発者たちです。彼らは今後、データの使用におけるアノマリーを探すことになります。
たとえば、ある警官がある都市の端末にログインしているその瞬間、そこから数時間も離れた別の都市の交番にその警官のバッジを使って入ってきた人物がいるとします。この事象はシステムのログによって監視されており、セキュリティオペレーションでアノマリーがトリガーされる、という具合です」
データの制御性を維持するため、データレイクのユーザーはロールベースのアクセス設定による表示権限を付与されます。Elasticのサービスを使うと、これも簡単に設定できます。
テータの保持 ― Hot、Warm、Cold、Frozen
この計画では、最終的にこのデータレイクで1日あたり75TBのデータをロギング、および保持することになっています。そこで同機関ではElasticの機能を活かし、複数の段階的なレベルでストレージを使用しています。
同機関はデータタイプ、保持ポリシー、各種規制に応じて、1-5年の範囲内にデータ格納期間を設定しています。
このようなストレージアーキテクチャーは、業務に大きなメリットをもたらします。データストレージのレベルがHotからWarm、Cold、Frozenに進むにつれ、保持コストは低下します。つまり、古いデータや規制準拠の目的で保管されるデータはColdやFrozenに移行させることで、より演算能力の低いストレージに格納できます。
Elasticを利用して増大し続けるデータ量をより効率的に管理できる上、新たなユースケースへの扉が開かれることも、この機関にとってはメリットとなります。
「これほどのデータ量を効率的な方法で扱えるようにするため、ストレージをHot、Warm、Cold、Frozenに分けて設計しています」と先ほどのプロダクトラインマネージャーは明らかにしました。
Elasticコンサルティングを利用する
プロジェクトをスムーズにデプロイするため、この警察機関はElasticコンサルティングを利用して初期設計を構築し、ベストプラクティスの実装を実現させました。