65,000명의 경찰관과 2,000명의 IT 전문가로 구성된 유럽 국가 경찰은 인프라, 애플리케이션 및 감사 데이터를 위해 모든 로그의 검색 가능한 중앙 집중식 저장소를 구축해야 하는 문제에 직면했습니다.
이 문제를 해결하기 위해, 기관은 Elastic 플랫폼을 선택하여 데이터 레이크를 구축했으며, 이 플랫폼은 궁극적으로 모든 로그 데이터의 중심 허브가 될 예정입니다. 이 기관의 목표는 앞으로 2년 동안 무려 350개 애플리케이션의 로그 데이터를 레이크에 채우는 것입니다.
이 기관의 제품 라인 매니저는 이렇게 말합니다. "2년 후에는 약 75TB의 데이터를 매일 수집할 것으로 예상하고 있습니다. 참고로 이것은 하루 만에 캡처한 데이터가 애플의 개인 클라우드 스토리지 플랜에 저장할 수 있는 총량보다 20배 가까이 많은 것입니다. 그리고 지금 우리는 현재 연결되어 있는 소스들에서 들어오는 약 2.5TB의 데이터를 이미 처리하고 있습니다. 따라서 우리 시스템은 반드시 성장에 대비해야 합니다."
"분명히 로그 정보를 저장하고 보관하는 데 도움을 줄 DevOps 팀이 있습니다. 이를 통해 우수한 소스를 기반으로 자체 시스템을 위한 대시보드를 구축할 수 있게 됩니다." 제품 라인 매니저는 이렇게 말합니다.
데이터 레이크의 두 번째 사용자 그룹에는 "경찰 데이터 오용"으로 의심되는 사례를 조사하는 조사관들이 포함될 것입니다.
"예를 들어, 만약 경찰관이 딸의 남자친구에게 어떤 기록이 있는지 확인하고 싶어서 알아보려고 한다면, 이것은 경찰 자료를 적절하게 사용하는 것이 아닙니다. 반드시 업무와 관련이 있어야 합니다." 제품 라인 매니저는 이렇게 말합니다.
제품 라인 매니저에 따르면, 세 번째 사용자 그룹은 "데이터 사용에서 이상 징후를 찾게 될" 보안 운영 센터의 개발자들입니다.
데이터 제어를 유지하기 위해, 데이터 레이크의 사용자에게 역할 기반 액세스를 통해 보기 권한을 부여해야 하며, 이는 Elastic으로 쉽게 구성할 수 있습니다.
데이터 레이크가 완성되면 매일 75TB의 데이터를 보존하고 로깅하게 되기 때문에, 기관은 Elastic의 계층형 저장 공간 레벨을 활용할 예정입니다.
기관은 데이터 유형, 보존 정책, 규정에 따라 1-5년 사이의 데이터를 저장합니다.
이러한 유형의 저장 공간 아키텍처가 비즈니스에 제공해주는 혜택은 엄청납니다. 데이터 저장 공간은 Hot에서 Frozen으로 갈수록 유지 보수 비용이 낮아집니다. 오래된 데이터, 즉 규제 목적으로 보관된 데이터를 컴퓨팅 파워를 덜 사용하는 더 저렴하고 더 차가운 저장 공간에 보관할 수 있습니다.
이 경찰청의 경우, 이를 통해 Elastic에서 증가하는 데이터 볼륨을 더욱 "효율적"으로 관리할 수 있으며, 새로운 사용 사례를 시작할 수 있게 해줍니다.
제품 라인 매니저는 "이러한 양의 데이터를 어느 정도 효율적으로 처리할 수 있도록 하기 위해, 설계에서 Warm, Hot, Cold, Frozen 저장 공간 사이를 구분했다"고 말합니다.
프로젝트를 보다 원활하게 배포하기 위해, 기관은 초기 설계를 구축하고 모범 사례를 구현하는 Elastic 컨설팅에 참여했습니다.
