Splunk를 통해 손쉽게 Elastic으로 데이터 수집

기업이 기존 공급업체에서 Elastic으로 마이그레이션할 때 가장 먼저 해야 할 작업은 현재 솔루션의 로그 데이터를 Elastic으로 신속하게 온보딩하는 것입니다. 데이터 온보딩 작업에는 데이터 소스 전반에 걸친 수집 아키텍처의 조정과 구성 변경의 구현이 수반되는 경우가 대부분입니다. Elastic은 Elastic을 테스트해 보거나 Elastic으로 마이그레이션하는 사용자가 데이터를 신속하게 가져와 Elastic 솔루션의 강력한 성능을 최대한 빨리 확인할 수 있도록 보장하고자 합니다. 이것이 바로 Splunk에서 수집한 데이터를 Elastic Common Schema(ECS)에 자동으로 매핑하는 통합 기능을 구축한 이유입니다.

이 블로그 게시물에서는 Elastic Stack의 버전 7.12에 릴리즈된 실험적 Splunk 통합에 대해 소개해 드리겠습니다. 이번 통합에서는 Splunk 유니버설 포워더 및 기타 Splunk 수집 기술을 그대로 유지한 상태에서 Splunk API를 활용하여 데이터를 Elastic으로 가져올 수 있습니다. 현재는 통합에서 Apache, AWS Cloudtrail, NGINX, Windows 이벤트 채널 및 Zeek 로그의 수집을 지원하지만, Elastic은 지원되는 데이터 소스를 대폭 확장할 계획이 있습니다.

통합 작동 방식

통합은 Elastic Agent의 HTTP JSON 입력을 활용하여 Splunk REST API를 통해 Splunk 검색을 실행한 다음 결과에서 원시 이벤트를 추출합니다. 그런 다음 Elastic Agent 및 기존 Elastic 통합에서 원시 이벤트를 처리합니다.

통합 구성

이 블로그 게시물에서는 Splunk에서 기존 이벤트를 검색하도록 Zeek 통합을 구성하겠습니다.

수행해야 할 첫 번째 단계는 Elastic Agent를 설치하는 것입니다. Elastic Agent는 배포가 쉽고 모든 일반적인 운영 체제를 지원합니다. Elastic Agent를 설치하고 Fleet에 등록하는 단계는 여기에서 확인할 수 있습니다.

두 번째 단계로 정책을 생성하고 Zeek 통합을 추가하겠습니다. '타사 REST API 입력'을 구성합니다. API에 액세스하려면 Splunk Enterprise Server의 URL과 자격 증명이 필요합니다. Splunk 검색은 사용자 정의 가능하며, 검색 간격도 사용자 정의할 수 있습니다. 로그가 Splunk를 통해 전달되었음을 나타내기 위해 태그를 추가할 수도 있습니다.

아래 스크린샷에서 볼 수 있듯이 Splunk로 스트리밍되는 Zeek 로그가 있습니다.

Splunk 통합이 활성화되면 이제 Elastic에서 해당 Zeek 로그를 사용할 수 있습니다.

Splunk + Elastic Common Schema

이제 가장 좋은 점은 Splunk를 통해 수집된 모든 데이터가 자동으로 Elastic Common Schema(ECS)에 매핑된다는 점입니다. 즉, Splunk의 Common Information Model에서 ECS로 데이터를 수동으로 매핑할 필요 없이 Elastic Security 및 Elastic Observability와 같은 Elastic 솔루션을 즉시 활용할 수 있습니다. 

머신 러닝 작업, 탐지 규칙, 시각화 등의 분석 콘텐츠가 바로 작동합니다! 예를 들어, 다음은 Splunk를 통해 수집된 Zeek 데이터로 가득 채워진 Zeek 대시보드입니다.

Elastic을 테스트하고 있는 Splunk 사용자라면 이 통합의 유용성을 확인하실 수 있을 것입니다. Elastic의 목표는 Elastic으로 데이터가 수집되도록 구성하는 데 걸리는 시간을 줄이고 사용자가 Elastic 솔루션의 가치를 빠르게 실현하는 데 집중할 수 있도록 하는 것입니다. 통합과 관련된 설명서는 여기에서 확인하실 수 있습니다.

이번 Splunk 통합에 대한 여러분의 의견을 듣고 싶습니다. Elastic 토론 포럼이나 Elastic Slack 워크스페이스에서 여러분의 생각을 알려주세요. Elastic을 사용해 보기 전에 이와 같은 통합을 기다려왔다면, 지금이 기회입니다. 14일 무료 체험판을 시작하거나(신용 카드 필요 없음) 무료로 제품을 다운로드하여 온프레미스로 배포하세요. 또한 빠른 시작 교육을 활용하여 성공을 위한 준비를 하세요.