무료 개방형 서버의 데이터 처리 파이프라인인 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다.
입력
데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많습니다. Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원합니다. 로그, 메트릭, 웹 애플리케이션, 데이터 저장소 및 다양한 AWS 서비스에서 모두 지속적으로 스트리밍되는 방식으로 손쉽게 수집할 수 있습니다.
필터
Logstash 필터는 데이터가 소스에서 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합하여 분석을 더욱 강력하게 만드는 동시에 비즈니스 가치를 높여줍니다.
Logstash는 형식이나 복잡성에 관계없이 다음과 같이 데이터를 동적으로 변환하고 준비합니다.
- grok을 통해 비정형 데이터에서 구조 도출
- IP 주소에서 위치 좌표 해독
- PII 데이터의 익명화, 민감한 정보 필드 완전 제외
- 데이터 소스나 형태, 스키마에 상관없이 전체적으로 손쉬운 처리
풍부한 필터 라이브러리와 다재다능한 Elastic Common Schema를 갖추고 있어 가능성이 무궁무진합니다.
출력
Elasticsearch는 검색과 분석의 새로운 세계를 열어주는 시스템이지만, 그것만이 유일한 선택지는 아닙니다.
Logstash는 원하는 곳으로 데이터를 라우팅할 수 있는 다양한 출력을 지원하기 때문에 여러 저장소로 데이터를 다운스트림하는 유연성을 확보할 수 있습니다.
Logstash 노드 다운 시, Logstash는 Persistent Queue를 사용하여 현재 처리 중인 이벤트에 최소 1회의 전송을 보장합니다. 성공적으로 처리되지 않은 이벤트는 검증 및 재전송을 위해 Dead Letter Queue로 분류될 수 있습니다. Logstash는 수집량을 유동적으로 처리할 수 있기 때문에 수집 중인 데이터량이 급증하는 경우에도 별도의 외부 큐 프로그램 없이 정상적인 동작이 가능합니다. 아울러, 수집 파이프라인에 대한 완전한 보안 유지가 가능하도록 했습니다.
SignUpCTA
Elastic에서는 Elastic 전문가가 직접 제공하는 기술 마이그레이션 지원부터 애널리스트 교육에 이르기까지 모든 단계에서 도움을 드리고자 합니다.
자세히 보기
이런 회사들이 믿고 애용하고 있습니다
