Logstash 소개edit
Logstash는 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다. Logstash는 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있습니다. 다양한 고급 다운스트림 분석 및 시각화 활용 사례를 위해 모든 데이터를 정리하고 대중화(democratization)합니다.
Logstash는 근본적으로 로그 수집의 혁신을 주도해 왔으며 그 기능은 이러한 활용 사례 이외의 영역으로 확장되고 있습니다. 어떤 유형의 이벤트도 다양한 입력, 필터, 출력 플러그인을 통해 강화하고 전환할 수 있으며 기본 제공되는 여러 코덱으로 수집(ingestion) 프로세스를 한층 더 간소화할 수 있습니다. Logstash로 더 방대하고 다양한 데이터를 활용함으로써 더 신속하게 인사이트를 개발할 수 있습니다.
Logstash의 강점edit
Elasticsearch 등을 위한 강력한 수집 기능
뛰어난 Elasticsearch 및 Kibana 시너지 효과를 발휘하는, 수평 확장이 가능한 데이터 처리 파이프라인
플러그형 파이프라인 아키텍처
다양한 입력, 필터, 출력을 믹스매치하고 조정하면서 파이프라인에서 조화롭게 운용
커뮤니티에서 확장 가능하고 개발자에게 편리한 플러그인 에코시스템
200여 개 플러그인 사용 가능, 또한 직접 플러그인을 만들어 제공할 수 있는 유연성
데이터의 가치를 높이는 Logstashedit
더 많은 데이터를 수집하여 지식을 확장할 수 있습니다. Logstash는 모든 형태 및 규모의 데이터를 환영합니다.
로그와 메트릭edit
모든 것의 출발점입니다.
웹edit
월드 와이드 웹의 진정한 효용성을 실현합니다.
-
HTTP 요청을 이벤트로 변환
-
필요에 따라 HTTP 엔드포인트 폴링으로 이벤트 생성
- 보편적으로 웹 애플리케이션 인터페이스로부터 상태, 성능, 메트릭, 기타 데이터 유형 수집
- 수신보다 폴링 제어를 선호하는 시나리오에 안성맞춤
데이터 저장소와 스트림edit
이미 보유한 데이터에서 더 큰 가치를 발굴할 수 있습니다.
다른 데이터를 폭넓게 탐색합니다.
- 이 기술 발전의 시대에 거대한 IoT 세상은 연결된 센서로부터 데이터를 수집하고 이용하는 무궁무진한 활용 사례를 내놓고 있습니다.
- Logstash는 모바일 디바이스, 지능형 홈, 커넥티드 자동차, 의료 센서, 기타 다양한 산업용 애플리케이션에서 제공하는 데이터를 수집하는 공통 이벤트 수집 백본입니다.
손쉽게 모든 요소 강화edit
양질의 데이터로부터 양질의 지식을 얻을 수 있습니다. 색인 또는 출력 시점에 거의 실시간으로 인사이트를 확보할 수 있도록 수집 과정에 데이터를 정리하고 변환합니다. Logstash에서는 패턴 일치, 지리적 맵핑, 동적 조회 기능과 함께 여러 집계 및 변이 기능을 즉시 사용할 수 있습니다.
- Grok은 Logstash 필터의 가장 기본적인 요소로서 비정형 데이터로부터 구조를 도출하는 데 광범위하게 사용됩니다. 웹, 시스템, 네트워킹, 기타 유형의 이벤트 형식을 신속하게 확인할 수 있도록 제공된 여러 통합형 패턴을 활용하십시오.
- IP 주소에서 지리 좌표를 판독하고 날짜 복잡성을 정규화하고 키-값 쌍 및 CSV 데이터를 간소화하고 민감한 정보를 익명 처리하고 로컬 조회 또는 Elasticsearch 쿼리로 데이터를 한층 더 강화함으로써 영역을 확장할 수 있습니다.
- 코덱은 대개 JSON 및 multiline 이벤트와 같은 일반적인 이벤트 구조를 손쉽게 처리하는 데 사용됩니다.
보관(Stash) 선택edit
데이터가 가장 중요해질 때 데이터를 라우팅합니다. 데이터를 저장, 분석하고 그에 대한 작업을 수행하여 각종 다운스트림 분석 및 운영 활용 사례에서 최고의 효과를 거둡니다.