Logstash 소개편집

Logstash는 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다. Logstash는 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있습니다. 다양한 고급 다운스트림 분석 및 시각화 활용 사례를 위해 모든 데이터를 정리하고 대중화(democratization)합니다.

Logstash는 근본적으로 로그 수집의 혁신을 주도해 왔으며 그 기능은 이러한 활용 사례 이외의 영역으로 확장되고 있습니다. 어떤 유형의 이벤트도 다양한 입력, 필터, 출력 플러그인을 통해 강화하고 전환할 수 있으며 기본 제공되는 여러 코덱으로 수집(ingestion) 프로세스를 한층 더 간소화할 수 있습니다. Logstash로 더 방대하고 다양한 데이터를 활용함으로써 더 신속하게 인사이트를 개발할 수 있습니다.

Logstash의 강점편집

Elasticsearch 등을 위한 강력한 수집 기능

뛰어난 Elasticsearch 및 Kibana 시너지 효과를 발휘하는, 수평 확장이 가능한 데이터 처리 파이프라인

플러그형 파이프라인 아키텍처

다양한 입력, 필터, 출력을 믹스매치하고 조정하면서 파이프라인에서 조화롭게 운용

커뮤니티에서 확장 가능하고 개발자에게 편리한 플러그인 에코시스템

200여 개 플러그인 사용 가능, 또한 직접 플러그인을 만들어 제공할 수 있는 유연성

static/images/logstash.png

데이터의 가치를 높이는 Logstash편집

더 많은 데이터를 수집하여 지식을 확장할 수 있습니다. Logstash는 모든 형태 및 규모의 데이터를 환영합니다.

로그와 메트릭편집

모든 것의 출발점입니다.

  • 모든 유형의 로깅 데이터 처리

    • 다양한 웹 로그(예: Apache) 및 애플리케이션 로그(예: log4j for Java)를 손쉽게 수집
    • syslog, Windows 이벤트 로그, 네트워킹 및 방화벽 로그 등 다른 여러 로그 형식도 수집
  • Filebeat 와 연계하여 보충적인 보안 로그 전달 기능 활용 * Ganglia, collectd, NetFlow, JMX, 기타 여러 인프라 및 애플리케이션 플랫폼의 메트릭을 TCPUDP를 통해 수집

편집

월드 와이드 웹의 진정한 효용성을 실현합니다.

  • HTTP 요청을 이벤트로 변환

    • 소셜 정서 분석을 위해 Twitter와 같은 웹 서비스 파이어호스 활용
    • GitHub, HipChat, JIRA, 기타 많은 애플리케이션을 위한 웹후크 지원
    • 다양한 Watcher알림 활용 사례 지원
  • 필요에 따라 HTTP 엔드포인트 폴링으로 이벤트 생성

    • 보편적으로 웹 애플리케이션 인터페이스로부터 상태, 성능, 메트릭, 기타 데이터 유형 수집
    • 수신보다 폴링 제어를 선호하는 시나리오에 안성맞춤

데이터 저장소와 스트림편집

이미 보유한 데이터에서 더 큰 가치를 발굴할 수 있습니다.

  • JDBC 인터페이스를 통해 관련 데이터베이스 또는 NoSQL 저장소의 데이터를 더 정확히 이해
  • Apache Kafka, RabbitMQ, Amazon SQS, ZeroMQ 와 같은 메시징 큐가 제공하는 각종 데이터 스트림 통합

센서와 IoT편집

다른 데이터를 폭넓게 탐색합니다.

  • 이 기술 발전의 시대에 거대한 IoT 세상은 연결된 센서로부터 데이터를 수집하고 이용하는 무궁무진한 활용 사례를 내놓고 있습니다.
  • Logstash는 모바일 디바이스, 지능형 홈, 커넥티드 자동차, 의료 센서, 기타 다양한 산업용 애플리케이션에서 제공하는 데이터를 수집하는 공통 이벤트 수집 백본입니다.

손쉽게 모든 요소 강화편집

양질의 데이터로부터 양질의 지식을 얻을 수 있습니다. 색인 또는 출력 시점에 거의 실시간으로 인사이트를 확보할 수 있도록 수집 과정에 데이터를 정리하고 변환합니다. Logstash에서는 패턴 일치, 지리적 맵핑, 동적 조회 기능과 함께 여러 집계 및 변이 기능을 즉시 사용할 수 있습니다.

  • Grok은 Logstash 필터의 가장 기본적인 요소로서 비정형 데이터로부터 구조를 도출하는 데 광범위하게 사용됩니다. 웹, 시스템, 네트워킹, 기타 유형의 이벤트 형식을 신속하게 확인할 수 있도록 제공된 여러 통합형 패턴을 활용하십시오.
  • IP 주소에서 지리 좌표를 판독하고 날짜 복잡성을 정규화하고 키-값 쌍CSV 데이터를 간소화하고 민감한 정보를 익명 처리하고 로컬 조회 또는 Elasticsearch 쿼리로 데이터를 한층 더 강화함으로써 영역을 확장할 수 있습니다.
  • 코덱은 대개 JSONmultiline 이벤트와 같은 일반적인 이벤트 구조를 손쉽게 처리하는 데 사용됩니다.

보관(Stash) 선택편집

데이터가 가장 중요해질 때 데이터를 라우팅합니다. 데이터를 저장, 분석하고 그에 대한 작업을 수행하여 각종 다운스트림 분석 및 운영 활용 사례에서 최고의 효과를 거둡니다.

분석

아카이빙

모니터링

알림