icon

Logstash

The Elastic Stack

데이터 집계, 변환, 저장

오픈소스 서버의 데이터 처리 파이프라인인 Logstash는 다양한 소스에서 동시에 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다. (여기서 말하는 저장소는 당연히 Elasticsearch입니다.)

Logstash
하나부터 열까지. 친절한 Logstash 해설.   동영상 보기
신규 기능자바 실행 엔진(Java Execution Engine)이 이제 공식 기능으로 제공됩니다. 아울러, 확장된 조회 기능인 Memcached와 HTTP 필터 플러그인도 확인해 보세요. 더 읽기

입력

모든 소스, 사이즈, 형태의 데이터 수집

데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많습니다. Logstash는 다양한 입력 지원을 통해 여러 가지 공통 소스에서 이벤트를 동시에 가져오며. 모든 로그와 메트릭, 웹 애플리케이션, 데이터 저장소, 다양한 AWS 서비스를 연속 스트리밍 형태로 간편하게 수집합니다.

입력

모든 소스, 사이즈, 형태의 데이터 수집

데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많습니다. Logstash는 다양한 입력 지원을 통해 여러 가지 공통 소스에서 이벤트를 동시에 가져오며. 모든 로그와 메트릭, 웹 애플리케이션, 데이터 저장소, 다양한 AWS 서비스를 연속 스트리밍 형태로 간편하게 수집합니다.

필터

데이터 이동 과정에서의 구문 분석 및 변환

5.10.83.30
user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET/apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

2000-10-10T13:55:36.000Z.

"GET /apache_pb.gif HTTP/1.0" 200 2326

Logstash 필터는 데이터가 소스에서 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합하여 분석을 보다 빠르고 용이하게 만드는 동시에 비즈니스 가치를 높여줍니다.

  • grok을 통해 비정형 데이터에서 구조 도출
  • IP 주소에서 위치 좌표 해독
  • PII 데이터의 익명화, 민감한 정보 필드 완전 제외
  • 데이터 소스나 형태, 스키마의 용이한 처리

Logstash의 광범위한 필터 라이브러리는 무한한 활용 가능성을 지니고 있습니다.

필터

데이터 이동 과정에서의 구문 분석 및 변환

Logstash 필터는 데이터가 소스에서 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합하여 분석을 보다 빠르고 용이하게 만드는 동시에 비즈니스 가치를 높여줍니다.

  • grok을 통해 비정형 데이터에서 구조 도출
  • IP 주소에서 위치 좌표 해독
  • PII 데이터의 익명화, 민감한 정보 필드 완전 제외
  • 데이터 소스나 형태, 스키마의 용이한 처리

Logstash의 광범위한 필터 라이브러리는 무한한 활용 가능성을 지니고 있습니다.

출력

저장소를 선택하여 데이터 전송

Elasticsearch는 검색과 분석의 새로운 세계를 열어주는 시스템이지만, 그것만이 유일한 선택지는 아닙니다.

Logstash는 원하는 곳으로 데이터를 라우팅할 수 있는 다양한 출력을 지원하기 때문에 여러 저장소로 데이터를 다운스트림하는 유연성을 확보할 수 있습니다. 가능한 다른 저장소 살펴보기

출력

저장소를 선택하여 데이터 전송

Elasticsearch는 검색과 분석의 새로운 세계를 열어주는 시스템이지만, 그것만이 유일한 선택지는 아닙니다.

Logstash는 원하는 곳으로 데이터를 라우팅할 수 있는 다양한 출력을 지원하기 때문에 여러 저장소로 데이터를 다운스트림하는 유연성을 확보할 수 있습니다. 가능한 다른 저장소 살펴보기

별도의 설정이 필요 없는 시스템

Elastic Stack으로 더욱 빠르게 인사이트를 확보하세요

Logstash 모듈은 ArcSight, Netflow 와 같이 널리 사용되는 데이터 소스를 수집부터 시각화까지 총괄하여 구성할 수 있도록 지원합니다. 데이터 수집 파이프라인과 복잡한 대시보드까지 한번에 배포할 수 있어 몇 분만에 데이터 탐색을 시작할 수 있습니다.

확장성

원하는 대로 파이프라인을 만들고 구성하세요

Logstash에는 플러그인으로 확장 가능한 200개 이상의 플러그인 프레임워크가 포함되어 있으며, 다양한 입력과 필터, 출력을 자유롭게 조절할 수 있습니다.

별도의 애플리케이션으로부터 데이터 수집이 필요하신가요? 데이터 수집에 필요한 플러그인을 찾지 못하셨나요? Logstash 플러그인은 누구나 간단하게 구축할 수 있습니다. Logstash가 지원하는 플러그인 개발용 API와 플러그인 생성기로 고유한 플러그인을 생성하고 공유해 보세요.

안정성 및 보안성

Logstash는 언제나 신뢰할 수 있는 파이프라인을 제공합니다

Logstash 노드 다운 시, Logstash는 Persistent Queue를 사용하여 현재 처리 중인 이벤트에 최소 1회의 전송을 보장합니다. 성공적으로 처리되지 않은 이벤트는 검증 및 재전송을 위해 Dead Letter Queue로 분류될 수 있습니다. Logstash는 수집량을 유동적으로 처리할 수 있기 때문에 수집 중인 데이터량이 급증하는 경우에도 별도의 외부 큐 프로그램 없이 정상적인 동작이 가능합니다.

Logstash 인스턴스의 실행 개수에 관계없이 데이터 수집 파이프라인을 완벽하게 보호할 수 있습니다. 다른 입력과 함께 Beats로 데이터를 수집하는 경우 데이터 암호화가 가능하며, Elasticsearch 보안 클러스터와 완전히 통합할 수 있습니다.

모니터링

배포 시스템에 대한 완벽한 가시성을 확보합니다

Logstash 파이프라인은 종종 다양한 목적으로 활용되며 금세 복잡해지기 때문에 파이프라인의 성능과 가용성, 병목현상의 파악이 어려울 수 있습니다. 하지만 Monitoring의 파이프라인 탐색기를 활용하면 실행 중인 Logstash 노드를 손쉽게 파악하고 배포할 수 있습니다.

관리 및 조율

단일 UI로 전체 배포를 통합 관리합니다

하나의 파이프라인 관리 UI를 통해 Logstash 배포를 통합적으로 관리하고 조율하거나 실행할 수 있습니다. Logstash 관리 도구는 의도치 않은 연결을 방지하기 위해 Security 확장 기능과 완벽하게 연동됩니다.