logstash

데이터 집계, 변환 및 Stash(보관)

Logstash는 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태쉬(Stash)-보관소"로 보냅니다. (여기서는 당연히 Elasticsearch입니다.)
logstash

하나부터 열까지. Logstash의 철저한 해설 지금 보기

New 5.5는much-awaited dead letter queue로 메시지의 내구성을 지속시킵니다. 또한 Grok Debegger 로 grok 패턴을 디버깅 하세요. 더 보기

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET/apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

2000-10-10T13:55:36.000Z.

"GET /apache_pb.gif HTTP/1.0" 200 2326

확장성

입맛에 맞게 파이프라인을 만들고 구성하세요

Logstash에는 200개 이상의 플러그인으로 확장 가능한 플러그인 프레임워크가 있습니다. 다양한 입력, 필터 및 출력을 섞고 조율하여 파이프라인에서 조화를 이루도록 할 수 있습니다.

별도의 애플리케이션으로부터 수집이 필요한가요? 필요한 플러그인이 없나요? Logstash 플러그인을 간단하게 빌드 할 수 있습니다. 플러그인 개발을 위한 뛰어난 API와 플러그인 생성기를 제공해 드리므로 고유한 플러그인을 생성하고 공유하실 수 있습니다.

안정성

신뢰할 수 있는 파이프라인 제공

Logstash 노드가 다운되면 Logstash는 Persistent Queue를 사용하여 처리중인 이벤트에 대한 최소한 1회의 전송을 보장합니다. 성공적으로 처리되지 않은 이벤트는 검증 및 재전송을 위해 dead letter queue로 분류 될 수 있습니다. Logstash는 유동적으로 수집량 처리가 가능하여 수집중인 데이터량이 급증하였을 때도 별도의 외부 큐 프로그램 없이 정상적인 동작이 가능합니다.

MONITORING

배포 시스템에 대한 완벽한 가시성을 확보합니다

Logstash 파이프라인은 보통 다양한 목적으로 쓰이며 복잡해 질 수 있어, 파이프라인 성능, 가용성 그리고 병목현상에 대한 깊은 이해가 필요합니다. X-Pack의 Monitoring 기능을 통해 작동중인 Logstash 노드와 배포 시스템 전체를 쉽게 관찰하고 모니터링 할 수 있습니다.

Logstash Monitoring Dashboard

SECURITY

파이프라인의 처음부터 끝까지 보호하세요

실행중인 Logstash 인스턴스가 10개든 1000개든간에, 이제 우리는 수집 파이프라인을 완벽하게 보호할 수 있습니다. Beats로 수집되어 네트워크를 통해 들어오는 데이터는 모두 암호화되며 Elasticsearch 클러스터의 보안 기능과 완전히 통합됩니다.

Logstash로 Stash(저장) 가능한 로그 수를 알아보십시오.

재시작을 반복하며 cron 작업을 작성하거나 종속성을 추적하는 것을 멈추세요. Logstash는 굴레를 최소화하여 빠르게 시작 가능하므로 이벤트 스트림과 속도가 맞는 파이프라인을 배포할 수 있습니다.

다운로드

무료 사용이 가능한 오픈 소스입니다.