Elastic Stack 기능

Linux 감사 프레임워크 데이터를 수집하고 파일 무결성을 모니터링하세요. Auditbeat은 이러한 이벤트를 Elastic Stack에 실시간으로 전송하여 추가적인 분석이 가능하도록 지원합니다.

Filebeat와 Metricbeat는 NGINX, Apache, HAProxy, IIS 등을 위한 모듈과 미리 구성된 대시보드 등 웹 서버와 프록시 서버를 모니터링하는 다양한 방법을 제공합니다.

Filebeat와 Metricbeat에는 데이터 저장 공간, 데이터베이스, 그리고 MySQL, MongoDB, PostgreSQL, Microsoft SQL 같은 대기 시스템으로부터 일반적인 로그 형식과 시스템 메트릭의 수집, 구문 분석, 시각화를 간소화하는 내부 모듈이 포함됩니다.

단일 창에서 Amazon Web Services, Google Cloud 및 Microsoft Azure의 광범위한 클라우드 서비스에 걸쳐 성능과 가용성을 추적하여 규모에 맞는 효율적인 분석을 수행할 수 있습니다. 또한 Functionbeat로 Kinesis, SQS, CloudWatch 로그 등 서버리스 클라우드 아키텍처를 간단하게 관측할 수 있습니다.

애플리케이션 로그를 모니터링하고 Kubernetes 메트릭과 이벤트를 지켜보고 Docker 컨테이너의 성능을 분석하세요. 인프라 운영을 위해 기본 제공되는 앱에서 이 모든 것을 통해 시각화하고 검색하세요.

HTTP, DNS, SIP 같은 네트워크 정보부터 애플리케이션 지연 시간 및 오류, 응답 시간, SLA 성능, 사용자 액세스 패턴 및 추이 등을 확인하세요. 이러한 데이터를 탭하여 네트워크 트래픽의 흐름이 어떤지 파악할 수 있습니다.

보안 위협을 감지하는 작업에서 가장 명심해야 할 사실은 위협이 언제 어디서나 발생할 수 있다는 것입니다. 따라서 환경 전반에 걸쳐 일어나고 있는 일을 실시간으로 파악하는 것이 중요합니다. Agent와 Beats는 보안 데이터의 수많은 상업 및 OSS 소스를 수집하여 대규모의 모니터링 및 탐지를 가능하게 합니다.

동일한 호스트나 오픈 웹 등 테스트 위치와 관계없이 Heartbeat를 통해 가동 시간과 반응 시간 데이터를 손쉽게 생성할 수 있습니다.

파일 데이터 시각화 도우미로, CSV, NDJSON 또는 로그 파일을 Elasticsearch 인덱스로 업로드할 수 있습니다. 파일 데이터 시각화 도우미는 파일 구조 API를 사용해 파일 형식과 필드 매핑을 파악합니다. 그 후, 데이터를 인덱스로 가져오도록 선택할 수 있습니다.

실제 문서 색인이 발생하기 전에 수집 노드를 사용해 문서를 전처리합니다. 수집 노드는 대량 요청과 인덱스 요청을 가로채서 변환을 적용한 다음, 문서를 인덱스나 대량 API로 다시 보냅니다. 수집 노드는 append, convert, date, dissect, drop, fail, grok, join, remove, set, split, sort, trim 등 25개 이상의 여러 다른 프로세서를 제공합니다.

분석은 검색을 위한 역 인덱스에 추가되는 토큰이나 용어로 이메일 본문과 같은 텍스트를 변환하는 프로세스입니다. 분석은 분석기에 의해 수행됩니다. 이 분석기는 기본 분석기일 수도 있고, 토크나이저와 필터 조합을 사용해 인덱스별로 정의된 사용자 정의 분석기일 수도 있습니다.

토크나이저는 캐릭터 스트림을 받아, 이를 개별 토큰들(보통은 개별 단어들)로 분할하여, 토큰 스트림으로 내보냅니다. 토크나이저는 또한 (구문과 단어 근접 연결 쿼리에 사용되는) 각 용어의 순서나 위치, 그리고 (검색 조각 강조 표시에 사용되는) 그 용어가 나타내는 원래 단어의 시작과 끝 캐릭터 오프셋을 기록할 책임을 담당합니다. Elasticsearch는 사용자 정의 분석기를 구축하는 데 사용할 수 있는 수많은 기본 토크나이저를 갖추고 있습니다.

토큰 필터는 토크나이저로부터 토큰 스트림을 받아들여 토큰을 수정하거나(소문자로 변경 등), 토큰을 삭제하거나(중지 단어 삭제 등), 토큰을 추가(유의어 등)할 수 있습니다. Elasticsearch는 사용자 정의 분석기를 구축하는 데 사용할 수 있는 수많은 기본 토큰 필터를 갖추고 있습니다.

모국어로 검색하세요. Elasticsearch는 30개 이상의 다른 언어 분석기를 제공하며, 여기에는 러시아어, 아랍어, 중국어 같은 비라틴 문자를 사용하는 수많은 언어가 포함됩니다.

Grok 패턴은 재사용될 수 있는 별칭이 지정된 식을 지원하는 정규식 같은 것입니다. Grok을 사용하여 문서 내의 단일 텍스트 필드로부터 구조화된 필드를 검색합니다. 이 도구는 syslog logs, Apache 같은 웹 서버 로그, MySQL logs, 그리고 일반적으로 컴퓨터보다는 인간이 사용하도록 작성되는 모든 로그 형식에 이상적입니다.

데이터 피드를 사용하는 경우, 데이터가 분석되기 전에 스크립트를 추가하여 데이터를 변환할 수 있습니다. 데이터 피드는 선택적인 script_fields 속성을 포함하며, 여기에서 사용자 정의 식을 평가하는 스크립트를 지정하고 스크립트 필드를 반환할 수 있습니다. 이 기능을 사용해 다양한 변환을 수행할 수 있습니다.

Logstash 외부 조회 플러그인으로 수집되는 로그 데이터를 강화하세요. 로그 줄을 손쉽게 보완하여 클라이언트 IP 위치, DNS 조회 결과, 그리고 인접한 로그 줄의 데이터까지 포함하는 정보로 더 많은 컨텍스트를 제공합니다. Logstash는 다양한 조회 플러그인 중에 선택할 수 있습니다.

매칭 Enrich 프로세서는 사용자가 수집 시에 데이터를 찾을 수 있게 해주며 보강된 데이터를 가져올 최적화된 인덱스를 표시합니다. 이것은 Beats에서 Logstash로 피봇팅하기 보다는 데이터에 몇 가지 요소를 추가해야 하는 Beats 사용자를 도와줍니다. 따라서 사용자는 수집 파이프라인을 직접 확인할 수 있습니다. 사용자는 또한 보다 나은 분석과 보다 일반적인 쿼리를 위해 프로세서로 데이터를 정규화할 수 있게 됩니다.

위치 정보 매칭 Enrich 프로세서는 위치 정보 좌표 용어로 쿼리나 집계를 정의할 필요 없이 위치 정보 데이터를 활용함으로써 사용자가 검색과 집계 기능을 개선할 수 있게 해주는 유용하고 실용적인 방법입니다. 매칭 Enrich 프로세서와 비슷하게, 사용자는 수집 시에 데이터를 찾고, 보강된 데이터를 가져올 최적화된 인덱스를 발견할 수 있습니다.

Elasticsearch는 표준 RESTful API와 JSON을 사용하며 자바, Python, .NET, SQL, PHP 같은 다양한 언어로 클라이언트를 구축하고 유지관리합니다. 또한 우리 커뮤니티는 훨씬 많은 것을 기여해 왔습니다. 이러한 클라이언트는 사용하기 간편하며 Elasticsearch처럼 사용자가 수행하는 작업에 제한이 없습니다.

Elasticsearch는 다양한 노드 유형을 제공하는데, 그 중 하나는 특별히 데이터 수집을 위한 것입니다. 수집 노드는 하나 이상의 수집 프로세서로 구성되는, 미리 처리된 파이프라인을 실행할 수 있습니다. 수집 프로세서와 필요한 리소스가 수행하는 작업 유형에 따라, 이 특정 작업만 수행하게 되는 전용 수집 노드를 갖는 것이 합리적일 수 있습니다.

Elastic Agent는 호스트나 컨테이너에 배포하여 데이터를 수집하고 Elastic Stack으로 전송할 수 있는 단일 통합 에이전트입니다. 이 에이전트를 사용하여 로그, 메트릭 및 기타 데이터 유형에 대한 모니터링을 각 호스트에 추가할 수 있습니다. Elastic Agent 제어 호스트는 Endpoint Security 통합을 사용하여 호스트의 보안 관련 이벤트를 모니터링하고 보호를 제공할 수 있으며, Kibana의 Elastic Security 앱을 통해 보안 데이터를 조사할 수 있습니다.

Beats는 Elasticsearch나 Logstash로 작업 데이터를 보내기 위해 서버에 에이전트로 설치하는 오픈 소스 데이터 수집기입니다. Elastic은 다양한 일반 로그, 메트릭 및 그 밖에 다양한 데이터 유형을 캡처하기 위해 Beats를 제공합니다.

해결할 특정 사용 사례가 있는 경우, 커뮤니티 Beat를 생성할 것을 권장합니다. 프로세스를 간소화하기 위해 인프라를 생성했습니다. Go에서 모두 작성되면, libbeat 라이브러리는 모든 Beats가 데이터를 Elasticsearch로 전송하고, 입력 옵션을 구성하며, 로깅을 구현하는 등에 사용하는 API를 제공합니다.

Logstash는 실시간 파이프라인 역량을 갖춘 오픈 소스 데이터 수집 엔진입니다. Logstash는 서로 다른 소스의 데이터를 통합하여 데이터를 사용자가 선택하는 대상 위치로 정규화합니다. 다양한 고급 다운스트림 분석과 시각화 사용 사례를 위해 모든 데이터를 정리하고 자유롭게 이용하세요.

사용자는 Logstash에 자신만의 입력, 코덱, 필터 또는 출력 플러그인을 추가할 수 있습니다. 플러그인은 Logstash 핵심과 독립적으로 개발 및 배포될 수 있습니다. 그리고 Logstash에서 사용할 수 있도록 자신만의 자바 플러그인을 작성할 수 있습니다.

Apache Hadoop용 Elasticsearch(Elasticsearch-Hadoop 또는 ES-Hadoop)는 무료 개방형이자 자체적으로 포함된 독립 실행형 소규모 라이브러리로서, Hadoop 작업이 Elasticsearch와 상호작용할 수 있게 해줍니다. ES-Hadoop을 사용해 동적 임베디드 검색 애플리케이션을 손쉽게 구축하고, 풀텍스트 검색과 위치 정보 쿼리, 집계를 통해 보다 깊이 있고 지연 시간이 짧은 Hadoop 데이터 분석을 실시할 수 있습니다.

무료 개방형이며 언어에 구애받지 않는 애플리케이션으로서, 플러그인과 통합을 통해 Elasticsearch의 기능을 손쉽게 확장할 수 있습니다. 플러그인은 핵심 Elasticsearch 기능을 사용자 정의 방식으로 향상하는 방법이며, 통합은 한결 손쉽게 Elasticsearch를 가지고 작업할 수 있게 해주는 외부 도구 또는 모듈입니다.

Fleet은 인기 있는 서비스와 플랫폼의 통합을 추가하고 관리할 수 있는 웹 기반 UI를 Kibana에 제공하고 Elastic Agent 제품군을 관리합니다. Elastic의 통합을 통해 새로운 데이터 소스를 쉽게 추가할 수 있을 뿐만 아니라 대시보드, 시각화 및 파이프라인과 같은 즉시 사용 가능한 자산과 함께 전송하여 로그에서 구조화된 필드를 추출할 수 있습니다.

Kibana의 파이프라인 관리 UI에서 여러 Logstash 인스턴스를 관리하세요. Logstash 사이드에서, Logstash 구성 관리를 활성화하고 등록하여 중앙 집중식으로 관리되는 파이프라인 구성을 이용하세요.

Elasticsearch는 문서의 필드를 위한 많은 다른 데이터 유형을 지원하며, 그러한 각 데이터 유형은 그 자체의 여러 하위 유형을 제공합니다. 이를 통해 데이터와 상관없이 가능한 가장 효율적이고 효과적인 방법으로 데이터를 저장, 분석 ,활용할 수 있습니다. Elasticsearch가 최적화된 데이터 유형 몇 가지를 소개하면 다음과 같습니다.

Elasticsearch는 역 인덱스라고 하는 구조를 사용하는데, 이것은 아주 빠른 풀텍스트 검색을 할 수 있도록 설계된 것입니다. 역 인덱스는 문서에서 나타나는 모든 고유 단어 목록과 각 단어에 대해, 그 단어가 나타나는 문서 목록으로 구성됩니다. 역 인덱스를 만들려면, 먼저 각 문서의 콘텐츠 필드를 개별 단어(우리가 용어 또는 토큰이라고 부르는)로 분할하고, 모든 고유 용어의 분류된 목록을 만든 다음, 각 용어가 나타나는 문서 목록을 만듭니다.

Elasticsearch는 수집 또는 분석되기 위해 데이터가 (구조화되면 속도가 개선되기는 하지만) 구조화되어야 할 것을 요구하지 않습니다. 이러한 디자인은 간단하게 시작할 수 있지만, 아울러 Elasticsearch가 효과적인 문서 저장소가 되도록 해줍니다. Elasticsearch가 NoSQL 데이터베이스는 아니지만, 그래도 유사한 기능을 제공합니다.

역 인덱스는 쿼리가 검색 용어를 신속하게 조회할 수 있게 해주지만, 정렬 및 집계에는 다른 데이터 액세스 패턴이 필요합니다. 용어를 조회하고 문서를 찾아내는 대신, 필드에서 가지고 있는 문서를 조회하고 용어를 찾아낼 수 있어야 합니다. doc values는 Elasticsearch의 디스크에 있는 데이터 구조이며, 문서 색인 시에 구축됩니다. 이것은 이 데이터가 가능한 패턴에 액세스할 수 있게 하여, 열 형식으로 검색이 발생할 수 있게 해줍니다. 이로써 Elasticsearch는 시계열 및 메트릭 분석에 뛰어나게 됩니다.

Elasticsearch는 Lucene 내에서 BKD 트리 구조를 사용하여 위치 기반 정보 데이터를 저장합니다. 이렇게 하면 geo-points(위도와 경도) 및geo-shapes(사각형과 다각형) 양쪽 모두를 효율적으로 분석할 수 있습니다.

Elastic Stack이 휴면 암호화를 기본으로 구현하지는 않지만, 모든 호스트 컴퓨터에서 디스크 수준의 암호화를 구성할 것을 권장합니다. 아울러, 스냅샷 대상 또한 데이터가 휴면 암호화되는지 확인해야 합니다.

필드 수준 보안은 사용자가 읽기 액세스 권한을 갖는 필드를 제한합니다. 특히, 문서 수준 읽기 API에서 액세스할 수 있는 필드가 어느 것인지를 제한합니다.

클러스터는 하나 이상의 노드(서버)의 모음으로, 이것들이 합쳐져 함께 사용자의 데이터를 유지하고, 모든 노드에 걸쳐 연결된 색인 및 검색 기능을 제공합니다. 이 아키텍처는 수평적으로 쉽게 확장할 수 있게 해줍니다. Elasticsearch는 사용자가 클러스터를 관리하는 데 사용할 수 있는 종합적이고 강력한 REST API 및 UI를 제공합니다.

스냅샷은 Elasticsearch 클러스터 실행에서 얻어지는 백업입니다. 개별 인덱스나 전체 클러스터의 스냅샷을 찍어서 공유 파일 시스템의 리포지토리에 저장할 수 있습니다. 원격 리포지토리도 지원하는 플러그인이 제공됩니다.

소스 리포지토리는 사용자가 디스크 공간을 최대 50% 적게 차지하는 최소한의 소스만 스냅샷을 찍을 수 있게 해줍니다. 소스만 스냅샷에는 저장된 필드와 인덱스 메타데이터가 포함됩니다. 인덱스나 doc values 구조는 포함되지 않으며, 복구되면 검색이 불가능합니다.

분석을 위해 과거 데이터를 유지하는 것은 극히 유용합니다. 그러나 막대한 양의 데이터를 보관하는 데 드는 경제적인 비용으로 인해 과거 데이터를 유지하지 못하는 경우가 자주 있습니다. 따라서 보존 기간은 방대한 과거 데이터의 유용성보다는 경제적인 현실에 따라 달라지게 됩니다. 롤업 기능은 과거 데이터를 요약하고 저장하는 수단을 제공함으로써, 원시 데이터 저장 비용의 극히 일부만으로도 분석을 위해 사용할 수 있게 해줍니다.

Elasticsearch는 역 인덱스라고 하는 구조를 사용하는데, 이것은 아주 빠른 풀텍스트 검색을 할 수 있도록 설계된 것입니다. 역 인덱스는 문서에서 나타나는 모든 고유 단어 목록과 각 단어에 대해, 그 단어가 나타나는 문서 목록으로 구성됩니다. 역 인덱스를 만들려면, 먼저 각 문서의 콘텐츠 필드를 개별 단어(우리가 용어 또는 토큰이라고 부르는)로 분할하고, 모든 고유 용어의 분류된 목록을 만든 다음, 각 용어가 나타나는 문서 목록을 만듭니다.

런타임 필드는 쿼리 시간(읽기 스키마)에 평가되는 필드입니다. 런타임 필드는 문서가 색인된 후를 비롯하여 언제든지 도입하거나 수정할 수 있으며 쿼리의 일부로 정의할 수 있습니다. 런타임 필드는 색인된 필드와 동일한 인터페이스를 가진 쿼리에 노출되므로 필드는 데이터 스트림의 일부 인덱스에 있는 런타임 필드 및 해당 데이터 스트림의 다른 인덱스에 있는 색인된 필드일 수 있으며 쿼리는 이를 인식할 필요가 없습니다. 색인된 필드는 최적의 쿼리 성능을 제공하지만, 런타임 필드는 문서가 색인된 후 데이터 구조를 변경할 수 있는 유연성을 제공하여 이를 보완합니다.

런타임 필드 조회를 사용하면 문서를 링크하는 두 인덱스에서 키를 정의하여 룩업 인덱스의 정보를 기본 인덱스의 결과에 유연하게 추가할 수 있습니다. 런타임 필드와 마찬가지로, 이 기능은 쿼리 시에 유연한 데이터 강화를 제공하는 데 사용됩니다.

클러스터 간 검색(CCS) 기능은 모든 노드가 여러 클러스터에 걸쳐 연결된 클라이언트로 기능할 수 있게 해줍니다. 클러스터 간 검색 노드는 원격 클러스터에 합류하는 대신, 연결된 검색 요청을 실행하기 위해 가벼운 방식으로 원격 클러스터에 접속합니다.

유사성(정확도 점수/순위 모델)은 일치하는 문서들이 어떻게 점수가 매겨지는지를 정의합니다. 기본 설정으로 Elasticsearch는 BM25 유사성 — 짧은 필드에 대해 최적화된 기본 tf 정규화를 갖춘 고급 TF/IDF-기반 유사성 —을 갖지만 수많은 다른 유사성 옵션이 제공됩니다.

HNSW 알고리즘에 기반한 Lucene 9의 새로운 최근접 유사 항목(ANN) 지원을 바탕으로, 새로운 _knn_search API 엔드포인트는 벡터 유사성을 통해 보다 확장성이 좋고 성능이 뛰어난 검색이 용이하도록 해줍니다. 이는 재현율과 성능 간의 절충을 통해 가능합니다. 즉, (기존의 브루트 포스 벡터 유사성 방법에 비해) 재현율 측면에서 약간의 절충을 함으로써 매우 큰 데이터 세트에서 훨씬 더 나은 성능이 가능해집니다.

풀텍스트 검색에는 강력한 쿼리 언어가 필요합니다. Elasticsearch는 쿼리를 정의하기 위해 JSON에 기반한 전체 쿼리 DSL(도메인 특정 언어)를 제공합니다. 용어와 구문에 일치하는 간단한 쿼리를 만들거나 여러 쿼리를 결합할 수 있는 복합 쿼리를 개발합니다. 아울러, 쿼리 시에 필터를 적용하여, 정확도 점수를 부여받기 전에 문서를 제거할 수 있습니다.

비동기 검색 API를 사용하면 오래 실행되는 쿼리를 백그라운드에서 실행하고 쿼리 진행 상황을 추적하며 검색 결과가 이용 가능해지면 부분적인 결과를 검색할 수 있습니다.

하이라이터는 검색 결과에서 하나 이상의 필드로부터 강조 표시된 코드 조각을 얻을 수 있게 해주며 따라서 쿼리 일치가 어디에 있는지를 사용자에게 보여줄 수 있습니다. 강조 표시를 요청할 때, 응답에는 강조 표시된 필드와 강조 표시된 조각을 포함하는 각 검색 방문마다 추가적인 강조 표시 요소가 포함됩니다.

완성 제안기는 자동 완성/입력 시 검색 기능을 제공합니다. 이것은 사용자가 입력을 하고 있을 때 사용자에게 관련 결과를 안내하여 검색 정밀도를 개선하는 탐색 기능입니다.

용어 제안기는 맞춤법 검사의 루트에 있으며, 편집 거리를 기반으로 용어를 제안합니다. 제공되는 제안 텍스트는 용어가 제안되기 전에 분석됩니다. 제안되는 용어는 분석된 제안 텍스트별로 제공됩니다.

문구 제안기는 엔그램 언어 모델에 기반해 가중치가 적용된 개별 토큰이 아니라 대신 정정된 전체 문구를 선택하는 용어 제안기에 더하여 추가 로직을 구축함으로써 검색에 “다음을 검색하려 하시나요?” 기능을 추가합니다. 실제적으로, 이 제안기는 동시 발생 및 빈도를 기반으로 어느 토큰을 선택할 것인지에 대해 보다 나은 결정을 내릴 수 있게 해줍니다.

퍼컬레이터는 인덱스에 저장된 문서를 찾기 위해 쿼리를 사용하는 표준 검색 모델을 뒤집어, 인덱스에 저장된 쿼리에 문서를 매칭하는 데 사용될 수 있습니다. percolate 쿼리는 저장된 쿼리와 일치시키기 위해 쿼리로 사용되는 문서를 그 자체에 포함합니다.

프로파일 API는 검색 요청에서 개별 구성 요소의 실행에 대한 상세한 타이밍 정보를 제공합니다. 낮은 수준에서 검색 요청이 어떻게 실행되는지에 대한 인사이트를 제공하여, 사용자가 왜 특정 요청은 느린지, 그것을 개선하려면 어떤 단계를 밟아야 하는지 이해할 수 있습니다.

필드 수준 보안 및 문서 수준 보안은 검색 결과를 사용자가 읽기 권한이 있는 것으로만 제한합니다. 특히, 문서 수준 읽기 API에서 액세스할 수 있는 필드 및 문서가 어느것인지를 제한합니다.

쿼리 취소는 불필요한 처리 과부하를 줄임으로써 전체적인 클러스터 영향을 돕는 유용한 Kibana 기능입니다. Elasticsearch 요청의 자동 취소는 사용자가 쿼리를 변경하고 업데이트하거나 브라우저 페이지를 새로 고칠 때 발생하게 됩니다.

집계 프레임워크는 검색 쿼리를 기반으로 집계된 데이터를 제공할 수 있도록 도와줍니다. 이것은 복잡한 데이터 요약을 구축하기 위해 구성될 수 있는 집계라고 하는 간단한 빌딩 블록을 기반으로 합니다. 집계는 문서 세트에 대해 분석적인 정보를 구축하는 작업 단위로 볼 수 있습니다.

그래프 탐색 API는 사용자가 Elasticsearch 인덱스에서 문서와 용어에 대한 정보를 검색하고 요약할 수 있게 해줍니다. 이 API의 행동을 이해하는 가장 좋은 방법은 Kibana의 그래프를 사용해 연결을 탐색하는 것입니다.

임계값 경보를 생성하여 Elasticsearch 인덱스의 데이터가 주어진 시간 간격 내에서 언제 특정 임계값 이상 또는 이하가 되는지를 주기적으로 확인하세요. 경보 기능은 Elasticsearch 쿼리 언어를 충분히 활용하여 관심 있는 데이터의 변경 사항을 식별할 수 있도록 지원합니다.

유추는 일괄 분석으로서뿐만 아니라 지속적인 방식으로도 회귀나 분류 같은 지도 머신 러닝 프로세스를 사용할 수 있게 해줍니다. 유추 덕분에 들어오는 데이터에 대해 훈련된 머신 러닝 모델을 사용하는 것이 가능해집니다.

언어 확인은 텍스트의 언어를 파악하기 위해 사용할 수 있는 훈련된 모델입니다. 유추 프로세서에서 언어 확인 모델을 참조하실 수 있습니다.

Elastic 머신 러닝이 데이터의 정상적인 행동에 대한 기준선을 생성한 후, 사용자는 그 정보를 사용해 미래의 행동을 추론할 수 있습니다. 그리고 나서 특정한 미래의 날짜에 대한 시계열 값 추정을 예측하거나 미래에 발생하는 시계열 값의 개연성 추정을 예측합니다.

Elastic 머신 러닝기능은 데이터에서 정상 동작의 정확한 기준선을 생성하고 해당 데이터의 비정상적인 패턴을 식별함으로써 시계열 데이터 분석을 자동화합니다. 독점 머신 러닝 알고리즘을 사용해 이상 징후가 탐색되고, 영향도가 지정되고, 데이터에서 통계적으로 의미있는 영향력 행사자와 연결됩니다.

비지도 학습 방식의 머신 러닝 기능으로 규칙과 임계값을 정의하기 어려운 변경 사항을 경보 기능과 결합하여 통상적이지 않은 데이터의 이상 행동을 감지합니다. 그리고 나서 알림 프레임워크의 이상 징후 점수를 이용해 문제가 발생하면 알림을 받습니다.

Elastic 머신 러닝 기능을 사용해 “통상적인” 사용자, 머신, 또는 기타 엔터티가 특정 기간에 걸쳐 하는 것의 프로파일을 구축한 다음 이들이 인구에 비해 비정상적으로 행동할 때 이상값을 식별합니다.

애플리케이션 로그 이벤트는 종종 비정형이며 변수 데이터를 포함합니다. Elastic 머신 러닝 기능은 메시지의 정적인 부분을 관측하고, 유사한 메시지들을 함께 묶어 클러스터화하며, 메시지 카테고리로 분류합니다.

Elastic 머신 러닝 기능은 이상 징후가 감지되면 중대한 영향을 받은 속성을 손쉽게 식별할 수 있습니다. 예를 들어 트랜잭션에서 평상시와 다른 하락이 발생한 경우, 잘못된 구성으로 서버 오류나 문제를 일으킨 스위치를 신속하게 식별할 수 있습니다.

데이터 시각화 도우미는 로그 파일이나 기존 인덱스에서 메트릭과 필드를 분석함으로써 Elasticsearch 데이터를 더 잘 이해하고 머신 러닝 분석을 위해 가능한 필드를 더 잘 파악할 수 있도록 도와줍니다.

여러 탐지기로 복잡한 머신 러닝 작업을 만드세요. 다중 메트릭 작업이 데이터 입력 스트림을 분석하고, 그 동작을 모형화하고, 사용자가 작업에서 정의한 두 개의 탐지기를 기반으로 분석을 수행한 후에, 이상 징후 탐색기를 사용해 그 결과를 볼 수 있습니다.

비지도 이상값 탐색은 네 개의 다른 거리와 밀도 기반 머신 러닝 기술을 사용해 어느 데이터 포인트가 대다수에 비해 비정상적인지를 찾아냅니다. 데이터 프레임 분석 작업 API 생성을 이용해 이상값 탐색 데이터 프레임 분석 작업을 만듭니다.

예기치 않은 시스템 가동 중단 또는 잘못된 이상 징후 탐색 결과를 초래하는 기타 이벤트가 발생하면 원하는 스냅샷으로 모델을 신속하게 되돌리세요.

APM 서버는 APM 에이전트로부터 데이터를 받아 Elasticsearch 문서로 변환합니다. 수집하는 APM 서버를 스트리밍하는 해당 에이전트로 HTTP 서버 엔드포인트를 노출함으로써 이 작업을 합니다. APM 서버가 APM 에이전트로부터의 이벤트를 확인하고 처리한 후, 서버는 데이터를 Elasticsearch 문서로 변환하고 해당하는 Elasticsearch 인덱스에 저장합니다.

APM 에이전트는 서비스와 동일한 언어에서 작성되는 오픈 소스 라이브러리입니다. 다른 라이브러리를 설치할 때처럼 APM 에이전트를 서비스에 설치합니다. 이것은 코드를 활용해 성능 데이터와 런타임 오류를 수집합니다. 이 데이터는 단기간 동안 버퍼링되고 APM 서버로 보내집니다.

코드에서 장애물을 찾아내고 수정하는 것은 결국 검색에서 비롯됩니다. Kibana의 전용 APM 앱을 통해 병목현상을 파악하고 문제를 일으킬 수 있는 코드 변화를 관찰합니다. 이러한 작업은 보다 효율적인 코드 개발로 이어져 개발-테스트-배포 주기를 가속화하고 더욱 빠른 애플리케이션과 고객 경험을 제공합니다.

전체 인프라를 통해 요청이 어떻게 이동하는지 궁금하세요? 트랜잭션을 분산 추적과 연결하여 서비스가 어떻게 상호작용하고 있는지 확실히 파악하세요. 대기 시간 문제가 경로 중 어디서 발생하고 있는지 찾아낸 다음, 최적화가 필요한 구성요소를 정확히 집어내세요.

코드가 어떻게 실행되고 있는지 최신 정보를 받아보세요. 무엇인가 정상에서 벗어나면 이메일 알림을 받으세요. 또는 무엇인가 아주 제대로 진행되고 있으면 Slack 알림을 보내드립니다.

서비스 맵은 서비스가 연결되는 방식을 시각적으로 표현한 것으로, 평균 트랜잭션 기간, 요청률 및 오류율, CPU 및 메모리 사용률과 같은 개괄적인 트랜잭션 메트릭을 제공합니다.

APM 앱에서 직접 머신 러닝 작업을 생성하세요. 데이터를 자동 모델링하는 머신 러닝 기능으로 이상 행동을 신속하게 찾아내세요.

Kibana 대시보드는 일련의 시각화와 검색을 나타냅니다. 대시보드 콘텐츠를 배치, 크기 조정 및 편집한 다음 대시보드로 저장하여 공유할 수 있습니다. 여러 대시보드 간에 사용자 지정 드릴다운을 생성하거나 웹 애플리케이션으로 이동하여 작업 및 의사 결정을 유도할 수 있습니다.

Canvas는 데이터가 멋지게 보이도록 만드는 완전히 새로운 방법입니다. Canvas는 데이터를 색상, 도형, 텍스트 및 사용자만의 상상력을 결합시켜 크고 작은 화면에서 여러 페이지의 픽셀까지 완벽한 동적인 데이터 디스플레이로 표현해줍니다.

사용자 경험 데이터는 실제 사용자 경험을 반영합니다. 웹 애플리케이션의 인지된 성능을 수량화하고 분석하세요.

Kibana Lens는 사용하기 쉬운 직관적인 UI로, 끌어서 놓기 환경을 통해 데이터 시각화 프로세스를 간소화합니다. 수십억 개의 로그를 탐색하든 아니면 웹사이트 트래픽에서 추세를 탐지하든, Lens는 클릭 몇 번만으로 데이터에서 인사이트를 얻도록 해드립니다. Kibana에 대한 사전 경험이 전혀 필요 없습니다.

Elasticsearch 집계 프레임워크의 강력한 기능을 이용해, Time Series Visual Builder(TSVB)는 무한한 수의 집계와 파이프라인 집계를 결합하여 의미있는 방식으로 복잡한 데이터를 표시하는 시계열 데이터 시각화 도구입니다.

그래프 분석 기능은 사용자가 Elasticsearch 인덱스의 항목들을 어떻게 연관시키는지를 찾아볼 수 있게 해줍니다. 색인된 용어들 간의 연결을 탐색하고 어느 연결이 가장 의미있는지를 볼 수 있습니다. 이것은 사기행위 탐색에서부터 권장 엔진에 이르기까지 다양한 애플리케이션에서 유용합니다.

Elastic Stack의 수많은 사용자들에게 “어디에”란 중요한 질문입니다. 공격자들로부터 네트워크를 보호하든, 특정 위치에서 느린 애플리케이션 응답 시간을 조사하든, 또는 그냥 귀가를 위한 차량 서비스를 부르든, 위치 정보와 검색은 중요한 역할을 합니다.

앱과 환경은 계속해서 진화하고 있습니다. Elastic Stack도 마찬가지입니다. 애플리케이션, Docker, Kubernetes에서 일어나고 있는 상황을 모두 한 곳에서 모니터링하고 검색하고 시각화하세요.

커뮤니티 기반 플러그인 모듈로 Kibana에 훨씬 더 많은 기능을 추가하세요. 오픈 소스 플러그인이 다양한 앱, 확장자, 시각화 등에 대해 제공됩니다. 플러그인에는 다음이 포함됩니다.

따라하기 쉬운 튜토리얼과 함께, 데이터 세트를 Elasticsearch로 로드하고, 인덱스 패턴을 정의하고, 데이터를 발견하고 탐색하며, 시각화와 대시보드를 만드는 것 등을 배워보세요.

Kibana 런타임 필드 편집기는 런타임 필드에 Elasticsearch 기능을 사용하여 분석가가 즉시 자체 사용자 정의 필드를 추가할 수 있도록 합니다. 인덱스 패턴, Discover 및 Kibana Lens에서 이 편집기를 사용하여 런타임 필드를 생성, 편집 또는 제거할 수 있습니다.

Kibana에서 Kibana 대시보드로의 직접 링크를 손쉽게 공유하거나 웹 페이지에서 iframe으로 대시보드를 포함시킬 수 있습니다. 라이브 대시보드로 또는 현재 시점의 정적인 스냅샷으로 가능합니다.

kibana_dashboard_only_user 기본 역할을 사용해 Kibana에 로그인할 때 어느 사용자가 볼 수 있는지 제한합니다. ibana_dashboard_only_user 역할은 Kibana에 대해 읽기 전용 권한으로 미리 구성되어 있습니다. 사용자가 대시보드를 열면, 제한된 시각 환경을 갖게 됩니다. 모든 편집 및 생성 콘솔은 숨겨진 상태입니다.

Kibana의 스페이스를 이용해 대시보드와 다른 저장된 개체들을 의미있는 카테고리로 분류할 수 있습니다. 일단 특정 스페이스에 있게 되면, 그 스페이스에 속한 대시보드와 다른 저장된 개체들만 보게 됩니다. 그리고 활성화된 보안으로, 어느 사용자가 개별 스페이스에 접근하는지를 제어할 수 있 어 추가적인 차원의 보호를 제공합니다.

사용자 정의 배너는 각기 다른 역할, 팀, 기능 등에 따라 Kibana 스페이스를 차별화하는 데 도움이 됩니다. 특정 공지 사항과 메시지를 개별 Kibana 스페이스에 맞춰 정의하고 사용자가 자신이 속한 스페이스를 신속하게 식별하도록 지원합니다.

Discover에서 저장된 검색을 외부 텍스트 편집기에서 사용할 수 있도록 CSV 파일로 내보냅니다.

손쉽게 태그를 생성하고 대시보드 및 시각화에 추가하여 콘텐츠를 효율적으로 관리할 수 있습니다.

Kibana 시각화 데이터나 대시보드의 보고서를 신속하게 생성하고 이 보고서를 PDF나 PNG로 저장할 수 있습니다. 보고서는 요청 시에 또는 정해진 간격에 따라 자동 생성되도록 설정하거나 특정한 조건을 만족할 경우 생성되도록 설정이 가능하며, 이렇게 생성된 보고서는 다른 사람들과 공유할 수 있습니다.

Kibana에서 Maps 앱을 사용해 각 인덱스마다 고유한 레이어를 하나의 보기에 추가하세요. 여러 레이어가 동일한 지도 상에 있으므로, 실시간으로 그 모든 것을 검색하고 필터링할 수 있습니다. 옵션에는 단계구분도 레이어, 히트맵 레이어, 타일 레이어, 벡터 레이어와 아울러 APM 데이터를 위한 가시성 같이 사용 사례에 특화된 레이어도 포함됩니다.

벡터 타일은 맵을 타일로 분할하고 다른 대안과 비교하여 최상의 성능과 부드러운 확대/축소 기능을 제공합니다. 모든 새로운 다각형 레이어에는 기본적으로 ‘벡터 타일 사용’ 설정이 활성화되어 있습니다. 10,000개 레코드 접근 방식을 선호하는 경우 레이어 설정에서 확장 옵션을 변경할 수 있습니다.

선택하는 계통도의 사용자 정의 위치 데이터를 이용해 지역 지도를 만드세요. 지역 지도는 경계 벡터 도형이 그라데이션을 이용해 색상으로 표시되는 주제 지도입니다.

Elastic Maps Service는 Kibana에서 (Maps 앱 포함) 기본 지도 타일, 도형 파일, 위치 기반 데이터 시각화를 위해 필수적인 핵심 기능 등을 제공함으로써 모든 위치 기반 정보 시각화를 지원합니다. Kibana의 기본 배포를 통해, 지도에서 최대 18배까지 확대할 수 있습니다.

Elastic Maps Server는 로컬 인프라에서 Elastic Maps Service의 기본 지도와 범위를 사용합니다.

사용이 간단하고 쉽지만, GeoJSON 업로드 기능은 강력합니다. Elasticsearch로 직접 수집함으로써, 이 기능을 이용해 지도 생성자는 점, 도형, 콘텐츠로 강화된 GeoJSON 파일을 지도에 끌어다 놓음으로써 즉각적인 시각화를 할 수 있습니다. 데이터 기반 객체 이동을 추적할 때 GeoJSON 정의 경계를 사용하여 이메일 또는 WebApp 경보를 활성화하세요.

엔터티가 경계선에 진입하거나, 벗어나거나, 넘어갈 때 알림을 트리거합니다. 엔터티가 지정된 경계선 내에 있는 동안 그 위치를 모니터링합니다.

Maps 애플리케이션에 내장된 간단하지만 강력한 업로더를 사용하여 셰이프파일을 Elastic에 업로드하세요. 분석 및 비교를 위해 로컬 개방형 데이터 및 경계를 쉽게 로드할 수 있습니다.

Filebeat는 이런 상황에서 로그와 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어 주는 역할을 합니다. Filebeat는 내부 모듈(auditd, Apache, NGINX, System, MySQL 등)을 통해 일반적인 형식의 로그 데이터를 단일 명령으로 간편하게 수집, 구문 분석, 시각화합니다.

예시 Filebeat 대시보드는 사용자가 손쉽게 Kibana의 로그 데이터를 탐색할 수 있게 해줍니다. 이렇게 미리 구성된 대시보드를 이용해 신속하게 시작한 다음, 필요에 따라 사용자 정의하세요.

머신 러닝으로 구동되는 로그 속도 분석은 로그 속도가 정상 범위를 벗어난 기간을 자동으로 표시하므로 로그 이상 징후를 신속하게 파악하고 검사할 수 있습니다.

Logs 앱은 컴팩트하고 사용자 정의 가능한 디스플레이에서 테일링되는 실시간 로그를 제공합니다. 로그 데이터는 Metrics 앱에서 메트릭과 연관되어 사용자가 손쉽게 문제를 진단할 수 있게 해줍니다.

Metricbeat는 사용자가 서버에 설치하여 운영 체제로부터, 그리고 서버에서 실행되는 서비스로부터 주기적으로 메트릭을 수집할 수 있는 경량 수집기입니다. CPU부터 메모리까지, Redis부터 NGINX까지, Metricbeat를 통해 시스템과 서비스 통계를 가볍게 전송할 수 있습니다.

예시 Metricbeat 대시보드는 사용자가 Kibana에서 손쉽게 서버 모니터링을 시작할 수 있게 해줍니다. 이렇게 미리 구성된 대시보드를 이용해 신속하게 시작한 다음, 필요에 따라 사용자 정의하세요.

Kibana의 Metrics 앱에서 직접 실시간 피드백으로 메트릭에 대한 임계값 경보를 생성하고 문서, 로그, Slack, 간단한 웹후크 등 원하는 방식을 선택하여 알림을 받으세요.

Metrics UI에서 바로 원클릭 이상 징후 탐지를 통해 일반적인 인프라 문제를 찾으세요.

메트릭을 Elasticsearch로 스트리밍하도록 한 후, Kibana에서 Metrics 앱을 사용해 이를 모니터링하고 실시간으로 문제를 파악하세요.

Heartbeat는 원격 서버에 설치하는 경량의 데몬으로서 주기적으로 서비스 상태를 확인하고 사용 가능한지 여부를 알아냅니다. Heartbeat는 서버 데이터를 수집하며, 이것은 그 후 Kibana의 Uptime 대시보드와 앱에서 표시됩니다.

예시 Heartbeat 대시보드는 사용자가 Kibana에서 서비스 상태를 손쉽게 시각화할 수 있게 해줍니다. 이렇게 미리 구성된 대시보드를 이용해 신속하게 시작한 다음, 필요에 따라 사용자 정의하세요.

Uptime 앱에서 직접 가용성 데이터로 임계값 기반 경보를 손쉽게 생성하고 문서, 로그, Slack, 간단한 웹후크 등 원하는 방식을 선택하여 알림을 받으세요.

SSL 또는 TLS 인증서가 만료될 때 확인하거나 알림을 받고 Uptime 앱에서 직접 서비스 가용성을 관리하세요.

전자상거래 스토어의 결제 흐름과 같이 여러 단계로 구성된 여정에서 사용자 경험을 시뮬레이션하세요. 문제 영역을 식별하고 뛰어난 디지털 환경을 만들기 위한 각 단계별 세부 상태 정보를 캡처하세요.

Kibana의 Uptime 앱은 네트워크나 환경 내에서 중단 및 기타 연결 문제를 신속하게 파악하고 진단할 수 있도록 돕기 위한 것입니다. 이 유용한 인터페이스에서 손쉽게 호스트, 서비스, 웹사이트, API 등을 모니터링하세요.

Elastic Common Schema(ECS)로 다양한 소스의 데이터를 일관되게 분석하세요. 탐색 규칙, 머신 러닝 작업, 대시보드, 그리고 기타 보안 콘텐츠를 좀 더 폭넓게 적용할 수 있고, 검색을 한결 세부적으로 조정할 수 있으며, 필드 이름을 더욱 쉽게 기억할 수 있습니다.

Elastic Security는 Elastic Agent, Elastic Beats, 그리고 Carbon Black, CrowdStrike, Microsoft Defender for Endpoint와 같은 기술의 엔드포인트 데이터에 대한 대화형 분석을 지원합니다. 세션 보기를 사용하여 셸 활동을 탐색하고 분석기를 사용하여 프로세스를 탐색하세요.

Elastic Security는 대화형 맵, 그래프, 이벤트 테이블 등을 통해 네트워크 보안 모니터링을 지원합니다. Suricata 및 Zeek와 같은 OSS 기술, Cisco ASA, Palo Alto Networks 및 Check Point와 같은 공급업체의 디바이스, AWS, Azure, GCP 및 Cloudflare와 같은 클라우드 서비스를 비롯한 수많은 네트워크 보안 솔루션을 지원합니다.

Elastic Security는 엔터티 분석에 탁월합니다. 솔루션은 사용자 활동에 대한 가시성을 제공하여 실무자가 내부자 위협, 계정 탈취, 권한 남용 및 관련 벡터를 해결할 수 있도록 지원합니다. 환경 전반의 컬렉션은 큐레이션된 시각화 및 테이블에 표시되는 사용자 데이터로 보안 모니터링을 지원합니다. 사용자 컨텍스트는 헌팅이나 조사의 흐름 내에서 제공되며 자세한 내용에 신속하게 액세스할 수 있습니다.

타임라인 이벤트 탐색기를 사용하면 분석가가 이벤트를 보고, 필터링하고, 상호 연결하고, 주석을 달 수 있으며, 데이터를 수집하여 공격의 근본 원인과 범위를 파악하고, 조사기를 조정하고, 즉각적이고 장기적인 참조를 위해 정보를 패키징할 수 있습니다.

기본 제공되는 사례 관리 워크플로우를 통해 위협 탐색 및 대응에 대한 제어를 강화할 수 있습니다. Elastic Security를 사용하면 분석가가 손쉽게 사례를 개설하고, 업데이트하고, 태그를 지정하고, 주석을 달고, 종료하고, 외부 시스템과 통합할 수 있습니다. IBM Resilient, Jira, Swimlane 및 ServiceNow에 대한 오픈 API와 사전 구축된 지원으로 기존 워크플로우에 맞게 조정할 수 있습니다.

탐지 엔진은 기술 기반의 위협 탐지를 수행하고 중요 이상 징후에 대한 경보를 보냅니다. Elastic Security 연구 엔지니어가 개발하고 테스트한 미리 빌드된 규칙을 사용하면 신속하게 도입할 수 있습니다. Elastic Common Schema(ECS) 용으로 형식이 지정된 모든 데이터에 대해 사용자 정의 규칙을 생성할 수 있습니다.

통합된 머신 러닝 기능은 이상 징후 탐지를 자동화하여 위협 탐색과 추적 워크플로우를 개선합니다. 사전 구축된 머신 러닝 작업 포트폴리오를 통해 신속하게 도입할 수 있으며, 경보 및 조사 워크플로우에서 머신 러닝 결과를 활용합니다.

Elastic Security는 Elastic 에이전트에서 수행되는 행동 기반 분석을 통해 랜섬웨어를 방지합니다. 이 기능은 하위 수준 시스템 프로세스의 데이터를 분석하여 Windows 시스템에 대한 랜섬웨어 공격을 차단하며, 광범위한 랜섬웨어 제품군에서 효과적입니다.

Elastic Agent의 악의적인 행동 보호 기능은 엔드포인트에서 지능형 위협을 차단하여 Linux, Windows 및 macOS 호스트에 대한 새로운 보호 계층을 제공합니다. 악의적인 행동 보호는 실행 후 행동을 동적으로 방지함으로써 기존 malware 및 랜섬웨어 방지를 지원하여 추적 중인 지능적 위협을 차단합니다.

시그니처리스 malware 예방은 Linux, Windows, macOS 호스트에서 악성 실행 파일을 즉시 차단합니다. 이 기능은 Elastic Agent와 함께 제공되며, Elastic Agent를 사용하면 보안 데이터를 수집하고 호스트 기반 검사 및 대응도 할 수 있습니다. Kibana 기반 관리를 사용하면 배포와 관리가 간편해집니다.

Elastic Agent의 메모리 보호는 쉘 코드를 통한 프로세스 주입에 사용되는 많은 기술들을 중지시키고, 스레드 실행 하이재킹, 비동기 프로시저 호출, 프로세스 할로잉, 프로세스 도플갱잉과 같은 하위 기술들을 차단합니다.

Elastic Security를 사용하면 사용자는 모든 엔드포인트에서 osquery를 쉽게 배포할 수 있으므로 Linux, Windows 및 macOS 호스트에서 헌팅과 호스트 검사를 간소화할 수 있습니다. 이 솔루션을 사용하면 Elastic Security에서 분석용으로 미리 빌드되거나 사용자 정의된 SQL 쿼리로 다양한 호스트 데이터에 직접 액세스하여 검색할 수 있습니다.

Elastic Agent를 사용하여 호스트 수 제한 없이 네트워크 활동을 수집하세요. 네트워크 활동을 분석하고 방화벽이 볼 수 없는 네트워크 경계 내/외부의 트래픽을 파악하세요. 이렇게 하면 보안 팀이 워터링 홀 공격, 데이터 유출 및 DNS 공격과 같은 악의적인 행동을 해결하는 데 도움이 됩니다. Network Packet Analyzer 통합에는 Windows용으로 널리 배포된 패킷 스니핑 라이브러리인 Npcap에 대한 무료 상용 라이선스가 포함되어 있어 OS에 관계없이 모든 호스트에서 네트워크를 볼 수 있습니다.

eBPF 기술을 기반으로 하는 경량 에이전트를 통해 하이브리드 클라우드 워크로드와 클라우드 네이티브 애플리케이션을 보호하세요. 사전 구축된 맞춤형 탐지 규칙과 머신 러닝 모델을 사용하여 런타임 위협을 자동으로 탐지할 수 있습니다. 풍부한 컨텍스트를 보여주는 터미널 형태의 보기로 조사를 수행할 수 있습니다.

멀티 클라우드 환경 전반에 걸쳐 보안 태세를 파악할 수 있습니다. 조사 결과를 검토하고, 조사 결과를 CIS 제어와 비교 및 벤치마크하고, 문제 해결 지침에 따라 신속하게 개선을 추진하세요.