로깅과 성능: 새롭게 특화된 Elasticsearch logsdb 인덱스 모드

Elasticsearch가 처음이신가요? Elasticsearch 입문용 웨비나에 참여하세요. 지금 무료 클라우드 체험을 시작하거나, 내 기기에서 Elastic을 사용해 볼 수 있습니다.

로그 저장 공간 요구 사항을 최대 65% 줄여주는 Elasticsearch의 새로운 인덱스 모드 logsdb

오늘, 로그 데이터의 저장 공간을 logsdb가 없는 최신 버전의 Elasticsearch에 비해 최대 65%까지% 줄여주는 Elasticsearch의 새로운 인덱스 모드인 logsdb의 정식 버전을 발표합니다. 이러한 획기적인 개선으로 통합 가시성 및 보안 팀은 예산을 초과하지 않고도 가시성을 확장하는 동시에 모든 데이터에 즉시 액세스하여 분석할 수 있습니다.

Logsdb는 데이터의 순서를 최적화하고, synthetic _source를 사용하여 저장되지 않은 필드 값을 즉시 재구성함으로써 중복을 제거하며, 고급 알고리즘과 코덱을 사용하여 압축률을 개선합니다. 이를 통해 Elasticsearch 내의 열 형식 저장 공간을 사용하여 효율적인 로그 저장 및 검색이 가능합니다.

logsdb 인덱스 모드로 저장 공간 효율성을 개선하여 분석을 강화하고 비용 절감

로그는 통합 가시성 및 보안 문제를 감지하고 해결하는 데 중요한 신호를 제공하며, AI의 발전으로 텍스트 기반 데이터 분석이 용이해지면서 그 활용도가 증가하고 있습니다. 따라서 효율적인 저장 및 고성능 액세스가 그 어느 때보다 중요해졌습니다.

안타깝게도 인프라와 애플리케이션에서 생성되는 로그 양이 증가하면서 비용이 증가하고 있으며, 이로 인해 부득이하게 수집을 제한하고 보존 기간을 단축하고 새로운 데이터를 사일로화된 아카이브 계층으로 이동하는 등 분석을 방해하는 타협적인 방법을 사용하고 있습니다.

Logsdb는 이러한 과제를 직접 해결합니다. 저장 공간 효율성이 높아져 더 많은 데이터를 수집할 수 있고 복잡한 데이터 필터링의 번거로움을 피할 수 있습니다. 로그를 더 오래 보관하여 위협 헌팅, 인시턴트 대응 및 규정 준수 요구 사항을 지원할 수 있습니다. 모든 데이터가 항상 검색 가능하므로 데이터 세트가 아무리 커져도 빠르게 인사이트를 얻을 수 있습니다.

logsdb 인덱스 모드를 뒷받침하는 기술 혁신

Logsdb 인덱스 모드는 스마트 인덱스 정렬, synthetic _source, 고급 압축을 통해 로그 데이터의 디스크 사용량을 획기적으로 줄입니다. 이를 구현하면 logsdb가 없는 최신 버전의 Elasticsearch에 비해 로그 저장 공간 요구 사항을 최대 65% 줄일 수 있습니다. 현재 logsdb는 인덱싱 과정에서 더 많은 CPU를 사용하지만, 대부분의 고객은 효율적인 저장 공간 덕분에 전체 비용을 절감할 수 있습니다. 장기 보존이 필요한 고객은 총 소유 비용(TCO)을 최대 50% 절감할 수 있을 것으로 예상됩니다.

스마트 인덱스 정렬은 스토리지 효율성을 최대 30%(% ) 개선하고 유사한 데이터를 서로 가깝게 배치하여 일부 로깅 데이터 세트의 쿼리 지연 시간을 줄입니다. 기본적으로 호스트 이름과 @타임스탬프를 기준으로 인덱스를 정렬합니다. 데이터에 더 적합한 필드가 있는 경우 해당 필드를 대신 지정할 수 있습니다.

고급 압축은 Zstandard 압축(Zstd), 델타 인코딩, 실행 길이 인코딩 및 자동으로 선택되는 기타 스마트 코덱을 통해 로그와 같은 텍스트가 많은 데이터의 스토리지 요구 사항을 크게 줄여줍니다. 압축 및 성능에 최적화된 열 형식으로 저장되는 문서 값은 정렬, 집계 및 스크립팅을 위해 필드 값을 효율적으로 저장하고 검색할 수 있습니다.

합성 _소스를 사용하면 _소스 필드를 삭제하고 필요에 따라 전체 또는 부분적으로 재구성하여 스토리지 요구량을 20~40% 더 줄일 수 있습니다(% ). 이 기능은 색인 및 검색을 위해 때때로 더 많은 컴퓨팅을 필요로 하지만, 테스트 결과 측정 가능한 순 효율성 향상을 가져다주는 것으로 나타났습니다. 합성 _소스는 거의 모든 필드 유형에 대한 지원을 포함하여 로그에 대한 수많은 개선 사항과 함께 거의 2년간의 메트릭을 사용한 프로덕션 사용을 기반으로 구축되었습니다.

결과로 얻는 저장 공간 절약 효과는 인덱스 수명 주기 단계를 통해 전파됩니다. 핫 티어에서 저장 공간을 65% 줄이면 웜, 콜드, 프로즌 티어에서도 동일한 감소가 발생하며, 버킷 저장 공간에 스냅샷을 저장하는 데 필요한 저장 공간도 줄어듭니다.

가시성 손실 방지: 통합 가시성과 보안을 위해 모든 로그 보존

로그는 인프라와 애플리케이션에 대한 가시성의 기초이며, 모니터링과 문제 해결을 위한 가장 간단하고 필수적인 신호를 제공합니다. 그러나 로깅 양이 증가함에 따라 비용이 상승하고 있습니다. 이 문제로 인해 고객들은 복잡한 필터링 및 관리 정책을 구현하고, 데이터를 조기에 삭제하며, 분석 전 리하이드레이션에 하루 이상이 걸리는 저장소에 관련 로그를 보관해야 합니다. 쉽게 검색 및 액세스할 수 있는 완전한 데이터 세트가 없어 문제를 찾고 해결하는 것이 훨씬 더 어렵습니다.

Logsdb 인덱스 모드는 검색 가능한 스냅샷과 자동 가져오기 같은 획기적인 Elasticsearch 기능을 기반으로 구축되어 운영 및 보안 팀의 이러한 문제점을 해결합니다:

비용 절감: Logsdb는 로그의 저장 공간을 최대 65%까지 줄여(%) 조직이 더 많은 데이터를 보유하면서 저장 비용을 절감할 수 있도록 지원합니다. 이는 핫 스토리지에서 프로즌 스토리지에 이르기까지 모든 스토리지 계층에서 비용을 절감하고 이 데이터를 사용하는 통합 가시성 및 보안 팀의 생산성을 높이는 결과로 이어집니다.

소중한 데이터를 보존하세요: Logsdb는 추가 도구나 복잡한 필터에 의존하지 않고도 모든 로그 데이터를 보존하고 운영 효율성을 개선합니다. 합성 _소스와 같은 기능을 사용하면 전체 소스 문서를 저장하지 않고도 데이터의 가치를 보존할 수 있습니다.

가시성 확장: Logsdb는 통합 가시성, 보안 및 기록 데이터를 위한 별도의 사일로 없이 하나의 플랫폼에서 모든 데이터에 효율적으로 액세스할 수 있도록 지원합니다. 사이트 안정성 엔지니어(SRE)의 경우 메트릭, 추적 및 비즈니스 데이터와 함께 로그를 분석할 수 있어 문제 해결을 가속화할 수 있습니다. 마찬가지로 보안 운영 센터(SOC) 팀의 경우 사각지대를 제거하여 조사 및 문제 해결을 가속화할 수 있습니다.

데이터에 대한 액세스를 간소화하세요: Logsdb를 사용하면 SRE 팀이 문제 해결, 추세 파악 및 분석을 위해 실행 가능한 데이터를 효율적으로 보관할 수 있습니다. 마찬가지로 SOC 팀은 막대한 비용을 들이지 않고도 조사 및 위협 헌팅을 위해 모든 데이터를 신속하게 검색할 수 있습니다.

사용자 환경에 맞는 Logsdb 준비 완료

Elasticsearch logsdb 인덱스 모드는 일반적으로 버전 8.17부터 Elastic Cloud 호스팅 및 자체 관리형 고객에게 제공되며, Elastic Cloud Serverless의 로그에 기본적으로 활성화되어 있습니다.

스탠더드, 골드, 플래티넘 라이선스를 보유한 조직은 기본 logsdb 기능(스마트 인덱스 정렬 및 고급 압축 포함)을 이용할 수 있습니다. 엔터프라이즈 라이선스를 보유한 서버리스 고객과 조직은 저장 공간 요구 사항을 더욱 줄여주는 완전한 logsdb 기능(synthetic _source 포함)을 사용할 수 있습니다.

작동 중인 Elasticsearch 로그DB

Logsdb를 사용하면 수집 범위를 좁히거나 데이터를 폐기하거나 사일로화하지 않고 모든 로그 데이터를 보관하여 운영 효율성을 개선할 수 있습니다. 스마트 인덱스 정렬, 고급 압축, synthetic _source와 같은 기능을 통해 예산에 맞춰 필요한 데이터를 보관하고 분석할 수 있습니다.

직접 체험해보고 싶으신가요? Elastic을 무료로 사용해 보세요.

이 게시물에서 설명된 모든 기능이나 성능의 출시와 일정은 Elastic의 단독 재량에 따라 결정됩니다. 현재 제공되지 않는 기능이나 성능은 예정된 시간에 출시되지 않을 수도 있으며 아예 제공되지 않을 수도 있습니다.

자주 묻는 질문