OpenTelemetry(OTel)에 Elastic Common Schema(ECS)를 제공하여 OTel 기반의 Observability 및 보안 채택 가속화를 지원하는 Elastic

오늘날, 스키마가 포함된 여러 소스의 데이터로 인해 소프트웨어 문제를 정확히 파악하고 문제의 근본 원인을 이해하기가 어렵습니다. 공통 스키마를 사용하면 데이터를 정규화하여 Observability 및 보안 솔루션 전반에 걸쳐 데이터의 분석, 시각화 및 상관 관계를 개선하고 근본 원인 분석을 가속화할 수 있습니다. Elastic 고객과 보다 광범위한 커뮤니티가 표준화의 혜택을 누릴 수 있도록, Elastic은 Elastic Common Schema(ECS)와 OpenTelemetry(OTel)를 기반으로 하는 메트릭, 로그, 추적 및 보안 이벤트에 대한 공통 스키마를 개발하는 데 전념하고 있습니다.  

Elastic은 OTel에 ECS를 제공하며 공통 스키마의 공동 개발에 전념하고 있습니다. OTel은 클라우드 네이티브 컴퓨팅 재단(CNCF)에서 두 번째로 속도가 빠른 프로젝트로, 소프트웨어 성능과 동작을 이해하기 위한 원격 측정 데이터(메트릭, 로그 및 추적)를 생성, 수집, 처리하여 내보내는 데 사용되는 도구, API 및 SDK 모음을 제공합니다. Elastic은 오랫동안 개방형 표준을 지지해왔으며 이러한 기여를 통해 Elastic의 커뮤니티에 계속 헌신하고 더욱 그 헌신을 확장해나가고 있습니다. OpenTelemetry에 ECS를 제공함으로써, Elastic은 광범위하게 배포된 Elastic Common Schema를 기반으로 하는 메트릭, 로그, 추적 및 보안 이벤트에 대한 성숙하고 검증된 공통 스키마를 OTel에서 생성하고자 합니다. 앞으로도 OTel과 함께 계속해서 공통 스키마를 개발하고 지원할 것입니다.

오픈 소스 커뮤니티에 대한 가치

오픈 소스 사양인 ECS는 이벤트 데이터를 Elasticsearch에 저장할 때 사용할 공통 필드 집합을 정의하기 위해 Elastic 사용자 커뮤니티의 지원을 받아 개발되었습니다. ECS는 데이터 중복으로 인한 관리 및 저장 공간 비용 절감을 지원하여 운영 효율성을 향상시킵니다.

마찬가지로, OTel의 시맨틱 규칙(SemConv)에서도 다양한 종류의 작업 및 데이터에 대한 공통 이름을 지정합니다. OTel SemConv를 사용하는 이점은 OTel 사용자를 위한 코드베이스, 라이브러리 및 플랫폼 전체에서 표준화할 수 있는 공통 이름 지정 체계를 따르는 데 있습니다.

ECS와 OTel SemConv의 병합은 OTel의 채택과 Observability 및 보안 영역의 지속적인 발전과 융합을 촉진하는 데 도움이 될 것입니다. 

개방형 표준에 대한 헌신

공통 스키마 공동 개발의 목표는 가장 일반적인 유형의 시스템에 대해 벤더 중립적인 시맨틱 규칙을 정의하는 것입니다. 벤더가 생성한 구성 요소나 오픈 소스 구성 요소(예: HTTP 액세스 로그, 네트워크 로그 또는 시스템 액세스/인증 로그)를 지원하면 OTel 상관 관계가 이러한 새로운 데이터 유형으로 확장됩니다. ECS의 기여자들은 OTel에서 채택할 수 있는 통합된 시맨틱 규칙 집합을 정의하는 데 이미 많은 노력을 기울여 왔습니다.

ECS의 기여는 에코시스템에 다음과 같은 몇 가지 이점을 가져다 줄 것입니다.

• 벤더가 생성한 로그와 오픈 소스 로그를 위한 보다 표준화되고 통합된 구조화된 형식
• OTel 호환 Observability 제품 및 서비스에서 완벽하게 인식되는 턴키 로그 통합으로 인해 사용자가 누리는 이점
• Kubernetes 애플리케이션 로그, 시스템 로그 및 애플리케이션 검사 이벤트에 대한 최고 수준의 지원을 제공하여 인프라에 대한 OTel 지원 확대
• 애플리케이션 및 인프라에 대한 표준화된 Observability 원격 측정 정의로, Observability에 대한 벤더 중립 지원

OTel이 ECS를 채택함에 따라, OTel Collector Logs Receivers의 작성자는 메시지에서 보다 풍부한 데이터 정의를 제공할 수 있어, 데이터 품질을 향상시키고 OTel Collector를 업계의 사실상 표준 로그 수집기로 자리매김하는 데 도움이 될 것입니다.

ECS는 여러 용도에 걸쳐 다양한 유형의 원격 측정을 수집하는 사용자의 필요를 충족하도록 발전했습니다. ECS를 채택하면 OTel의 유용성이 DevSecOps로 크게 확장될 것입니다.

Elastic은 현재 Kubernetes(K8S), Prometheus, Fluentd, Fluent Bit, Istio와 같은 CNCF 프로젝트를 지원하며, 그 목록은 계속해서 증가하고 있습니다. Elastic의 애플리케이션 성능 모니터링(APM)은 또한 기본적으로 OTel을 지원하여 Elastic이나 OTel 에이전트 또는 이 두 가지의 조합에서 모든 APM 기능을 사용할 수 있도록 보장합니다. ECS 기여 및 OTel SemConv와의 지속적인 협업 외에도, Elastic은 언어 SDK(OTel Swift, OTel Go, OTel Ruby 등)를 포함한 다른 OTel 프로젝트에 지속적으로 기여하고 있으며, 여러 특수 이해 그룹(SIG)에 참여하여 OTel을 Observability 및 보안 표준으로 확립합니다.

OTel과의 관계를 강화하고 Elastic 커뮤니티와 더 광범위한 OTel 커뮤니티 양쪽 모두에게 이익이 되는 방식으로 스키마를 통합할 수 있는 기회를 갖게 되어 기쁩니다.

Elastic의 Open Telemetry 지원에 대해 자세히 알아보시거나 프로젝트에 기여해 주세요. 이렇게 기대되는 OpenTelemetry에 대한 ECS의 기여와 관련한 자세한 내용은 FAQ에서 찾아보실 수 있습니다.