Elastic 데이터 티어화 전략: 탄력적이고 효율적인 구현을 위한 최적화

조직은 Elastic의 속도, 확장성, 사용자 정의 기능 및 기능성 때문에 Elastic을 선호합니다. 이로 인해 Elastic에 대한 새로운 사용 사례를 자주 발견하게 됩니다. 데이터가 어떻게 저장, 관리 및 사용되는지 고려하지 않고 대량의 데이터를 수집하면 문제가 발생하며, 이는 데이터 관리의 병목 현상으로 이어질 수 있습니다. 데이터가 증가함에 따라 현재 설정으로는 새로운 요구 사항을 처리하기 어려워지며, 하드웨어 및 라이선스 한계에 도달하게 됩니다.

귀사에서 이러한 문제를 겪고 있다면, solutions은 예상보다 더 쉽게 관리할 수 있습니다.

이 과제를 극복하는 방법은 비즈니스 목표와 일치하는 데이터 전략을 정의하는 것입니다. 임의의 요구 사항에 따라 데이터를 수집하고 보유하는 대신, 스스로에게 다음 질문을 해보십시오:

1. 비즈니스 목표를 달성하려면 어떤 데이터를 수집해야 합니까?

2. 이 데이터는 얼마나 자주 사용됩니까?

3. 이 데이터가 더 이상 가치가 없게 되는 만료일이 있습니까?

4. 이 데이터에 대한 컴플라이언스 요구 사항이 있습니까?

위 질문에 대한 답변을 바탕으로, 조직은 비즈니스 중심의 데이터 전략을 수립하여 데이터 저장 및 활용 방식을 최적화하고 Elastic에 대한 기존 투자를 극대화할 수 있습니다.

이 전략 도입의 이점을 보여드리기 위해, 이 과정을 거친 고객의 사례 연구를 살펴보겠습니다. 

이 고객은 일반적으로 일일 5TB의 데이터를 처리하며 초당 평균 250,000개의 이벤트를 처리합니다. 그러나 때때로 데이터 양이 일일 7TB, 초당 350,000개 이벤트로 증가합니다. 이 고객을 위한 Elastic 구현은 대량의 보안 데이터를 수집하고, 보안 운영 센터(SOC) 팀이 사이버 사고 및 사기 조사에 관한 정보를 검색할 수 있도록 하는 데 중점을 두었습니다.

이 구현은 매우 성공적이어서 고객은 더 긴 데이터 보존 기간과 더 넓은 범위의 데이터 소스에서 더 빠른 검색 기능을 요구하는 새로운 사용 사례를 추가했습니다. 그들은 다음과 같은 비즈니스 성과를 목표로 했습니다:

• 로그 최적화: 조직은 데이터 계층을 최적화함으로써 로그 관리 관행을 개선하고, 적절한 로그를 적절한 기간 동안 보관하며, 운영 효율성과 규정 준수를 향상할 수 있습니다.

• 향상된 라이선스 활용도: 효율적인 저장 공간 티어링은 라이선스 활용도를 높여 조직이 기존 리소스를 최대한 활용하고 불필요한 라이선스 비용을 방지할 수 있도록 합니다.

• 향상된 비즈니스 효율성: 로그에서 인사이트를 더 효율적으로 찾는 능력은 비즈니스 효율성 향상으로 이어져, 더 빠른 의사 결정과 정보에 입각한 전략적 계획 수립을 가능하게 합니다.

• 새로운 사용 사례 온보딩: 최적화된 데이터 티어를 통해 조직은 새로운 사용 사례를 쉽게 온보딩하고, 상당한 인프라 투자 없이도 데이터 분석 기능을 확장할 수 있습니다.

• 명확한 데이터 전략: 최적화된 데이터 계층화는 명확한 데이터 전략에 기여하며, 데이터의 신뢰성과 접근성을 보장하고 효과적으로 관리하여 데이터 기반 의사 결정을 위한 토대를 마련합니다.

데이터 티어링 은 복잡하고 미묘한 주제이므로 별도의 블로그를 통해 자세히 다룰 가치가 있습니다. 그러나 데이터 전략을 정의하기 위해 다양한 데이터 티어를 인제스트, 검색하다, 저장하다라는 세 가지 주요 용도로 단순화할 수 있습니다.

• 인제스트(핫 티어): 최소한의 지연 시간으로 데이터를 최대한 빠르게 수집합니다.

• 검색하다(핫 및 웜 티어): 데이터를 빠르게 검색하고 대규모 데이터 세트를 처리합니다.

• 저장(콜드 티어 및 프로즌 티어): 필요한 기간만큼 데이터를 저장하고 빈도가 낮은 임시 검색을 수행합니다.

데이터 보존 요구 사항의 범위를 이해하는 것은 규정 준수와 효율적인 데이터 관리에 매우 중요합니다. 규정에 따라 필요한 데이터 보존 기간이 다릅니다:

• SOX 보존 요건: 7년

• HIPAA 데이터 보존 요건: 6년

• PCI DDS 데이터 보존 요건: 1년

• Basel II 데이터 유지 요건: 3~7년

• GDPR 직원 기록:

  • 임금: 3년

  • 세무 기록: 6년

  • 이름, 주소: 3년

• 공정 근로 기준법: 2~3년

이전 아키텍처
이전 아키텍처는 다양한 데이터 처리 요구 사항을 충족하는 4계층 저장 공간 구현을 갖춘 두 개의 데이터 센터를 보유했습니다. 이 구현에는 더 많은 하드웨어, 라이선스 및 운영 관리상의 오버헤드가 필요했습니다.

고객은 데이터 사용 방식과 관계없이 모든 로그를 90일 동안 보관했습니다.

• 7일 Hot

• 2일 Warm

• 10일 콜드

• 프로즌 상태로 남은 일수

고객은 핫 티어와 웜 티어 모두에서 동일한 하드웨어를 사용했습니다. 웜 티어는 검색 가능한 스냅샷을 위한 인덱스 강제 병합 용도로만 사용되었습니다. 웜 티어와 콜드 티어는 CPU와 저장 공간 모두에서 활용도가 매우 낮았습니다. 프로즌 티어의 범위가 좁아 과거 데이터 검색 속도가 느려졌습니다.

계층화된 데이터 전략을 통해 조직은 최근 데이터에 대한 성능을 최적화하는 동시에 대용량 데이터를 효율적으로 저장할 수 있습니다. 샤드 할당 인식을 활용하여 조직은 각 티어의 특성을 정의하고 데이터 전략에 따라 인덱스 마이그레이션을 예약할 수 있습니다. 이를 통해 데이터는 항상 가장 적절한 하드웨어 티어에 저장되어 성능과 비용 고려 사항의 균형을 유지합니다.

메모리 대 저장 공간 비율은 Elastic 성장을 계획할 때 고려해야 할 중요한 요소입니다. Elastic 고객이 사용할 수 있는 네 가지 저장 공간 티어는 다음과 같습니다:

• 핫 티어: 수집 및 검색 성능에 최적화되어 있으며, 일반적으로 메모리 대 저장 공간 비율이 약 1:30인 고속 SSD를 사용합니다.

• Warm 티어: 저장 공간 용량에 최적화되어 있으며, 메모리 대 저장 공간 비율이 약 1:160인 SSD 또는 HDD를 활용합니다.

• 콜드 티어: 검색 가능한 스냅샷을 복제본으로 사용하여 저장 공간 용량에 최적화(저장 공간 비율은 웜 티어와 동일하지만, 로컬 복제본을 제거하면 저장 공간 요구 사항이 절반으로 줄어듭니다.) 

• 프로즌 티어: 아카이빙 목적으로 최적화되었으며, 저렴한 스냅샷 저장 공간과 로컬 디스크 캐시를 사용하여 1:1,000을 초과하는 메모리 대 저장 공간 비율을 제공합니다

당사의 분석에서는 다른 고객의 Elastic 구현을 최적화하기 위해 다양한 저장 공간 구성에 대한 총소유비용(TCO)을 평가했습니다. 다음은 이러한 구성과 관련 비용에 대한 자세한 분석입니다:

•  자체 관리형 ES 클러스터

•  일일 1TB 수집

•  총 보존 기간 365일

저장 공간 티어링 최적화는 단순히 비용을 절감하는 것이 아니라, 조직이 새로운 도전과 기회에 맞춰 발전하고 적응할 수 있도록 지원하는 것입니다. 

데이터 전략 원칙을 사용하여 플랫폼 최적화 과제에 접근함으로써, 조직은 새로운 사용 사례를 촉진하고 데이터 신뢰성을 개선하며 전반적인 데이터 전략을 강화할 수 있습니다. 문서 확인하기 를 통해 귀하의 조직이 데이터 티어링을 사용하여 어떻게 탄력적이고 효율적인 Elastic 구현을 구축할 수 있는지 알아보십시오.