엔지니어링

새로운 프로즌 티어로 S3를 직접 검색

7.12에서 프로즌 티어 기술 미리보기를 공개하게 되어 매우 기쁩니다. 이제 저장 공간에서 컴퓨팅을 완전히 분리하고 AWS S3, Microsoft Azure Storage 및 Google Cloud Storage와 같은 객체 스토어에서 데이터를 직접 검색할 수 있습니다. 데이터 티어 여정의 다음 주요 이정표인 프로즌 티어는 대량의 데이터를 장기간 매우 저렴한 비용으로 저장하는 동시에 완전히 검색 가능하고 활성화된 상태를 유지함으로써 데이터 접근성을 크게 확대했습니다. 

Elastic에서는 빠른 속도를 위한 핫 티어와 성능은 낮지만 저렴한 웜 티어 등 데이터 수명 주기 관리를 위해 오랫동안 여러 데이터 티어를 지원해왔습니다. 두 티어 모두 기본 데이터와 중복 복사본을 저장하는 데 로컬 하드웨어를 활용합니다. 좀 더 최근에는, 중복 복사본을 로컬에 저장할 필요를 없애 동일한 용량의 하드웨어에 웜 티어 대비 2배의 데이터를 저장할 수 있는 콜드 티어를 도입했습니다. 최적의 성능을 위해 기본 데이터는 여전히 로컬에 저장되지만, 콜드 티어의 인덱스는 검색 가능한 스냅샷에 백업되며 이 스냅샷은 중복성을 위해 객체 스토어에 저장됩니다. 

Price_Performance.PNG

프로즌 티어는 여기에서 한 단계 더 나아가 데이터를 로컬에 저장할 필요성을 모두 없앱니다. 대신, 검색 가능한 스냅샷을 사용하여 객체 스토어에 저장된 데이터를 직접 검색합니다. 먼저 리하이드레이션할 필요가 없습니다. 로컬 캐시는 반복 검색의 성능을 최적화하기 위해 최근에 쿼리된 데이터를 저장합니다. 따라서 저장 공간 비용이 크게 감소하여 핫 티어 또는 웜 티어 대비 최대 90%, 콜드 티어 대비 최대 80%까지 비용이 절감됩니다. 완전 자동화된 데이터 수명 주기는 이제 핫에서 웜, 콜드, 그리고 프로즌으로 완성되었으며, 최대한 저렴한 저장 공간 비용으로 필요한 액세스 및 검색 성능을 확보할 수 있습니다.

좋은 데이터의 중요성

통합 가시성, 보안, 엔터프라이즈 검색 등 그 목적이 무엇이든, IT 데이터는 기하급수적으로 증가할 수 있습니다. 기업이나 조직에서 하루에 테라바이트 규모의 데이터를 수집하고 검색하는 것은 더 이상 특별한 일이 아닙니다. 이러한 데이터는 일상 업무 수행뿐만 아니라 기록 참조를 위해서도 매우 중요합니다. 보안 조사를 위한 무제한 검색, 추세 파악을 위한 수년간의 APM 데이터 조사, 규제 준수를 위한 간헐적 검색 등은 모두 데이터를 오랜 시간 동안 액세스 가능하도록 유지해야 하는 이유를 보여주는 주요 사용 사례입니다. 그러나 데이터를 쉽게 검색 가능한 방식으로 저장할 수 있는 적절한 도구나 기술이 없다면 이러한 사용 사례를 충족하는 데 매우 큰 비용이 들 수 있습니다.

바로 여기에서 프로즌 티어가 중요한 역할을 합니다. 프로즌 티어를 사용하면 S3 또는 다른 객체 스토어에 데이터를 아카이브할 때 드는 정도의 비용으로 수년간의 데이터를 경제적으로 저장할 수 있으므로, 이러한 사용 사례를 충분히 지원할 수 있습니다. 주요 차이점은 프로즌 티어의 경우 Elasticsearch에서 데이터를 모두 검색할 수 있으며 프로즌 티어에서 데이터를 가져오는 Kibana 대시보드가 원활하게 작동한다는 것입니다. 아카이브에서 직접 데이터를 찾아 가져오고, 복원한 다음, 검색 가능하게 전환하는 작업은 더 이상 필요가 없습니다. 보존할 데이터와 삭제할 데이터들 사이에서 고민하고 선택할 필요도 없습니다. 이제 프로즌 티어를 사용하면 이 모든 것이 쉽고 매끄럽게 진행됩니다.

작동 방식

프로즌 티어는 검색 가능한 스냅샷을 활용하여 저장 공간과 컴퓨팅을 분리합니다. 데이터가 LIM(인덱스 수명 주기 관리) 정책에 따라 웜 또는 콜드 티어에서 프로즌 티어로 마이그레이션되면 로컬 노드의 인덱스가 S3 또는 선택한 객체 스토어로 마이그레이션됩니다. 콜드 티어는 인덱스를 객체 스토어로 마이그레이션하지만, 빠르고 일관된 검색을 위해 전체 데이터의 복사본 하나를 로컬 노드에 유지합니다. 반면에 프로즌 티어는 로컬 복사본을 모두 없애고 객체 스토어에서 데이터를 직접 검색합니다. 반복 검색의 속도를 높이기 위해 최근에 쿼리된 데이터의 로컬 캐시를 구축하지만, 캐시 크기는 프로즌 티어에 저장된 전체 데이터 크기의 일부분에 불과합니다.

일반적으로 10%가 로컬 캐시에 유지됩니다. 따라서 적은 수의 로컬 티어 노드로 수백 테라바이트의 프로즌 티어 데이터를 처리할 수 있습니다. 간단히 비교하자면, 64GB RAM이 탑재된 일반적인 웜 티어 노드로 10TB를 관리하는 경우 동일한 콜드 티어 노드로 2배인 20TB를 관리할 수 있으며 프로즌 티어 노드로는 최대 100TB까지 관리할 수 있습니다. 즉, RAM 대 저장 공간 비율이 1 대 1,500에 달하며 이는 보수적으로 잡은 추정치입니다.

비용 대비 성능

그렇다면 상충 관계에 있는 것은 무엇일까요? 짐작하시겠지만, 바로 성능입니다. 이것이 바로 Elastic에서 다양한 데이터 티어를 제공하는 이유입니다. 사용자는 조직에 적합한 ILM 정책을 유연하게 정의하여 핫, 웜, 콜드 및 프로즌 티어에 상주해야 하는 데이터의 양과 기간을 결정할 수 있습니다. 간헐적으로 검색하고 다른 티어보다 빠른 성능이 필요하지 않는 데이터를 프로즌 티어에 저장해야 합니다.

또한 Elastic에서는 느리게 실행되는 검색에도 가능한 최상의 사용자 경험을 제공할 수 있도록 하는 최적화에도 큰 진전을 이뤘습니다. Elasticsearch에 적용되는 비동기식 검색 기능을 개발했는데, 백그라운드에서 대시보드를 렌더링하고 나중에 검색할 수 있으므로 Kibana에서 자연스러운 사용자 경험이 제공됩니다. 그 외에도 사전 필터링과 일치하지 않는 인덱스 건너뛰기, 가능한 경우 검색 조기 종료, 텍스트 검색에 block-max WAND 사용 등 느린 실행 쿼리의 속도를 높이기 위해 일련의 쿼리 효율성 개선 사항을 릴리즈했습니다. 

Elasticsearch에서는 기본적으로 모든 데이터가 색인됩니다. 따라서 데이터 자체를 스캔할 필요 없이 간결한 인덱스 구조를 활용하여 대규모 데이터 세트에 대한 결과를 매우 빠르게 반환할 수 있으므로 프로즌 티어에서 데이터 검색이 특히 효율적으로 이루어집니다. 게다가 검색 가능한 스냅샷의 장점 중 하나가 Lucene에 대한 깊이 있는 전문 지식을 사용하여 쿼리에 응답하는 데 꼭 필요한 인덱스의 하위 집합만 가져온다는 것입니다. 

이러한 최적화 기능들이 한데 모여 프로즌 티어를 검색할 때 가장 빠르고 뛰어난 사용자 경험을 보장합니다. 또한 ILM 정책을 더 쉽고 빠르게 설정하고 구성할 수 있도록 새롭게 디자인된 ILM UI가 지원되므로 이제 완전한 Elastic 데이터 티어 세트를 빠르고 효과적으로 사용하는 데 필요한 모든 도구가 갖춰졌습니다.

ILM_policy_summary.gif

퍼블릭 또는 프라이빗 저장 공간, 원하는 대로 선택

Elastic은 언제나 사용자에게 최소한의 개입으로 최대한의 유연성을 제공하기 위해 노력해 왔습니다. AWS S3, Azure Cloud Storage, Google Cloud Storage 및 MinIO에 대한 공식 지원 외에도, Elastic에서는 원하는 S3 호환 객체 스토어를 테스트하여 검색 가능한 스냅샷, 콜드 티어 및 프로즌 티어와 연동되는지 검증할 수 있는 리포지토리 테스트 키트를 출시합니다.

쉽게 사용 가능한 API 형태로 제공되는 테스트 키트를 통해 자체 S3 호환 객체 스토어에 대해 일련의 간이 테스트를 실행할 수 있습니다. 테스트에 성공한 경우 해당 객체 스토어를 사용하여 스냅샷을 저장하고 검색할 수 있으며 이를 콜드 티어 및 프로즌 티어의 객체 스토어로 사용할 수 있습니다. 이 키트는 검증 테스트 키트이므로 검증을 통과한 해당 S3 호환 저장 공간을 Elastic에서 공식적으로 지원하는 것은 아닙니다. 문제가 발견된 경우 Elastic에서 이를 해결하기 위해서는 지원되는 S3 디바이스에서 해당 문제를 재현할 수 있어야 합니다.

타임라인

프로즌 티어는 Elastic 7.12에서 기술 미리보기로 소개되고 있습니다. 핫, 웜 및 콜드 티어는 이미 정식 버전으로 제공되고 있으며 콜드 및 프로즌 티어를 지원하는 검색 가능한 스냅샷 기능도 마찬가지입니다. 프로즌 티어는 Elastic Cloud 7.12에서도 사용할 수 있으며 더 간단하고 즉시 사용 가능한 슬라이더가 곧 제공될 예정입니다. 

TIme_Line.PNG

지금 바로 시작

프로즌 티어를 시작하려면 Elastic Cloud에서 클러스터를 구동하거나 Elastic Stack의 최신 버전을 설치하세요. 이미 Elasticsearch를 실행 중이신가요? 그렇다면 클러스터를 7.12로 업그레이드하신 후 다시 사용해 보세요. Elastic Cloud에서 사용해 보고 싶으시다면 Elastic Cloud 설명서에서 자세한 내용을 알아보세요. 프로즌 슬라이더가 출시되면 이러한 번거로운 작업이 필요 없어집니다. 프로즌 티어에 대한 자세한 내용은 검색 가능한 스냅샷 블로그, 검색 가능한 스냅샷 제품 설명서 또는 데이터 티어 제품 설명서에서 확인하실 수 있습니다.


이 문서에 설명된 기능의 릴리즈 여부 및 시기는 Elastic의 단독 재량에 따릅니다. 현재 이용할 수 없는 기능은 정시에 또는 전혀 제공되지 않을 수 있습니다.

We're hiring

Work for a global, distributed team where finding someone like you is just a Zoom meeting away. Flexible work with impact? Development opportunities from the start?