새로운 최근접 유사 항목 검색 기능, 최신 자연어 처리 모델에 대한 네이티브 지원 및 간소화된 보안 경험을 통해 Elastic 8.0은 차세대 검색 기반 솔루션을 위한 기반을 마련합니다.

이것은 시작에 불과합니다…

blog-thumbnail-generic-release.png

Elastic 8.0: A new era of speed, scale, relevance, and simplicity

Elastic 8.0: 속도, 확장성, 정확도 및 단순성의 새로운 시대

Elastic 통합을 사용하면 데이터를 대규모로 안전하게 수집, 저장, 검색 및 분석할 수 있습니다. 데이터를 쉽게 수집하고, 직관적인 UI로 탐색하고, 팀과 시스템 전반에서 데이터를 실행 가능한 인사이트로 전환하고 워크플로우를 간소화해 보세요.

reference-line-dark-better.png

blog_thumb_release_platform.png

Elasticsearch, Kibana, and Elastic Cloud 7.16: Integrations and more actionable insights

Elasticsearch, Kibana, Elastic Cloud 7.16: 통합 및 실행 가능한 인사이트

7.12에서 프로즌 티어 기술 미리보기를 공개하게 되어 매우 기쁩니다. 프로즌 티어는 S3와 같은 객체 스토어를 직접 검색하여 무제한의 데이터를 최대한 저렴한 비용으로 저장하고 검색할 수 있도록 지원하는 기능입니다.

<p>7.12에서 프로즌 티어 기술 미리보기를 공개하게 되어 매우 기쁩니다. 이제 저장 공간에서 컴퓨팅을 완전히 분리하고 AWS S3, Microsoft Azure Storage 및 Google Cloud Storage와 같은 객체 스토어에서 데이터를 직접 검색할 수 있습니다. 데이터 티어 여정의 다음 주요 이정표인 프로즌 티어는 대량의 데이터를 장기간 매우 저렴한 비용으로 저장하는 동시에 완전히 검색 가능하고 활성화된 상태를 유지함으로써 데이터 접근성을 크게 확대했습니다.&nbsp;
</p><p>Elastic에서는 빠른 속도를 위한 핫 티어와 성능은 낮지만 저렴한 웜 티어 등 데이터 수명 주기 관리를 위해 오랫동안 여러 데이터 티어를 지원해왔습니다. 두 티어 모두 기본 데이터와 중복 복사본을 저장하는 데 로컬 하드웨어를 활용합니다. 좀 더 최근에는, 중복 복사본을 로컬에 저장할 필요를 없애 동일한 용량의 하드웨어에 웜 티어 대비 2배의 데이터를 저장할 수 있는 콜드 티어를 도입했습니다. 최적의 성능을 위해 기본 데이터는 여전히 로컬에 저장되지만, 콜드 티어의 인덱스는 검색 가능한 스냅샷에 백업되며 이 스냅샷은 중복성을 위해 객체 스토어에 저장됩니다.&nbsp;
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt19095cb5707a02ca/6055113796151d0ef942a673/Price_Performance.PNG" data-sys-asset-uid="blt19095cb5707a02ca" alt="Price_Performance.PNG" style="display: block; margin: auto;">
</p><p>프로즌 티어는 여기에서 한 단계 더 나아가 데이터를 로컬에 저장할 필요성을 모두 없앱니다. 대신, 검색 가능한 스냅샷을 사용하여 객체 스토어에 저장된 데이터를 직접 검색합니다. 먼저 리하이드레이션할 필요가 없습니다. 로컬 캐시는 반복 검색의 성능을 최적화하기 위해 최근에 쿼리된 데이터를 저장합니다. 따라서 저장 공간 비용이 크게 감소하여 핫 티어 또는 웜 티어 대비 최대 90%, 콜드 티어 대비 최대 80%까지 비용이 절감됩니다. 완전 자동화된 데이터 수명 주기는 이제 핫에서 웜, 콜드, 그리고 프로즌으로 완성되었으며, 최대한 저렴한 저장 공간 비용으로 필요한 액세스 및 검색 성능을 확보할 수 있습니다.
</p><h2>좋은 데이터의 중요성</h2><p>통합 가시성, 보안, 엔터프라이즈 검색 등 그 목적이 무엇이든, IT 데이터는 기하급수적으로 증가할 수 있습니다. 기업이나 조직에서 하루에 테라바이트 규모의 데이터를 수집하고 검색하는 것은 더 이상 특별한 일이 아닙니다. 이러한 데이터는 일상 업무 수행뿐만 아니라 기록 참조를 위해서도 매우 중요합니다. 보안 조사를 위한 무제한 검색, 추세 파악을 위한 수년간의 APM 데이터 조사, 규제 준수를 위한 간헐적 검색 등은 모두 데이터를 오랜 시간 동안 액세스 가능하도록 유지해야 하는 이유를 보여주는 주요 사용 사례입니다. 그러나 데이터를 쉽게 검색 가능한 방식으로 저장할 수 있는 적절한 도구나 기술이 없다면 이러한 사용 사례를 충족하는 데 매우 큰 비용이 들 수 있습니다.
</p><div class="video embed-container" style="height: 319.725px;">
	<img class="vidyard-player-embed" src="https://videos.elastic.co/watch/pNAEdpYwEYBriYvkAaR6Ci?" data-uuid="pNAEdpYwEYBriYvkAaR6Ci?" data-v="4" data-type="inline" data-autoplay="1" data-loop="1" data-disable_analytics="1" data-hidden_controls="1" data-muted="1" disable_analytics="1" style="width: 100%; margin: auto; display: block;">
	<p>바로 여기에서 프로즌 티어가 중요한 역할을 합니다. 프로즌 티어를 사용하면 S3 또는 다른 객체 스토어에 데이터를 아카이브할 때 드는 정도의 비용으로 수년간의 데이터를 경제적으로 저장할 수 있으므로, 이러한 사용 사례를 충분히 지원할 수 있습니다. 주요 차이점은 프로즌 티어의 경우 Elasticsearch에서 데이터를 모두 검색할 수 있으며 프로즌 티어에서 데이터를 가져오는 Kibana 대시보드가 원활하게 작동한다는 것입니다. 아카이브에서 직접 데이터를 찾아 가져오고, 복원한 다음, 검색 가능하게 전환하는 작업은 더 이상 필요가 없습니다. 보존할 데이터와 삭제할 데이터들 사이에서 고민하고 선택할 필요도 없습니다. 이제 프로즌 티어를 사용하면 이 모든 것이 쉽고 매끄럽게 진행됩니다.
	</p>
	<h2>작동 방식</h2>
	<p>프로즌 티어는 검색 가능한 스냅샷을 활용하여 저장 공간과 컴퓨팅을 분리합니다. 데이터가 LIM(인덱스 수명 주기 관리) 정책에 따라 웜 또는 콜드 티어에서 프로즌 티어로 마이그레이션되면 로컬 노드의 인덱스가 S3 또는 선택한 객체 스토어로 마이그레이션됩니다. 콜드 티어는 인덱스를 객체 스토어로 마이그레이션하지만, 빠르고 일관된 검색을 위해 전체 데이터의 복사본 하나를 로컬 노드에 유지합니다. 반면에 프로즌 티어는 로컬 복사본을 모두 없애고 객체 스토어에서 데이터를 직접 검색합니다. 반복 검색의 속도를 높이기 위해 최근에 쿼리된 데이터의 로컬 캐시를 구축하지만, 캐시 크기는 프로즌 티어에 저장된 전체 데이터 크기의 일부분에 불과합니다.
	</p>
	<p>일반적으로 10%가 로컬 캐시에 유지됩니다. 따라서 적은 수의 로컬 티어 노드로 수백 테라바이트의 프로즌 티어 데이터를 처리할 수 있습니다. 간단히 비교하자면, 64GB RAM이 탑재된 일반적인 웜 티어 노드로 10TB를 관리하는 경우 동일한 콜드 티어 노드로 2배인 20TB를 관리할 수 있으며 프로즌 티어 노드로는 최대 100TB까지 관리할 수 있습니다. 즉, RAM 대 저장 공간 비율이 1 대 1,500에 달하며 이는 보수적으로 잡은 추정치입니다.
	</p>
	<h2>비용 대비 성능</h2>
	<p>그렇다면 상충 관계에 있는 것은 무엇일까요? 짐작하시겠지만, 바로 성능입니다. 이것이 바로 Elastic에서 다양한 데이터 티어를 제공하는 이유입니다. 사용자는 조직에 적합한 ILM 정책을 유연하게 정의하여 핫, 웜, 콜드 및 프로즌 티어에 상주해야 하는 데이터의 양과 기간을 결정할 수 있습니다. 간헐적으로 검색하고 다른 티어보다 빠른 성능이 필요하지 않는 데이터를 프로즌 티어에 저장해야 합니다.
	</p>
	<p>또한 Elastic에서는 느리게 실행되는 검색에도 가능한 최상의 사용자 경험을 제공할 수 있도록 하는 최적화에도 큰 진전을 이뤘습니다. Elasticsearch에 적용되는 비동기식 검색 기능을 개발했는데, 백그라운드에서 대시보드를 렌더링하고 나중에 검색할 수 있으므로 Kibana에서 자연스러운 사용자 경험이 제공됩니다. 그 외에도 사전 필터링과 일치하지 않는 인덱스 건너뛰기, 가능한 경우 검색 조기 종료, 텍스트 검색에 block-max WAND 사용 등 느린 실행 쿼리의 속도를 높이기 위해 일련의 쿼리 효율성 개선 사항을 릴리즈했습니다.&nbsp;
	</p>
	<p>Elasticsearch에서는 기본적으로 모든 데이터가 색인됩니다. 따라서 데이터 자체를 스캔할 필요 없이 간결한 인덱스 구조를 활용하여 대규모 데이터 세트에 대한 결과를 매우 빠르게 반환할 수 있으므로 프로즌 티어에서 데이터 검색이 특히 효율적으로 이루어집니다. 게다가 검색 가능한 스냅샷의 장점 중 하나가 Lucene에 대한 깊이 있는 전문 지식을 사용하여 쿼리에 응답하는 데 꼭 필요한 인덱스의 하위 집합만 가져온다는 것입니다.&nbsp;
	</p>
	<p>이러한 최적화 기능들이 한데 모여 프로즌 티어를 검색할 때 가장 빠르고 뛰어난 사용자 경험을 보장합니다. 또한 ILM 정책을 더 쉽고 빠르게 설정하고 구성할 수 있도록 새롭게 디자인된 ILM UI가 지원되므로 이제 완전한 Elastic 데이터 티어 세트를 빠르고 효과적으로 사용하는 데 필요한 모든 도구가 갖춰졌습니다.
	</p>
	<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5c8881aefd7d6699/605510378a6d130ee5e8289c/ILM_policy_summary.gif" data-sys-asset-uid="blt5c8881aefd7d6699" alt="ILM_policy_summary.gif" style="display: block; margin: auto;">
	</p>
	<h2>퍼블릭 또는 프라이빗 저장 공간, 원하는 대로 선택<br>
	</h2>
	<p>Elastic은 언제나 사용자에게 최소한의 개입으로 최대한의 유연성을 제공하기 위해 노력해 왔습니다. AWS S3, Azure Cloud Storage, Google Cloud Storage 및 MinIO에 대한 공식 지원 외에도, Elastic에서는 원하는 S3 호환 객체 스토어를 테스트하여 검색 가능한 스냅샷, 콜드 티어 및 프로즌 티어와 연동되는지 검증할 수 있는 리포지토리 테스트 키트를 출시합니다.
	</p>
	<p>쉽게 사용 가능한 API 형태로 제공되는 테스트 키트를 통해 자체 S3 호환 객체 스토어에 대해 일련의 간이 테스트를 실행할 수 있습니다. 테스트에 성공한 경우 해당 객체 스토어를 사용하여 스냅샷을 저장하고 검색할 수 있으며 이를 콜드 티어 및 프로즌 티어의 객체 스토어로 사용할 수 있습니다. 이 키트는 검증 테스트 키트이므로 검증을 통과한 해당 S3 호환 저장 공간을 Elastic에서 공식적으로 지원하는 것은 아닙니다. 문제가 발견된 경우 Elastic에서 이를 해결하기 위해서는 지원되는 S3 디바이스에서 해당 문제를 재현할 수 있어야 합니다.
	</p>
	<h2>타임라인</h2>
	<p>프로즌 티어는 Elastic 7.12에서 기술 미리보기로 소개되고 있습니다. 핫, 웜 및 콜드 티어는 이미 정식 버전으로 제공되고 있으며 콜드 및 프로즌 티어를 지원하는 검색 가능한 스냅샷 기능도 마찬가지입니다. 프로즌 티어는 Elastic Cloud 7.12에서도 사용할 수 있으며 더 간단하고 즉시 사용 가능한 슬라이더가 곧 제공될 예정입니다.&nbsp;
	</p>
	<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb103c49e6ead8214/60550fadcc77b20f047a8d4a/TIme_Line.PNG" data-sys-asset-uid="bltb103c49e6ead8214" alt="TIme_Line.PNG" style="display: block; margin: auto;">
	</p>
	<h2>지금 바로 시작</h2>
	<p>프로즌 티어를 시작하려면 <a href="https://info.elastic.co/elasticsearch-service-trial-30d.html">Elastic Cloud</a>에서 클러스터를 구동하거나 Elastic Stack의 최신 버전을 설치하세요. 이미 Elasticsearch를 실행 중이신가요? 그렇다면 클러스터를 7.12로 업그레이드하신 후 다시 사용해 보세요. Elastic Cloud에서 사용해 보고 싶으시다면 <a href="/guide/en/elasticsearch/reference/7.12/searchable-snapshots.html#searchable-snapshots-frozen-tier-on-cloud">Elastic Cloud 설명서</a>에서 자세한 내용을 알아보세요. 프로즌 슬라이더가 출시되면 이러한 번거로운 작업이 필요 없어집니다. 프로즌 티어에 대한 자세한 내용은 <a href="/kr/blog/introducing-elasticsearch-searchable-snapshots">검색 가능한 스냅샷 블로그</a>, <a href="/guide/en/elasticsearch/reference/7.12/searchable-snapshots.html">검색 가능한 스냅샷 제품 설명서</a> 또는 <a href="/guide/en/elasticsearch/reference/7.10/data-tiers.html">데이터 티어 제품 설명서</a>에서 확인하실 수 있습니다.
	</p>
	<p><br>
	</p>
	<p><em>이 문서에 설명된 기능의 릴리즈 여부 및 시기는 Elastic의 단독 재량에 따릅니다. 현재 이용할 수 없는 기능은 정시에 또는 전혀 제공되지 않을 수 있습니다.</em><br>
	</p>
</div>

blog-banner-generic-elastic.png

blog-thumb-generic-elastic.png

Directly search S3 with the new frozen tier

새로운 프로즌 티어로 S3를 직접 검색

7.10에서 저장 공간 비용을 줄이면서도 성능에 큰 영향을 주지 않고 모든 것을 저장하고 검색할 수 있는 기능인 검색 가능한 스냅샷의 베타 버전을 릴리즈하게 되어 매우 기쁩니다.

<p>7.10에서 검색 가능한 스냅샷의 베타 버전을 릴리즈하게 되어 매우 기쁩니다. 검색 가능한 스냅샷은 여러분께서 선택한 Object Store 즉, 객체 저장소(AWS S3, Microsoft Azure Storage, Google Cloud Storage 또는 이에 상응)를 사용하여 스토리지 비용을 크게 절감하고 Elastic Stack에 더 많은 데이터를 수집하고 보유하는 방법을 획기적으로 바꿀 수 있는 기능입니다. Elastic에서는 오랫동안 저렴한 객체 저장소에 데이터를 백업할 수 있도록 지원해왔지만 이제 검색 가능한 스냅샷을 통해 데이터 저장 및 검색에 적극적으로 활용하실 수 있습니다.
</p><p>검색 가능한 스냅샷을 사용하여 콜드 티어(7.10에서 베타로 제공)와 향후 프로즌 티어라는 두 가지 새로운 일급 데이터 티어를 지원할 예정입니다. 빠른 속도를 위한 핫 티어와 성능은 낮지만 저렴한 웜 티어 등 데이터 수명 주기 관리를 위해 오랫동안 여러 데이터 티어를 지원해왔습니다. 검색 가능한 스냅샷에서 지원하는 새로운 콜드 티어는 데이터의 중복 사본(Replica)을 저렴한 객체 저장소로 오프로드하여 읽기 전용 데이터의 로컬 저장 공간 밀도를 높임으로써 저장 공간 비용을 최대 50%까지 줄일 수 있습니다. 현재 개발 중인 프로즌 티어는 여기에서 한 걸음 더 나아가 데이터를 오로지 저렴한 객체 저장소에만 저장하면서도 모든 데이터를 검색 가능한 상태로 유지하고 자주 액세스하는 데이터를 빠르게 쿼리할 수 있도록 로컬 캐시를 제공합니다. Elastic에서 구축하는 다른 기능과 마찬가지로 검색 가능한 스냅샷이 객체 저장소에서 데이터를 로드하고 관리하고 검색하는 방법을 직접 제어할 수 있도록 API가 제공됩니다. 이러한 새로운 기능을 사용하면 Elastic에서 갈수록 증가하는 데이터 볼륨을 좀 더 쉽고 저렴하게 관리할 수 있습니다. 즉, 데이터 보존 요구 사항을 비용 효율적으로 충족하는 동시에 보안 조사를 위해 무제한 룩백을 실행하거나 블랙 프라이데이의 전년 대비 성과를 비교하는 등 새로운 사용 사례를 지원할 수 있습니다.
</p><h2>진화로의 여정</h2><p>시계열 데이터는 어디에나 있습니다. 로그, 메트릭, Trace, 보안 이벤트도 시계열 데이터로, 보안과 통합 가시성 사용 사례, 그리고 그 외 많은 사용 사례에서 중추적인 역할을 합니다. Elatsic에서는 시간이 지남에 따라 이러한 데이터를 더 쉽고 빠르며 효율적으로 관리하고 확장할 수 있도록 지속적으로 투자해 왔습니다. 데이터의 증가 속도를 생각하면 이는 정말 중요한 부분입니다. 예를 들어, 매일 1 테라바이트의 데이터를 수집하고 있는 경우&nbsp;일주일이면 7 테라바이트가 됩니다. 몇 년이 지나면 금방 페타바이트 규모로 데이터가 증가합니다. 사용자는 이렇게 기하급수적으로 증가하는 저장 공간을 관리하면서도 여전히 데이터를 검색할 수 있는 방법이 필요합니다.
</p><p>Elastic에서는 데이터 수명 주기를 통해 이 문제를 해결할 수 있는 방법을 찾았습니다. 데이터가 처음 수집되면 자주 검색될 가능성이 높습니다. 예를 들어 사고를 조사하는 경우 문제를 식별하고 해결하기 위해 모든 관련 데이터에 빠르게 액세스해야 합니다. 공격자가 호스트 또는 애플리케이션을 손상시킬 때, 신속한 대응 능력이 침해의 영향을 결정하는 경우가 많습니다. 데이터도 소스 또는 유형에 따라 다양한 사용 수준으로 분류할 수 있습니다. 일부 데이터는 법적 또는 규정 준수 용도로만 보관하거나 비교 목적으로 가끔 룩백을 수행할 필요가 있을 수 있습니다. 따라서 사용자는 기간, 데이터 소스 또는 기타 기준 등 서로 다른 요구 수준에 맞는 다양한 수준의 저장 공간 및 처리 능력이 필요합니다.
</p><p>Elastic에서는 사용자의 요구 사항에 맞춰 비용, 성능 및 기능 간에 균형을 유지할 수 있도록 지원해왔습니다. 여기에는 스택의 모든 레벨에 대한 투자가 포함되지만, 접근 방식의 핵심축은 데이터 수명 주기를 관리하는 데이터 티어입니다. 이 개념은 새로운 것이 아니며 Elasticsearch의 초기 버전부터 존재해 왔습니다. 인덱스 수명 주기 관리(ILM)는 핫 노드(SSD를 포함하는 빠른 시스템)와 웜 노드(회전 디스크가 있을 수 있는 저렴한 시스템) 전체에 걸쳐 데이터를 쉽게 관리할 수 있는 몇 가지 규칙을 제공하며, Elastic Cloud에서는 수년간 이를 지원해 왔습니다. 스냅샷 수명 주기 관리(SLM)를 활용하면 AWS, Google, Azure 및 온-프레미스 저장 공간 공급업체의 저렴한 객체 저장소를 사용하여 더욱 쉽게 백업을 수행하고 저장할 수 있습니다. 이러한 스냅샷은 많은 배포에서 핵심적인 역할을 했지만 데이터 티어링에는 활발히 사용되지 않았습니다. 왜 그럴까요? 스냅샷이 검색 가능하지 않았기 때문입니다. 그러나 이제 검색 가능한 스냅샷으로 이 모든 것이 바뀝니다. 이 기능을 통해 저렴한 객체 저장소를 활용하면서 동시에 백업에 생명력을 불어넣을 수 있는 새롭고 저렴한 데이터 티어를 만들 수 있게 되었습니다.
</p><h2>검색 가능한 스냅샷 소개</h2><p>S3 및 다른 객체 저장소를 완전히 새로운 방식으로 사용할 수 있다는 점에서 검색 가능한 스냅샷은 정말 획기적입니다. 백업 데이터를 스냅샷으로 저장하는 데 객체 저장소를 계속 사용할 수도 있지만, 이제 Elasticsearch에서 스냅샷을 바로 검색할 수 있게 하여 객체 저장소를 항상 온라인 상태로 사용 가능하게 유지함으로써 객체 저장소에 생명력을 불어넣을 수 있습니다. 이 기능을 구축하고 우수한 경험을 제공하기 위해 Kibana부터 Elasticsearch, 그리고 Lucene까지 제품의 모든 계층을 변경했습니다. 실제로 Lucene에 대한 심층적인 전문 지식을 사용하여 쿼리에 응답하거나 대시보드를 로드하는 데 꼭 필요한 스냅샷 인덱스의 하위 집합만 가져오도록 검색 메커니즘을 최적화했습니다. 검색 가능한 스냅샷을 사용하면 S3 또는 다른 객체 저장소의 스냅샷 지원 인덱스에서 데이터를 빠르고 원활하게 복구하거나 검색할 수 있으며, 이를 통해 더 낮은 비용으로 더 큰 가치를 제공하는 새로운 데이터 티어를 개발할 수 있게 되었습니다.
</p><h3>콜드 티어</h3><p>7.10 릴리즈에서 베타 버전으로 제공되는 새로운 콜드 티어는 웜 티어와 비교하여 클러스터 저장 공간을 최대 50%까지 줄입니다. 핫 티어 및 웜 티어와 동일한 수준의 안정성과 중복성을 유지하며 어떤 노드에서나 하드웨어 장애 시 자동 복구를 완벽하게 지원합니다. 따라서 “현재 급증 상황을 지난달과 비교하면 어떻게 됩니까?” 또는 “이 사용자가 지난 6개월 동안 제한된 시스템에 로그인한 적이 있나요?”와 같은 데이터에 대한 질문에 훨씬 더 비용 효율적으로 대답할 수 있습니다.
</p><p>작동 방식을 설명해 드리죠. 핫 티어와 웜 티어에서는 디스크의 절반이 복제본 샤드를 저장하는 데 사용됩니다. 이러한 중복 복사본은 빠르고 일관된 쿼리 성능을 보장하고 시스템 장애 시 복원력을 제공합니다. 장애가 발생하면 복제본이 원활하게 기본 샤드로 승격되고 색인과 검색이 중단 없이 계속됩니다. 
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltab265f0cc2b23f59/5fb58cd342256d5ffdf4473b/diagram-primary-shard-disk-replica-shard.jpg" data-sys-asset-uid="bltab265f0cc2b23f59" alt="diagram-primary-shard-disk-replica-shard.jpg">
</p><p>하지만 데이터가 읽기 전용이 되면 중복성을 쉽게 오프로드할 수 있습니다. 스냅샷 리포지토리는 이 작업에 매우 적합합니다. 로컬 SSD 또는 회전 디스크보다 S3에 데이터를 저장하는 것이 훨씬 저렴하기 때문입니다. 콜드 티어에서는 복제본 샤드가 S3에 스냅샷으로 저장됩니다. 그 결과, 쿼리 성능에 큰 영향 없이 이전과 동일한 비용으로 콜드 노드의 사용 가능 용량이 두 배로 늘어났습니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf83d69b7e5f12449/5fb58cf609ed4c6f277ee4ae/diagram-higher-performing-disk-es-snapshot-on-s3.jpg" data-sys-asset-uid="bltf83d69b7e5f12449" alt="diagram-higher-performing-disk-es-snapshot-on-s3.jpg">
</p>	<p>콜드 티어에서 로컬 노드 또는 디스크에 장애가 발생하는 경우 검색 가능한 스냅샷을 사용하여 S3에 스냅샷으로 저장된 복제본 인덱스를 통해 자동으로 복구하므로, 일반적인 스냅샷 복원에 걸리는 시간보다 훨씬 짧은 시간에 이러한 인덱스를 사용하여 검색 요청을 처리할 수 있습니다. 콜드 티어는 이렇게 운영됩니다.
</p><h3>프로즌 티어</h3><p>보안 조사를 위해 무제한 룩백을 실행하거나 APM에서 원시 데이터로 드릴다운하여 지난 2년간 고객의 행동 변화를 확인할 수 있다면 어떨까요? 이때 프로즌 티어가 필요합니다. 프로즌 티어는 이전에는 Elasticsearch를 사용하기에 비용 효율적이지 않았던 데이터 유형과 볼륨이 모두 포함된 완전히 새로운 사용 사례를 지원할 수 있습니다. 검색 가능한 S3라는 개념이 비즈니스 목표에 얼마나 강력한 영향을 미칠 수 있는지 생각해 보세요. 현재 활발하게 개발 중인 프로즌 티어를 사용하면 S3 또는 원하는 객체 저장소에 저장된 데이터를 직접 검색할 수 있게 됩니다. 프로즌 티어가 있다면 데이터를 로컬에 저장할 필요가 전혀 없습니다. 모두 S3에 스냅샷으로 저장하면 됩니다. 그리고 감사 또는 보안 조사를 위해 데이터에 액세스해야 하더라도 프로즌 데이터를 가져와 리하이드레이션할 필요가 없습니다. 프로즌 티어의 멋진 점이죠. 검색 가능한 스냅샷을 사용하여 직접 쿼리를 실행할 수 있습니다. 
</p><p>Elastic에서는 프로즌 티어를 통해 S3에 데이터를 저장하는 비용에 근접한 비용으로 필요할 때 거의 무제한의 데이터를 검색할 수 있는 전례 없는 기능을 제공하고자 합니다. 완전 자동화된 데이터 수명 주기는 핫에서 웜, 콜드, 그리고 프로즌으로 완성되며, 최대한 저렴한 저장 공간 비용으로 필요한 액세스 및 검색 성능을 유지하도록 보장합니다. 
</p><h3>최상의 사용자 경험을 제공하도록 최적화</h3><p>새롭고 혁신적인 기능을 출시하는 것은 중요하며 Elastic에서는 언제나 고객을 위해 이를 구현하려고 최선을 다하고 있습니다. 중요한 또 다른 요소는 최상의 사용자 경험을 제공하기 위해 다른 모든 요소가 새로운 기능과 조화롭게 작동하도록 보장하는 것입니다. 
</p><ul>
	<li>데이터 티어 구성 간소화: 데이터 티어를 설정하는 방식과 데이터 노드에 지정하는 새로운 역할로 ILM 정책을 구성하는 방식을 대폭 간소화했습니다. 이는 인덱스 수명 주기 관리(ILM)를 사용할 때 Elastic Stack에서 데이터를 적절한 티어에 자동으로 할당하는 데 사용됩니다. </li>
	<li>비동기식 검색: S3를 빠르게 검색할 수 있도록 최선을 다했지만, Elastic에서 모든 검색을 요술처럼 즉각적으로 처리할 수는 없습니다. S3에 대한 쿼리는 밀리초보다 조금 더 오래 걸립니다. 쿼리 실행 시 가능한 최상의 사용자 경험을 제공하고자 Elasticsearch에서 비동기식 검색 메커니즘을 개발했습니다. 비동기식 검색은 Kibana에서 장기 실행 쿼리에 대한 사용자 경험을 현저히 개선합니다. 이제 결과를 기다릴 필요 없이 검색 요청을 비동기식으로 실행할 수 있습니다. 대신, 요청 진행 상황을 모니터링하고 나중에 결과를 확인할 수 있습니다. 검색이 완료되기 전에 사용 가능한 결과를 부분적으로 확인할 수도 있습니다. </li>
	<li>쿼리 효율성: 검색을 실행할 때 일치하지 않거나 불필요한 인덱스 검색을 건너뛸 수 있도록 일련의 개선 사항을 도입했습니다. 예를 들어 일치하는 항목이 없다는 것을 알고 있는 인덱스는 데이터의 시간 또는 다른 속성에 따라 사전 필터링하여 자동으로 건너뜁니다. 또한 텍스트 검색에 Block-Max WAND를 사용하고 검색하는 샤드를 정렬하는 정렬된 쿼리를 사용하여 일치하는 항목이 충분히 있을 때 검색을 중단하는 등 가능한 경우 검색을 일찍 종료합니다.  </li>
</ul><p>각 개선 사항은 그 자체만으로도 가치를 제공하지만 함께 사용될 때 그 가치는 배가됩니다. 기능을 개발할 때 항상 더 큰 그림을 염두에 두고 있으며 Elastic Stack에서 이미 제공하는 모든 기능과 원활하게 연동되도록 연결하고 있습니다.
</p><h3>사용 사례 및 솔루션 해결</h3><p>S3와 같은 객체 저장소에서 검색 가능한 스냅샷으로 수년간의 로그, 메트릭, APM 추적을 쉽고 비용 효과적으로 검색할 수 있다면 어떤 가치를 실현할 수 있을지 상상해 보세요. 데이터 리하이드레이션은 이제 그만! 검색 가능한 스냅샷과 Elastic Observability를 사용하면 검색을 수행하기 전에 스냅샷에서 인덱스를 복원하는 느리고 비용이 많이 드는 프로세스를 거치지 않고도 아카이브된 수년간의 데이터를 직접 쿼리할 수 있습니다. 
</p><p>검색 가능한 스냅샷을 통해 위협 추적가 및 분석가가 S3와 같은 객체 저장소에 수년 동안 축적된 대량의 보안 데이터 소스에 쉽게 액세스하도록 지원할 수 있다면 어떨까요? 검색 가능한 스냅샷과 Elastic Security를 사용하면 IDS, NetFlow, DNS, PCAP 또는 엔드포인트 데이터와 같은 대량의 보안 관련 데이터를 더 큰 규모로 수집하고, 검색 가능성을 유지하면서 비용을 절감하는 새로운 데이터 티어에서 이전보다 더 오랫동안 액세스할 수 있습니다. 
</p><p>마지막으로 검색 가능한 스냅샷을 통해 객체 저장소를 검색하여 큰 비용을 들이지 않고도 모든 애플리케이션 콘텐츠 및 과거 작업 공간 레코드 전체에 걸쳐 검색할 수 있는 기능을 고려해야 합니다. Elastic Stack에서 출시되는 새로운 검색 가능한 스냅샷 기능은 Elastic Enterprise Search에도 유용합니다. 더 큰 규모의 애플리케이션 콘텐츠를 지원하든, S3와 같은 객체 저장소에 안전하게 저장할 수 있는 회사의 과거 레코드를 검색하든, 큰 비용을 들이지 않고도 모든 아카이브된 콘텐츠와 과거의 콘텐츠를 검색 가능한 방식으로 저장할 수 있습니다. 
</p><h2>계속되는 여정</h2><p>7.10에서 검색 가능한 스냅샷과 콜드 티어의 베타 릴리즈를 통해 얻은 큰 성과에 대해 매우 기쁘게 생각합니다. 그리고 앞으로 나아갈 방향에 대해서도 기대가 큽니다. 프로즌 티어와 더불어 Elastic Cloud에서 간단한 슬라이더를 사용하여 사용자의 가입 및 구독 흐름을 크게 간소화한 관리형 콜드 티어와 프로즌 티어도 곧 출시될 예정입니다. 언제나 그렇듯이 Elastic에게는 계속되는 여정이며 릴리즈마다 고객에게 지속적으로 추가적인 가치를 제공한다는 긍지가 저희의 원동력입니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt932bb37af00919be/5fb58d1465bdd35303e03971/diagram-searchable-snapshots-today-next-future.jpg" data-sys-asset-uid="blt932bb37af00919be" alt="diagram-searchable-snapshots-today-next-future.jpg">
</p><h2>지금 시작하세요 </h2><p>검색 가능한 스냅샷을 시작하고 콜드 티어에 데이터를 저장하려면 <a href="https://info.elastic.co/elasticsearch-service-trial-30d.html">Elasticsearch Service</a>에서 클러스터를 구동하거나 Elastic Stack의 <a href="/kr/downloads/">최신 버전을 설치</a>하세요. 이미 Elasticsearch를 실행 중이신가요? 그렇다면 클러스터를 7.10으로 업그레이드하신 후 다시 사용해보세요. 자세한 내용은 <a href="/guide/en/elasticsearch/reference/7.10/data-tiers.html">데이터 티어</a> 및 <a href="/guide/en/elasticsearch/reference/7.x/searchable-snapshots-apis.html">검색 가능한 스냅샷</a> 문서에서 확인하실 수 있습니다.
</p>

AUTHOR

의 글 George Kobar

Elastic 8.0: 속도, 확장성, 정확도 및 단순성의 새로운 시대

Elasticsearch, Kibana, Elastic Cloud 7.16: 통합 및 실행 가능한 인사이트

새로운 프로즌 티어로 S3를 직접 검색

Elasticsearch 검색 가능한 스냅샷 소개

Elastic Cloud 무료 체험판 등록하기

제품과 솔루션

회사 소개

리소스

솔루션

Elastic (ELK) Stack

새 소식

AUTHOR

의 글 George Kobar

Elastic 8.0: 속도, 확장성, 정확도 및 단순성의 새로운 시대

Elasticsearch, Kibana, Elastic Cloud 7.16: 통합 및 실행 가능한 인사이트

새로운 프로즌 티어로 S3를 직접 검색

Elasticsearch 검색 가능한 스냅샷 소개

Elastic Cloud 무료 체험판 등록하기

회사 소개

리소스