새로운 프로즌 티어에서 검색 성능을 기존 Elasticsearch 데이터 티어와 비교하는 방법과 프로즌 티어에서 훨씬 더 많은 양의 데이터를 저장하고 검색하는 방법에 대해 알아보세요.

blog-banner-tree-icicles.jpg

blog-thumb-tree-icicles.jpg

Querying a petabyte of cloud storage in 10 minutes

10분 이내에 페타바이트 규모의 클라우드 저장 공간 쿼리 작업

콜드 티어가 Elasticsearch 7.11에서 정식 버전으로 제공됩니다. 이 기능이 완벽하게 작동하는지 확인하기 위해 어떤 테스트를 수행했는지 알아보세요.

Elasticsearch 7.10에서 베타 버전으로 제공되었던 검색 가능한 스냅샷의 <a href="/guide/en/elasticsearch/reference/7.11/searchable-snapshots.html">콜드 티어</a>가 이제 <a href="/kr/blog/whats-new-elastic-7-11-0-searchable-snapshots-schema-on-read">Elasticsearch 7.11에서 정식 버전으로 출시</a>되었습니다. 이 새로운 데이터 티어를 사용하면 핫 티어 및 웜 티어와 동일한 수준의 안정성과 중복성을 유지하면서 웜 티어와 비교하여 클러스터 저장 공간을 최대 50% 절감할 수 있습니다.&nbsp;
이 블로그에서는 Elastic에서 진행했던 시나리오를 함께 살펴보면서 콜드 티어가 대규모에서도 원활하게 작동하는지 확인하고, Elastic에서 솔루션의 품질과 안정성을 얼마나 중요하게 생각하는지 짚어봅니다.
<h2>콜드 티어 요약</h2>콜드 티어는 복제본 샤드의 필요성을 없애고 대신 스냅샷(AWS S3, Google Storage 또는 Microsoft Azure Storage와 같은 객체 스토어에 저장)을 사용하여 필요한 복원력을 제공함으로써 기본 샤드만 로컬 저장 공간에 보관하여 클러스터 비용을 절감합니다. 로컬 저장 공간은 기본적으로 리포지토리에 있는 스냅샷 데이터의 캐시된 버전처럼 작동합니다.
콜드 노드 또는 로컬 저장 공간에 오류가 발생하는 경우 검색 가능한 스냅샷에서 자동으로 복구를 수행하며 해당 샤드를 다른 노드로 리밸런싱합니다.
<a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-full">전체 클러스터</a> 또는 <a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-rolling">롤링</a> 재시작(또는 노드 재부팅)의 경우 로컬 저장 공간이 지속적으로 유지되며 로컬에서 사용 가능한 데이터는 스냅샷에서 다시 다운로드되지 않으므로, 정상 클러스터로 돌아가는 데 필요한 시간을 최소화할 수 있을 뿐만 아니라 불필요한 네트워크 비용도 방지할 수 있습니다.
운영 규모가 확장되어도 이 모든 기능이 정상적으로 작동하는지 확인하기 위해 다음 요소를 사용한 세 가지 시나리오에 검증 노력을 집중했습니다.
<ul>
	<li>Elasticsearch 노드 5개(16G 힙)</li>
	<li>RAID-0 구성의 2TB 마그네틱 디스크 6개</li>
	<li>각각 5개의 샤드가 있는 10개의 인덱스에 분산된 <a href="https://github.com/elastic/rally-eventdata-track#elasticlogs_bulk_source">로깅 데이터</a>가 하나의 세그먼트로 강제 병합된 5TB 스냅샷(강제 병합은 읽기 액세스를 위한 인덱스를 최적화하고 장애 발생 시 복원해야 하는 파일 수를 줄임)</li>
</ul><h2>시나리오 1: 전체 클러스터 재시작</h2>검증한 첫 번째 시나리오는 <a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-full">전체 클러스터 재시작</a>이었습니다. 이를 확인하기 위해 다음 단계를 수행했습니다.
<ol>
	<li>5TB의 검색 가능한 스냅샷을 마운트하고 로컬 캐시가 완전히 사전 워밍업될 때까지 기다립니다(페이즈 0).</li>
	<li><a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-full">전체 클러스터 재시작 지침</a>에 따라 전체 클러스터 재시작을 실행합니다.</li>
	<li>할당을 다시 활성화한 후 클러스터가 다음을 완료하는 데 걸리는 시간을 측정합니다.
	<ol>
		<li style="list-style-type: lower-alpha;">정상 상태로 전환</li>
		<li style="list-style-type: lower-alpha;">모든 백그라운드 다운로드를 완료하여 캐시 사전 워밍업</li>
	</ol></li>
	<li>3단계 이후에 추가로 샤드 리밸런싱이 일어나지 않도록 해야 합니다.</li>
</ol>Elasticsearch 7.11에 새롭게 도입된 영구 계층 덕분에 모든 노드를 시작하고 할당을 재활성화한 후에는 클러스터가 즉시 정상 상태가 되고 백그라운드 다운로드가 발생하지 않았습니다.
아래 그래프를 보면 마운트 중(페이즈 0)과 전체 클러스터 재시작 및 할당 재활성화 후(페이즈 1, 추가 네트워크 트래픽 없음)의 누적 네트워크 트래픽을 확인할 수 있습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt35678fd5b13689c8/60302e8a52b0701387ca3379/blog-cold-tier-testing-1.png" data-sys-asset-uid="blt35678fd5b13689c8" alt="" style="display: block; margin: auto;">
<h2>시나리오 2: 롤링 재시작</h2>검증한 두 번째 시나리오는 일반적인 <a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-rolling">롤링 클러스터 재시작</a> 사례였습니다.
실험 방식은 전체 클러스터 재시작과 비슷했습니다.
<ol>
	<li>5TB의 검색 가능한 스냅샷을 마운트하고 로컬 캐시가 완전히 사전 워밍업될 때까지 기다립니다.</li>
	<li>각 노드를 중지하기 전에 샤드 할당을 비활성화하여 첫 번째 노드에 대한 <a href="/guide/en/elasticsearch/reference/7.11/restart-cluster.html#restart-cluster-rolling">롤링 재시작</a> 절차를 실행합니다.</li>
	<li>노드를 시작하고 샤드 할당을 다시 활성화한 후, 정상 상태로 전환되는 데 걸리는 시간을 측정합니다. 영구 캐시 덕분에 빠르게 전환될 것으로 예상했습니다. 또한 재시작 후 불필요한 백그라운드 다운로드가 발생하지 않도록 했습니다.</li>
	<li>클러스터의 다른 모든 노드에 대해 2단계와 3단계를 반복합니다.</li>
</ol>이 실험 또한 성공적이었습니다. Elasticsearch 7.11에 도입된 영구 캐시 덕분에 거의 즉각적으로 정상 상태로 전환되었으며 스냅샷에서 추가적인 백그라운드 다운로드가 발생하지 않았습니다.&nbsp;
<h2>시나리오 3: 노드 장애</h2>마지막으로 노드 하나에 장애가 발생할 때 적절한 조치가 이루어지는지 확인하고자 다음 실험을 수행했습니다.
<ol>
	<li>5TB의 검색 가능한 스냅샷을 마운트하고 로컬 캐시가 완전히 사전 워밍업될 때까지 기다립니다(페이즈 0).</li>
	<li>Elasticsearch 노드 5개 중 하나(node-1)를 <code>SIGKILL</code>을 사용하여 종료하고 클러스터가 다시 정상 상태로 바뀔 때까지 기다립니다(페이즈 1).
	<ol>
		<li style="list-style-type: lower-alpha;">종료된 노드에 호스팅된 샤드로부터 데이터를 수신하는 것과 백그라운드 다운로드가 관련이 있는지 확인합니다.</li>
		<li style="list-style-type: lower-alpha;">정상 상태로 전환된 후에는 추가적인 리밸런싱이 수행되어서는 안 됩니다.</li>
	</ol></li>
	<li>장애가 발생한 노드를 다시 시작합니다(페이즈 2).
	<ol>
		<li style="list-style-type: lower-alpha;">나머지 노드 4개에 모든 데이터가 있으므로 피어 복구만 수행하여 샤드를 리밸런싱해야 합니다.</li>
		<li style="list-style-type: lower-alpha;">클러스터가 정상 상태로 전환되어야 합니다.</li>
	</ol></li>
</ol>이번 실험도 성공적이었습니다. node-1이 종료된 후, 나머지 노드가 종료된 노드에 호스팅된 샤드를 검색 가능한 스냅샷에서 자동으로 복원했습니다.
노드별 네트워크 트래픽을 시각화한 아래 차트에서 볼 수 있듯이, 클러스터가 정상 상태로 전환된 후에는 추가적인 리밸런싱이 발생하지 않았습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt01e78a88fe879418/60302ea42568577267da67a3/blog-cold-tier-testing-2.png" data-sys-asset-uid="blt01e78a88fe879418" alt="" style="display: block; margin: auto;">
누락된 노드를 되살린 후에는 피어 복구가 시작되었고 균등하게 분산된 클러스터를 만들기 위해 필요한 양만큼의 샤드를 node-1이 다시 호스팅하게 되었습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt123c74ca4a9ccb9c/60302eb5b6ea0f77f34edd6a/blog-cold-tier-testing-3.png" data-sys-asset-uid="blt123c74ca4a9ccb9c" alt="" style="display: block; margin: auto;">
<h2>지금 바로 시작</h2>지금까지 기능 검증을 수행해 보았는데요. 흥미로운 시간이 되셨길 바랍니다!
검색 가능한 스냅샷을 시작하고 콜드 티어에 데이터를 저장하려면 <a href="https://info.elastic.co/elasticsearch-service-trial-30d.html">Elastic Cloud</a>에서 클러스터를 구동하거나 Elastic Stack의 <a href="/kr/downloads/">최신 버전을 설치</a>하세요. 이미 Elasticsearch를 실행 중이신가요? 그렇다면 클러스터를 7.11로 업그레이드하신 후 다시 사용해 보세요. 자세한 내용은 <a href="/guide/en/elasticsearch/reference/7.11/data-tiers.html">데이터 티어</a> 및 <a href="/guide/en/elasticsearch/reference/7.11/searchable-snapshots-apis.html">검색 가능한 스냅샷</a> 설명서에서 확인하실 수 있습니다.

blog-banner-ice-crystals.jpg

blog-thumb-ice-crystals.jpg

Testing the new Elasticsearch cold tier of searchable snapshots at scale

검색 가능한 스냅샷의 새로운 Elasticsearch 콜드 티어를 대규모 운영 환경에서 테스트

더 간단한 구성, 더 빠른 마스터 선출, 간편한 확장, 향상된 복원력을 제공하는 Elasticsearch 7.0의 새로운 클러스터 조정 하위 시스템을 만나보십시오.

juggler.jpg

juggler-coordination-layer.jpg

A new era for cluster coordination in Elasticsearch

새로운 시대를 맞이하는 Elasticsearch의 클러스터 조정

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Yannick Welsch

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Yannick Welsch

10분 이내에 페타바이트 규모의 클라우드 저장 공간 쿼리 작업

검색 가능한 스냅샷의 새로운 Elasticsearch 콜드 티어를 대규모 운영 환경에서 테스트

새로운 시대를 맞이하는 Elasticsearch의 클러스터 조정

Sign up for Elastic Cloud free trial