새로운 Elastic Stack 기능을 테스트하면서 특정 Linux 커널의 SSD 디스크에 영향을 미치는 Linux 커널 버그를 발견했습니다. 긴밀한 두 파트너 Google Cloud 및 Canonical과 함께 얼마나 훌륭하게 협력하며 조사가 진행되었는지 알아보세요.

Elastic은 끊임없이 새로운 기능을 혁신하고 출시하고 있습니다.&nbsp;새로운 기능을 출시할 때는 반드시 테스트를 거쳐 견고하며 안정적으로 작동하도록 작업 중입니다. 때로는 버그나 다른 문제를 발견하기도 합니다.
새로운 기능을 테스트하면서 특정 Linux 커널의 SSD 디스크에 영향을 미치는 Linux 커널 버그를 발견했습니다. 이 블로그 포스팅에서는 그 조사 작업과 긴밀한 두 파트너 Google Cloud 및 Canonical과 함께 얼마나 훌륭하게 협력하며 조사가 진행되었는지에 대한 이야기를 다룹니다.
이 조사는 <a href="#conclusion">이 문제를 해결하는</a> 새로운 Ubuntu 커널 출시로 이어졌습니다.
 <h2>시작 경위</h2>앞서 2019년 2월에 <a href="https://github.com/elastic/rally-eventdata-track/blob/master/eventdata/challenges/bulk-update.json">업데이트가 많은 수집 작업</a>을 이용해 표준 <a href="https://esrally.readthedocs.io/en/stable/">Elasticsearch 벤치마킹 도구인 Rally</a>로 <a href="/guide/en/elasticsearch/reference/7.8/xpack-ccr.html">클러스터 간 복제(CCR))</a>에 대한 <a href="/kr/blog/benchmarking-elasticsearch-cross-cluster-replication">10일 간의 안정성 테스트</a>를 실행했습니다. Elasticsearch 버전은 (당시로서는) 미출시 7.0 브랜치의 가장 최신 커밋이었습니다. 며칠이 지난 후 테스트는 다음과 같은 Elasticsearch 로그 보고와 함께 실패했습니다.
<pre class="prettyprint">… 
Caused by: org.apache.lucene.index.CorruptIndexException: checksum failed (hardware problem?)
</pre>인덱스 손상을 탐색하게 되면[<a href="#ref1" id="1">1</a>], Elasticsearch는 복제본으로부터 복구를 시도하게 됩니다. 많은 경우에 복구는 원활하게 이루어지며, 사용자가 로그를 검토하지 않는 한 손상은 눈치채지 못한 상태로 넘어가게 됩니다. 복제본이 제공하는 중복을 통해서도 특정 상황에서는 데이터 손실이 가능합니다. 따라서 왜 손상이 발생하고 있으며 어떻게 그 문제를 해결할 수 있는지를 이해해보고자 했습니다.
처음에는 새로운 Elasticsearch 기능인 <a href="/guide/en/elasticsearch/reference/7.8/xpack-ccr.html">CCR</a>/<a href="https://github.com/elastic/elasticsearch/issues/29530">일시 삭제</a>가 문제를 일으키고 있다고 생각했습니다. 그러나 이러한 의심은 단일 클러스터를 사용하고 CCR/일시 삭제 기능을 비활성화하여 인덱스 손상을 재현할 수 있다는 것을 알게 되자 곧 사라졌습니다. 추가로 리서치를 진행한 후, CCR/일시 삭제 베타 출시에 선행하는 Elasticsearch의 이전 버전에서 그 문제를 재현할 수 있다는 것을 알게 되었습니다. 이것은 CCR/일시 삭제가 인덱스 손상의 원인이 아니라는 것을 보여줍니다.
그러나 우리는 인덱스 손상이라는 결과를 낳은 테스트와 리서치가 Google Cloud Platform(GCP)에서 <a href="https://console.cloud.google.com/marketplace/details/ubuntu-os-cloud/ubuntu-xenial">Canonical Ubuntu Xenial 이미지</a>와 <code>4.15-0-*-gcp</code> 커널의 <a href="https://cloud.google.com/compute/docs/disks/local-ssd">로컬 SSD</a>를 사용해 실시되었었고, 동일한 운영 체제와 SSD 디스크(4.13 또는 4.15 <a href="https://wiki.ubuntu.com/Kernel/LTSEnablementStack">HWE 커널</a> 어느 쪽이든)를 갖춘 베어 메탈 환경에서는 문제를 재현할 수 없었다는 것에 주목했습니다.
그 문제와 그 영향에 대한 더 많은 데이터를 얻기 위해 즉시 Elastic Cloud로 주의를 돌렸습니다. 병렬 작업 스트림에서 다른 파일 시스템을 테스트하고, RAID를 비활성화하고, 마침내 보다 새로운 메인라인 커널을 사용함으로써 수많은 의심을 제거해나갔지만, 이 중 어느 것도 손상을 완전히 없애지는 못했습니다.
 <h2>Google Cloud 지원팀과 함께 더 심층적인 조사 진행</h2>이 시점에서 우리는 재현 작업을 손쉽게 하기 위한 <a href="https://gist.github.com/dliappis/54a9eedd5a272cf13b49ecaa85f87c7f">간단한 재현 스크립트</a>를 생성했고, 파트너인 Google이 참여한 가운데 환경 문제에 대한 좀더 심층적인 조사에 착수했습니다.
GCP 지원팀은 제공된 스크립트를 사용해 문제를 안정적으로 재현할 수 있었습니다. 그 예시 오류 메시지는 다음과 같습니다.
<pre class="prettyprint">org.apache.lucene.index.CorruptIndexException: codec footer mismatch (file 
truncated?): actual footer=-2016340526 vs expected footer=-1071082520 
(resource=BufferedChecksumIndexInput(MMapIndexInput(path="/home/dl/es/data/nodes/0/indices/IF1vmFH6RY-MZuNfx2IO4w/0/index/_iya_1e_Lucene80_0.dvd")))
</pre>문제가 발생하는 시간 범위 동안, IO 처리량은 16,000 IOPS로 초당 160MB를 넘어갔습니다. 이러한 관측은 여러 테스트에 걸쳐 일관되게 나타났습니다. Elasticsearch(기본 설정)는 <a href="/guide/en/elasticsearch/reference/7.8/index-modules-store.html#file-system">일부 저장 공간의 경우 메모리 매핑된 파일</a>을 사용하기 때문에, 일부 파일 액세스가 더 많은 주요 페이지 폴트를 야기하는 원인이며, 디스크에 대한 IO 작업의 증가로 이어지고, 결국 문제를 촉발하게 되는 것이라는 생각이 들었습니다. 페이지 폴트의 발생을 줄이기 위해, 우리는 GCP 인스턴스의 메모리를 32GB에서 52GB로 늘려보았습니다. 메모리가 늘어나자마자, 문제는 더 이상 발생하지 않았고 IO 처리량은 4000 IOPS로 초당 50MB였습니다.&nbsp;
GCP와 베어 메탈 환경 간의 다른 점을 관측했을 때 첫 번째 돌파구가 생겼습니다. GCP 커널은 <a href="https://lwn.net/Articles/738449/">멀티 큐 블록 레이어</a>(blk_mq)라고 하는 기능을 활성화했고, 베어 메탈 커널은 그렇지 않았습니다[<a href="#ref2" id="2">2</a>]. 문제가 더 복잡해진 것은, 특정 버전 이후에[<a href="#ref3" id="3">3</a>] 더 이상 커널 옵션을 통해 Ubuntu Linux -gcp 이미지에서 blk_mq[<a href="#ref4" id="4">4</a>]를 비활성화할 수 없게 되었기 때문입니다. GCP 지원팀은 GCP의 Ubuntu 이미지를 내보내서 멀티 큐 SCSI[<a href="#ref5" id="5">5</a>]를 활성화하는 VIRTIO_SCSI_MULTIQUEUE guestOS 기능 없이 그것을 다시 생성함으로써 blk_mq를 비활성화하는 방법을 보여주었습니다.
두 번째 돌파구는 베어 메탈에서의 손상을 재현할 수 있게 된 것이었습니다. 즉, 보다 이전 커널인 <code>4.13.0-38-generic</code>을 사용해서도 <code>blk_mq</code>를 명시적으로 활성화함으로써만 손상을 재현할 수 있게 되었습니다. 우리는 또한 NVMe 디스크에서는 이러한 문제가 나타나지 않는다는 것을 확인했습니다.
이 시점에서 다음 두 가지 조건이 모두 부합될 때 손상이 발생한다는 것을 알게 되었습니다.
<ul>
	<li>SCSI 인터페이스를 사용하는 SSD 드라이브(NVMe 디스크는 영향을 받지 않음)</li>
	<li>blk_mq 활성화</li>
</ul>GCP 지원팀은 (NVMe 디스크만 사용한다는 것 이외에) 두 가지 추가 해결 방법을 공유해 주었습니다. 인스턴스 메모리를 늘리거나 멀티 큐 SCSI를 비활성화한 사용자 정의 인스턴스 이미지를 생성하는 것입니다.
 <h2>Canonical의 동참</h2>몇 가지 해결 방법을 찾았지만, 아직 만족스럽지는 않았습니다.
<ul>
	<li>문제는 GCP의 Ubuntu 이미지에만 특정한 것이 아니었습니다. 베어 메탈에서도 발생했습니다.</li>
	<li>우리는 어느 커널 커밋이 문제를 도입하는지 알 수 없었습니다.</li>
	<li>보다 새로운 커널에서 수정이 이미 이루어진 것인지도 알 수 없었습니다.</li>
</ul>이러한 점들을 해결하기 위해 우리는 파트너인 Canonical에게 요청하여 좀 더 심층적으로 조사해보았습니다.
Canonical은 <a href="https://gist.github.com/dliappis/54a9eedd5a272cf13b49ecaa85f87c7f">Elastic 재현 스크립트</a>를 이용해 방대한 테스트 작업을 시작했고, 먼저 손상이 SSD 드라이브를 사용하는 Ubuntu 메인라인 커널 &gt;=5.0에서는 발생하지 않는다는 것을 확인했습니다(아무 것도 사용하지 않거나 mq-deadline <a href="https://wiki.ubuntu.com/Kernel/Reference/IOSchedulers">멀티 큐 I/O 스케줄러 사용</a>).
다음 단계는 커널 버전을 다시 뒤로 돌려 손상을 나타내는 커널과 그렇지 않은 커널 간의 최소 변화량을 찾아내는 것이었습니다. 여러 병행 테스트 환경을 사용해(전체 테스트 실행이 최대 5일까지 걸릴 수 있으므로), Canonical은 <a href="https://kernel.ubuntu.com/~kernel-ppa/mainline/v4.19.8/">4.19.8</a>이 손상 수정이 포함되는 최초의 Ubuntu 메인라인 커널이라는 것을 찾아냈습니다[<a href="#ref6" id="6">6</a>].
4.15.0 커널과 그 파생 개체에 대한 백포트 누락은 Canonical의 버그 트래커의 <a href="https://bugs.launchpad.net/ubuntu/+source/linux-azure/+bug/1848739">LP#1848739</a>에 설명되어 있습니다. 더 자세한 사항은 <a href="https://lwn.net/Articles/774440/">이 포스팅</a>과 <a href="https://bugzilla.kernel.org/show_bug.cgi?id=201685">kernel.org 버그</a>에서 찾아보실 수 있습니다.
Elastic과 Canonical이 모든 필요한 백포트가 포함된 패치가 적용된 GCP 커널이 <a href="https://bugs.launchpad.net/ubuntu/+source/linux-azure/+bug/1848739/comments/9">문제를 수정</a>한다고 확인한 후에, 이를 Ubuntu 4.15.0 메인 커널로 <a href="https://lists.ubuntu.com/archives/kernel-team/2019-December/106382.html">병합했고</a> 결과적으로 모든 파생 커널(-gcp 포함)에서 문제가 수정되었습니다.
 <h2 id="conclusion">결론</h2>Elastic은 세 개의 주요 솔루션 각각을 개선하는 새로운 Elastic Stack 기능을 개발하고자 최선의 노력을 기울이고 있습니다. 이러한 노력은 사용자가 아무 걱정도 할 필요가 없도록 언제나 깨어서 작업하는 대단히 뛰어난 엔지니어 및 파트너들의 지원을 받아 이루어집니다. 테스트 중에 문제를 발견하는 경우, Elastic과 그 긴밀한 파트너 네트워크는 사용자에게 가능한 최상의 환경을 제공하기 위해 모든 것을 샅샅이 조사하여 해결합니다.
Google 및 Canonical과의 긴밀한 협조를 통해, 우리는 문제의 근본 원인을 파악할 수 있었고, 이는 다음의 <a href="https://bugs.launchpad.net/ubuntu/+source/linux-azure/+bug/1848739">수정판</a> HWE Ubuntu 커널 출시로 이어졌습니다.
<ul>
	<li>AWS: <a href="https://changelogs.ubuntu.com/changelogs/pool/main/l/linux-aws/linux-aws_4.15.0-1061.65/changelog">2020년 2월 21일</a>에 출시된 <code>linux-aws - 4.15.0-1061.65</code>부터</li>
	<li>Azure: <a href="https://bugs.launchpad.net/ubuntu/+source/linux-azure/+bug/1848739/comments/12">2020년 1월 6일</a>에 출시된 <code>linux-azure - 4.15.0-1066.71</code>부터</li>
	<li>GCP: <a href="https://changelogs.ubuntu.com/changelogs/pool/main/l/linux-gcp/linux-gcp_4.15.0-1053.57/changelog">2020년 2월 5일</a>에 출시된 <code>linux-gcp - 4.15.0-1053.57</code>부터</li>
	<li>일반: <a href="https://bugs.launchpad.net/ubuntu/+source/linux-azure/+bug/1848739/comments/15">2020년 2월 17일</a>에 출시된 <code>linux - 4.15.0-88.88</code>부터</li>
</ul>위의 버전이나 그 이후 버전을 사용하시면 SSD 디스크가 활성화된 SCSI blk-mq와 함께 사용되는 경우 손상을 피하게 됩니다.
이 데이터 손상으로부터 현재 환경이 보호되고 있는지 여부에 대해 걱정하고 싶지 않으시면, 저희 <a href="/kr/elasticsearch/service">Elastic Cloud</a>를 사용해 보세요. 저희 사용자는 이미 보호를 받고 계십니다.
 <h2>각주</h2>[<a href="#1" id="ref1">1</a>] Elasticsearch는 비용이 많이 드는 작업이기 때문에 체크섬을 늘 확인하지는 않습니다. 샤드 재배치와 같은 특정 행위가 체크섬 확인을 좀더 빈번하게 촉발할 수는 있습니다. 또는 스냅샷을 찍는 동안 이러한 행위가 원인이 되는 것처럼 밑에서 조용히 손상이 나타나기도 합니다.
[<a href="#2" id="ref2">2</a>] SCSI 또는 기기 매퍼 디스크에 대해 blk_mq가 사용 중인지 여부를 확인하려면 <code>cat /sys/module/{scsi_mod,dm_mod}/parameters/use_blk_mq</code>를 이용하세요.
[<a href="#3" id="ref3">3</a>] <a href="https://patchwork.kernel.org/patch/10198305">https://patchwork.kernel.org/patch/10198305</a> blk_mq가 SCSI 기기에 강제 적용되고 커널 옵션을 통해 비활성화될 수 없게 된 후. 이 패치는 Ubuntu <a href="https://launchpad.net/ubuntu/+source/linux-gcp/4.15.0-1010.10~16.04.1">linux-gcp</a>에서 백포트되었습니다.
[<a href="#4" id="ref4">4</a>] blk_mq를 비활성화하려면 grub을 통해 다음 매개변수를 커널로 보내야 합니다. <code>GRUB_CMDLINE_LINUX="scsi_mod.use_blk_mq=N dm_mod.use_blk_mq=N"</code>. 이러한 옵션을 N으로 설정함으로써 활성화가 가능하지만 [3]에 유의하세요.
[<a href="#5" id="ref5">5</a>] Ubuntu 이미지를 다시 생성함으로써 VIRTIO_SCSI_MULTIQUEUE guestOS 기능을 비활성화하는 예시 gcloud 명령어:
<pre># gcloud compute images export --image-project ubuntu-os-cloud --image-family ubuntu-1604-lts --destination-uri=gs://YOUR_BUCKET/ubuntu_16.04.tar.gz 
# gcloud compute images create ubuntu-1604-test --family ubuntu-1604-lts --source-uri=gs://YOUR_BUCKET/ubuntu_16.04.tar.gz
</pre>[<a href="#6" id="ref6">6</a>] 백포트
<pre> - blk-mq: quiesce queue during switching io sched and updating nr_requests 
 - blk-mq: move hctx lock/unlock into a helper 
 - blk-mq: factor out a few helpers from __blk_mq_try_issue_directly 
 - blk-mq: improve DM's blk-mq IO merging via blk_insert_cloned_request feedback 
 - dm mpath: fix missing call of path selector type-&gt;end_io 
 - blk-mq-sched: remove unused 'can_block' arg from blk_mq_sched_insert_request 
 - blk-mq: don't dispatch request in blk_mq_request_direct_issue if queue is busy 
 - blk-mq: introduce BLK_STS_DEV_RESOURCE 
 - blk-mq: Rename blk_mq_request_direct_issue() into 
 blk_mq_request_issue_directly() 
 - blk-mq: don't queue more if we get a busy return 
 - blk-mq: dequeue request one by one from sw queue if hctx is busy 
 - blk-mq: issue directly if hw queue isn't busy in case of 'none' 
 - blk-mq: fix corruption with direct issue 
 - blk-mq: fail the request in case issue failure 
 - blk-mq: punt failed direct issue to dispatch list
</pre>

cloud-gcp-region-blog-banner.png

blog-thumb-cloud-gcp-region.png

Canonical, Elastic, and Google team up to prevent data corruption in Linux

Linux에서의 데이터 손상을 예방하기 위한 Canonical, Elastic, Google 팀의 공동 작업

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Lynn Asiimwe (Google Cloud)

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Lynn Asiimwe

Linux에서의 데이터 손상을 예방하기 위한 Canonical, Elastic, Google 팀의 공동 작업

Sign up for Elastic Cloud free trial