이 블로그 포스트는 Elasticsearch 2.0 인덱싱에 대한 최근 개선 사항과 이 변화들이 최대 인덱싱 처리량에 어떤 영향을 미치는지에 대해 설명하고 있습니다.

1년 전쯤에 Elasticsearch로 <a href="https://www.elastic.co/kr/blog/performance-considerations-elasticsearch-indexing">인덱싱 처리량을 최대화하는 방법을 설명했습니다.</a> 그 후에 많은 사항이 변경되었기에 여기서는 Elasticsearch 2.0.0에서는 인덱싱 성능에 영향을 주는 변경 사항에 대해 설명합니다.
<img src="https://api.contentstack.io/v2/assets/575e4cce58208ba076e28b50/download?uid=blt2cbb4778383fcda9?uid=blt2cbb4778383fcda9" data-sys-asset-uid="blt07af3496603329d7" alt="small-auto-throttle.jpg" style="max-width:100%;">
<h2>이제 자동으로 저장 속도 조절</h2>2.0.0 이전에는 Elasticsearch가 고정 속도(기본적으로 20 MB/sec)로 진행 중인 merge를 조절했지만 종종 속도가 지나치게 느렸고 merge 지연과 후속 인덱싱 조절로 이어지기 쉬웠습니다.
2.0.0, Elasticsearch에서는 이제 <a href="https://github.com/elastic/elasticsearch/pull/9243">적응형 merge IO 조절을 사용</a>합니다. merge 속도가 느려지기 시작하면 허용된 IO 속도가 증가하고, merge 속도가 정상으로 유지되면 IO 속도가 감소합니다. 이는 처리량이 적은 인덱싱 사용 사례에서 갑작스럽지만 드문 대규모 merge는 노드에서 사용 가능한 모든 IO를 포화시키지 않으므로 진행 중인 검색과 인덱싱 작업에 대한 영향이 최소화됨을 의미합니다.
하지만 부하가 심한 인덱싱의 경우, 진행 중인 인덱싱에 부합되도록 허용된 merge IO가 증가합니다.
이것은 희소식입니다! 즉, 어떤 조정 설정도 변경할 필요 없이 기본값을 그대로 사용하면 된다는 의미입니다.
<h2>여러 <code>path.data</code></h2>Elasticsearch 사용에서 병목 현상의 요인이 되는 경우, 노드에 여러 샤드를 보유하기 위해 여러 IO 장치를 사용(여러 <code>path.data</code>경로 지정)하는 것은 전체 저장 공간을 증가와 IO 성능 개선에 유용합니다.
Elasticsearch가 여러 경로에 걸쳐 IO 부하를 확산하는 방법에 중대한 변화가 있습니다. 과거에는 최하위 레벨의 index 파일을 개별적으로 최적의 경로(기본값: 가장 비어있는 경로)로 전송했는데, 이제는 샤드 단위로 전환됩니다. 샤드가 노드에 할당되면, 노드가 해당 샤드의 모든 파일을 보유하고 있을 경로를 선택합니다.
그 결과 IO 장치 오류에 대한 복원력이 향상됩니다. 사용 중인 IO 장치 중 하나가 충돌하는 경우, 해당 장치에 있던 샤드만 잃게 됩니다. 2.0.0 이전 버전에서는 해당 장치에 파일(샤드의 일부)을 가지고 있던 모든 샤드가 사라졌습니다(즉, 해당 노드에 있던 거의 모든 샤드를 잃음).
장치에서 결함이 발생할 때 해당 노드의 모든 샤드가 상실되므로 OS 레벨 RAID 0 장치도 좋은 선택은 아닙니다. 따라서 여러 <code>path.data</code> 의 사용을 권장합니다.
그래도 index 복제본이 1개 이상 있어야 데이터 손실 없이 유실된 샤드를 복구할 수 있습니다.
<h2>Auto-ID 최적화 제거</h2>이전에는 append-only Lucene APIs under-the-hood를 사용하기 위해 Elasticsearch가 auto-id 케이스를 최적화했는데(사용자가 인덱스된 도큐먼트별로 고유 id를 지정하지 않을 경우), 이 방식이 <a href="https://github.com/elastic/elasticsearch/pull/9468">오류 케이스로 판명되어 삭제하였습니다</a>.
또한<a href="https://github.com/elastic/elasticsearch/issues/6212">ID 조회 성능</a>을 크게 개선하였으므로 최적화는 더 이상 그렇게 중요하지 않을 뿐만 아니라 최적화 제거를 통해 적지 않은 힙을 소모하지만 ID 조회 성능 향상에 크게 기여하지 못하던 <a href="https://github.com/elastic/elasticsearch/issues/8571">엄청난 필터를 완전히 제거</a>할 수 있었습니다.
마지막으로, 1.4.0 버전부터 Elasticsearch는 <a href="https://github.com/elasticsearch/elasticsearch/issues/5941">Flake ID를 사용</a>하여 ID를 생성함으로써 이전 UUID보다 향상된 조회 성능을 제공합니다.
즉, 현재 제거된 auto-id 처리 기능으로 인해 성능이 저하되는 문제없이 자체 id 필드를 자유롭게 사용할 수 있게 되었습니다. 하지만 id 필드 값의 선택이 <a href="http://blog.mikemccandless.com/2014/05/choosing-fast-unique-identifier-uuid.html">인덱싱 성능에 영향을 미친다는</a>는 점을 잊지마십시오.
<h2>추가적인 인덱싱 변경사항...</h2>이러한 변경사항 외에, 추가적인 2.0 인덱싱 변경사항은 다음과 같습니다: <a href="https://github.com/elastic/elasticsearch/pull/10209" target="_blank">기본적으로 도큐먼트 값 활성화 </a> (검색 시 CPU와 힙 부하가 심한 필드 데이터를 사용하는 대신), 위험한 delete-by-query를 코어 API에서 <a href="https://github.com/elastic/elasticsearch/issues/7052" target="_blank">벌크 인덱싱 API 상단의 안전한 plugin</a>으로 이동,<a href="https://github.com/elastic/elasticsearch/pull/8863" target="_blank">인덱싱 중 증가된 저장 필드 압축</a>에 대한 제어 개방, <a href="https://issues.apache.org/jira/browse/LUCENE-6668" target="_blank">분산된 도큐먼트 값</a> 및 <a href="https://issues.apache.org/jira/browse/LUCENE-6030">규칙의 압축률 향상</a>, 통합할 때 필요한 힙 감소, 그리고 기타 복원력 측면에서 많은 점이 개선되었습니다. 예를 들어, <a href="https://issues.apache.org/jira/browse/LUCENE-5969" target="_blank">통합할 때 기존 index 손상 검출</a>기능의 등의 개선사항이 있습니다.
인덱싱하는 동안 low-level Lucene 동작에 관한 의문 사항이 있으면<code>index.engine.lucene.iw: TRACE</code>를 사용자의<code>logging.yml</code>에 추가하십시오. 단, 아주 방대한 출력이 생성된다는 점을 유념하십시오!
당사의 <a href="http://benchmarks.elasticsearch.org/">야간 인덱싱 성능 차트</a>에서 시간이 지남에 따라 올바른 방향으로 나아가고 있음이 확인되고 있습니다. 초당 문서 수(docs/sec)와 세그먼트 수 기본값(4 GB) 힙이 <code>고속</code> 성능 라인을 따라 잡았습니다.

airbus-auto-throttle-levers-banner.jpg

airbus-auto-throttle-levers-thumb.jpg

Performance Considerations for Elasticsearch 2.0 Indexing

Elasticsearch 2.0 인덱싱 성능 고려사항

우리는 "전형적인" 애플리케이션에 대한 우수한 기준을 Elasticsearch의 기본 설정으로 하기 위해 노력하고 있으며, 여기에 기술된 몇 가지 간단한 모범 사례만 따라도 성능을 개선할 수 있습니다.

performance-consideration.png

Performance Considerations for Elasticsearch Indexing

Elasticsearch 인덱싱에 대한 성능 고려 사항

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Michael McCandless

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Michael McCandless

Elasticsearch 2.0 인덱싱 성능 고려사항

Elasticsearch 인덱싱에 대한 성능 고려 사항

Sign up for Elastic Cloud free trial