더 높은 처리량과 낮은 지연 시간: 성능이 크게 향상된 AWS의 Elastic Cloud Serverless

Elastic Cloud Serverless를 사용해 운영 부담에서 벗어나세요. 자동으로 확장하고, 트래픽 급증에도 대응하며, 구축에만 집중하세요. 14일 무료 체험판을 시작하여 직접 테스트해 보세요!

다음 가이드를 따라 AI 기반 검색 환경을 구축하거나 비즈니스 시스템과 소프트웨어 전반을 아우르는 검색을 구현할 수 있습니다.

Elastic Cloud Serverless는 이미 인프라 관리의 운영 부담 없이 효율적인 검색 및 AI 애플리케이션을 구축하고자 하는 개발자를 위한 최고의 솔루션입니다. 이제 서버리스 프로젝트의 성능을 완전히 새로운 수준으로 끌어올리고자 합니다.

AWS에서 실행되는 모든 Elastic Cloud Serverless 프로젝트에 대한 주요 인프라 업그레이드를 완료하여 더 새롭고 빠른 하드웨어로 마이그레이션하였습니다. 해당 변경 사항이 모든 서버리스 프로젝트에 자동으로 적용되었습니다. 이 솔루션은 AWS에서 Elasticsearch, Elastic Observability 및 Elastic Security 서버리스 프로젝트에 더 높은 처리량과 더 낮은 지연 시간을 제공합니다.

개발자를 위한 주요 성능 혜택

새로운 AWS 하드웨어 인프라는 Elastic Cloud Serverless에서 수행하는 모든 작업을 뒷받침하여 애플리케이션의 속도와 반응성에 실질적인 이점을 제공합니다.

쿼리 지연 시간 감소 및 처리량 증가

향상된 하드웨어가 획기적으로 컴퓨팅 리소스의 속도를 높여 검색 쿼리가 그 어느 때보다 빠르게 처리됩니다.

• 검색 및 벡터 검색: 기존의 풀텍스트 쿼리를 실행하든, 생성형 AI 및 검색 증강 생성(RAG) 애플리케이션에 최첨단 벡터 검색을 사용하든, 대기 시간이 현저히 줄어듭니다. 내부 벤치마킹 결과 검색 지연 시간이 평균 35% 감소한 것으로 나타났습니다.
• 더욱 빠른 색인: 데이터 수집 속도가 최적화되어 대용량 데이터와 복잡한 문서를 처리량을 높여 색인할 수 있습니다. 이는 거의 실시간 데이터 가시성이 필요한 애플리케이션에 매우 중요합니다. 내부 벤치마킹 결과, 색인 처리량이 평균 26% 증가했습니다.

부하 상태에서도 일관된 성능

수요에 맞춰 실시간으로 동적으로 자동 확장되도록 설계된 Elastic Cloud Serverless는 작업 부하에 관계없이 대기 시간을 최소화합니다. 이번 하드웨어 업그레이드를 통해 확장이 더욱 향상되고 반응 속도도 빨라졌습니다.

• 급증하는 데이터를 손쉽게 처리: 사용자 트래픽이 갑자기 급증하거나 대규모 배치 데이터 인제스트에 직면하더라도, 새로운 인프라가 검색 및 색인 리소스를 보다 효율적으로 확장하여 낮은 지연 시간을 일관적으로 유지합니다.
• 컴퓨팅-저장 공간 분리 최적화: 서버리스 아키텍처는 컴퓨팅과 저장 공간을 분리하여 워크로드가 독립적으로 확장될 수 있도록 함으로써 최적의 성능과 비용 효율성을 제공합니다. 더 빠른 하드웨어가 컴퓨팅 계층을 향상시켜 분리된 설계의 효율성을 극대화합니다.

작동 원리: 내부 벤치마킹 결과

Elastic 엔지니어링 팀은 AWS 인프라 업그레이드의 영향을 정량화하기 위해 다양한 서버리스 워크로드를 대상으로 포괄적인 내부 벤치마킹을 수행했습니다. 이러한 워크로드는 사용 사례와 관계없이 애플리케이션 전반에서 기대할 수 있는 성능 향상에 대한 실증적 증거를 제공했습니다.

벤치마킹 접근법

개발자 경험과 애플리케이션 반응성에 직접적인 영향을 미치는 주요 지표인 응답 시간(지연 시간)과 검색 및 색인 작업 처리량을 집중적으로 테스트했습니다.

• 테스트를 마친 워크로드: 테스트에는 사용자 대면 애플리케이션에서 흔히 볼 수 있는 동시성이 높은 검색 작업, 복잡한 벡터 검색 쿼리, 통합 가시성 및 보안 사용 사례에 대한 대용량 데이터 수집/색인 등이 포함되었습니다. 그중에서도 테스트 방법론에서 Elastic의 벤치마킹 도구인 Rally에 대해 공개적으로 이용 가능한 데이터 세트를 사용했습니다.
  • wikipedia: 위키피디아 텍스트 콘텐츠의 스냅샷에서 추출된 데이터 세트로, 일반 텍스트 검색 성능을 측정하는 데 사용됩니다.
  • MSMARCO-Passage-Ranking: Microsoft의 Machine Reading Comprehension(MS MARCO)에서 파생된 데이터 세트로, 희소 벡터 필드에서 검색 성능을 측정합니다.
  • OpenAI_Vector: BEIR의 NQ에서 파생된 데이터 세트로, OpenAI의 text-embedding-ada-002 모델이 생성한 임베딩으로 보강되어 조밀한 벡터 필드에서의 검색 성능을 측정하기 위한 것입니다.
• 측정: 구식 인프라와 신규 인프라의 성능을 비교했으며, 최악의 경우인 극한 지연 시간 성능과 초당 작업량을 파악하기 위해 99번째 백분위수(P99)에서의 지연 시간을 측정했습니다. 결과의 일관성을 확보하기 위해 하드웨어 프로필마다 각 트랙을 5회씩 실행했습니다.
• 목표: 목표는 빠른 자동 확장 기간에도 전반적으로 일관되게 더 빠르고 예측 가능한 성능을 제공하는 인프라의 기능을 검증하는 것이었습니다.

성능 데이터 요약

그 결과 효율성과 속도가 크게 향상되었음을 확인할 수 있었습니다. 이러한 이점은 사용자 응답 시간 단축과 운영 비용 절감으로 직결됩니다. 더 적은 컴퓨팅 리소스로 동일한 작업을 완료할 수 있기 때문입니다.

다음 표에는 정량적 개선 사항이 자세히 설명되어 있습니다. 높은 값은 처리량에 더 좋고, 낮은 값은 지연 시간에 더 좋습니다.

벤치마크 결과 검색:

색인 벤치마크 결과:

추가 보너스: 비용 절감

낮은 지연 시간으로 뛰어난 성능을 제공하는 데 중점을 두고 있지만, 새로운 하드웨어의 효율성은 Elasticsearch 프로젝트의 비용에도 직접적이고 긍정적인 영향을 미칩니다.

Elasticsearch Serverless 요금제는 사용량 기반이므로, 사용한 인제스트 및 검색 리소스에 대해서만 비용을 지불하면 됩니다. 더 빠른 신규 하드웨어는 효율성이 높기 때문에 대부분의 프로젝트에서 종종 더 적은 리소스를 사용하여 워크로드가 작업을 완료하게 되어 본질적인 비용 절감으로 이어집니다. 높은 금액을 지불하지 않고도 프리미엄 수준의 성능 향상을 얻을 수 있습니다. 최적화된 효율성이라고 할 수 있죠.

이것이 개발자에게 의미하는 바는 무엇일까요?

Elastic에서 이 인프라 업그레이드를 전적으로 관리하므로 손가락 하나 까딱하지 않아도 됩니다. 마이그레이션이나 구성 변경도 필요 없습니다. 이러한 개선 사항은 모든 AWS 기반 서버리스 프로젝트에 즉각적으로 자동 적용됩니다.

업그레이드의 효과:

• 더 빠른 애플리케이션 구축: 기본 검색 플랫폼이 사용자가 요구하는 속도를 제공한다는 것을 알기 때문에 기능 개발 속도에 집중할 수 있습니다.
• 자신감 있는 혁신: 플랫폼이 최고의 성능으로 부하를 처리할 수 있다는 확신을 가지고 벡터 검색 및 관련성 순위와 같은 복잡한 AI 기능을 포함한 새로운 검색, 통합 가시성 및 보안 기능을 배포하세요.
• 스택 간소화: 인프라 관리, 용량 계획 및 확장을 처리하는 완전 관리형 서비스를 사용하여 코드와 데이터에 집중할 수 있습니다.