구글 클라우드의 버텍스 AI 플랫폼에서 기본 접지를 위한 Elasticsearch 벡터 데이터베이스

벡터 검색부터 강력한 REST API까지, Elasticsearch는 개발자에게 가장 폭넓은 검색 도구 키트를 제공합니다. GitHub의 샘플 노트북을 살펴보고 새로운 기능을 시험해 보세요. 무료 체험판을 시작하거나 지금 바로 Elasticsearch를 로컬에서 실행할 수도 있습니다.

Elastic은 이제 Elasticsearch 벡터 데이터베이스가 기본적으로 지원되는 정보 검색 엔진으로 Google Cloud의 Vertex AI 플랫폼에 통합되어 사용자가 Google Gemini 모델의 멀티모달 강점을 Elasticsearch의 고급 AI 기반 시맨틱 및 하이브리드 검색 기능과 함께 활용할 수 있게 되었음을 발표하게 되어 기쁘게 생각합니다.

이제 개발자는 통합된 여정 내에서 로우코드의 유연한 방식으로 개인 데이터에 기반한 채팅 경험을 제공하는 RAG 애플리케이션을 만들 수 있습니다. 고객과 내부 직원을 위한 AI 에이전트를 구축하든, 소프트웨어 내에서 LLM 생성을 활용하든, Vertex AI 플랫폼은 최소한의 구성으로 손쉽게 Elasticsearch 정확도를 제공합니다. 이러한 통합을 통해 프로덕션 사용 사례에서 Gemini 모델을 더 쉽고 빠르게 채택할 수 있으며, GenAI를 PoC에서 실제 시나리오로 끌어올릴 수 있습니다.

이 블로그에서는 원활한 데이터 기반을 마련하고 완전히 사용자 정의 가능한 GenAI 애플리케이션을 구축하기 위해 Elasticsearch를 Google Cloud의 Vertex AI 플랫폼과 통합하는 방법을 안내해드립니다. 방법을 알아보세요.

Elasticsearch를 통해 데이터에 기반한 Google Cloud의 Vertex AI 및 Gemini 모델

이제 GenAI 애플리케이션을 만들기 위해 버텍스 AI 서비스 및 도구를 활용하는 사용자는 새로운 '접지' 옵션에 액세스하여 자신의 개인 데이터를 자동으로 대화 상호작용으로 가져올 수 있습니다. Elasticsearch는 이제 이 기능의 일부이며 두 가지 모두에서 사용할 수 있습니다:

• 생성 시점에 Google의 Gemini 모델을 직접 강화하는 Vertex AI LLM API(선호);
• 버텍스 AI 에이전트 빌더 에코시스템에서 에이전트 경험을 구축하는 데 사용되는 Grounded Generation API입니다.

이 통합을 통해 가장 많이 다운로드되고 배포된 벡터 데이터베이스인 Elasticsearch는 내부 최종 고객 대면 채팅에서 필요한 곳이면 어디든 관련 엔터프라이즈 데이터를 가져올 수 있으며, 이는 GenAI를 비즈니스 프로세스에 실제로 도입하는 데 매우 중요한 역할을 합니다.

앞서 언급한 API를 통해 개발자는 이 새로운 파트너 기능을 코드에 적용할 수 있습니다. 그러나 신속한 엔지니어링 및 테스트는 애플리케이션 개발의 중요한 단계이며 초기 발견의 놀이터 역할을 합니다. 이를 지원하기 위해 Elasticsearch는 사용자가 Vertex AI Studio 콘솔 도구 내에서 쉽게 평가할 수 있도록 설계되었습니다.

아래 그림과 같이 UI의 "사용자 정의 접지" 탭에서 원하는 매개변수(검색할 인덱스, 검색할 문서 수, 원하는 검색 템플릿)로 Elastic 엔드포인트를 구성하는 몇 가지 간단한 단계만 거치면 됩니다(작동하려면 UI와 아래 코드 예제에서 "ApiKey" 라는 단어와 함께 API 키를 입력해야 합니다). 이제 개인 지식으로 생성할 준비가 되었습니다!

손쉽게 프로덕션에 사용할 수 있는 GenAI 애플리케이션

Elastic과 Google Cloud는 개발자 우선의 포괄적이고 즐거운 경험을 제공하기 위해 노력하고 있습니다. LLM과 접지 생성 API 모두에서 기본적으로 Elastic에 연결하면 하나의 통합 호출로 접지하면서 불필요한 추가 API와 데이터 오케스트레이션을 피하고, Vertex AI에서 GAI 애플리케이션을 구축하는 동안 복잡성과 오버헤드를 줄일 수 있습니다.

두 시나리오에서 어떻게 작동하는지 살펴보겠습니다.

첫 번째 예제는 LLM API로 실행됩니다:

위의 예제에서 API의 retrieval 필드가 Gemini 2.0 Flash에 콘텐츠 생성을 요청하는 경우, 요청에 대한 검색 엔진을 컨텍스트에 맞게 설정할 수 있습니다. api_spec 을 "ELASTIC_SEARCH"로 설정하면 API 키와 클러스터 엔드포인트(요청을 Elastic 클러스터로 라우팅하는 데 필요), 데이터를 검색할 인덱스, 검색 로직에 사용할 검색 템플릿과 같은 추가 구성 매개변수를 사용할 수 있습니다.

마찬가지로 접지 생성 API를 사용하여 groundingSpec 파라미터를 설정하면 동일한 결과를 얻을 수 있습니다:

두 가지 접근 방식 모두에서 응답은 쿼리를 지원하기 위해 Elasticsearch에서 찾은 가장 관련성이 높은 비공개 문서와 연결된 관련 데이터 소스로 답변을 제공합니다.

하지만 단순함을 특정 요구사항과 사용 사례를 충족하기 위한 개인화 부족과 혼동해서는 안 됩니다. 이를 염두에 두고 검색 구성을 사용자의 시나리오에 맞게 완벽하게 조정할 수 있도록 설계했습니다.

손끝에서 완벽하게 사용자 지정 가능한 검색: 검색 템플릿

검색 시나리오를 최대한 맞춤 설정할 수 있도록 Google은 Google Cloud와 협력하여 잘 알려진 검색 템플릿을 기반으로 환경을 구축했습니다. Elasticsearch 검색 템플릿은 동적이고 재사용 가능하며 유지 관리가 가능한 검색 쿼리를 생성하기 위한 훌륭한 도구입니다. 쿼리 구조를 미리 정의하고 재사용할 수 있습니다. 개발 시간을 절약하고 오류 발생 가능성을 줄이기 때문에 다른 매개변수로 유사한 쿼리를 실행할 때 특히 유용합니다. 템플릿에는 변수에 대한 자리 표시자를 포함할 수 있으므로 다양한 검색 요구 사항에 맞게 쿼리를 동적으로 조정할 수 있습니다.

접지를 위해 Vertex AI API와 Elasticsearch를 사용하는 동안, 위의 코드 스니펫과 같이 원하는 검색 템플릿을 참조해야 하며, 여기서 검색 로직이 구현되어 Elasticsearch로 푸시됩니다. Elastic 파워 유저는 검색 접근 방식을 비동기적으로 관리, 구성 및 업데이트하고 특정 인덱스, 모델 및 데이터에 맞게 조정할 수 있으며, Vertex AI 사용자, 웹 앱 개발자 또는 AI 엔지니어는 접지 API에서 템플릿의 이름만 지정하면 됩니다.

이 설계를 통해 완벽한 사용자 정의가 가능하여 광범위한 Elasticsearch 검색 기능을 Google Cloud AI 환경에서 마음대로 사용할 수 있으며, Elastic에 익숙하지 않은 개발자도 모듈성, 투명성, 사용 편의성을 보장합니다.

BM25 검색, 시맨틱 검색 또는 이 둘의 하이브리드 접근 방식이 필요할 때마다(이미 검색기를 사용해 보셨나요?)? 단일 검색 API 호출로 구성 가능한 검색 기술), 검색 템플릿에서 사용자 지정 로직을 정의하면 Vertex AI가 자동으로 이를 활용할 수 있습니다.

이는 벡터와 결과를 관리하기 위해 선택한 임베딩 및 재랭크 모델에도 적용됩니다. 사용 사례에 따라 Elastic의 ML 노드에서 모델을 호스팅하거나, 추론 API를 통해 타사 서비스 엔드포인트를 사용하거나, 온프레미스에서 로컬 모델을 실행할 수 있습니다. 검색 템플릿을 통해 이 작업을 수행할 수 있으며, 다음 섹션에서 그 방법을 살펴보겠습니다.

참조 템플릿으로 시작한 다음 나만의 템플릿을 만들 수 있습니다.

빠르게 시작할 수 있도록 초기 참조용으로 사용할 수 있는 호환 가능한 검색 템플릿 샘플 세트를 제공했으며, 이를 기반으로 사용자 지정 템플릿을 수정하고 구축할 수 있습니다:

• ELSER 모델을 사용한 시맨틱 검색(스파스 벡터 및 청킹)
• e5 다국어 모델을 사용한 시맨틱 검색(고밀도 벡터 및 청킹)
• 버텍스 AI 텍스트 임베딩 모델을 사용한 하이브리드 검색

이 GitHub 리포지토리에서 찾을 수 있습니다.

한 가지 예를 들어 보겠습니다. 제품 카탈로그에 Google Cloud의 Vertex AI API를 사용하여 임베딩을 생성하는 것입니다. 먼저, 아래와 같이 Elasticsearch에서 검색 템플릿을 생성해야 합니다:

이 예에서는 하나의 검색 내에서 두 개의 필드에 대해 KNN 검색을 실행합니다: title_embedding - 제품 이름이 포함된 벡터 필드와 제품 설명이 포함된 description_embedding 필드입니다.

excludes 구문을 활용하여 처리 과정에서 노이즈를 유발하고 최종 답변의 품질에 영향을 줄 수 있는 불필요한 필드를 LLM에 반환하지 않도록 할 수 있습니다. 이 예제에서는 벡터와 이미지 URL이 포함된 필드를 제외했습니다.

벡터는 이전에 다음과 같이 정의된 Vertex AI 임베딩 API( googlevertexai_embeddings_004)에 대한 추론 엔드포인트를 통해 제출된 입력에 대해 쿼리 시점에 즉석에서 생성됩니다:

Elastic의 추론 API를 사용하는 방법에 대한 추가 정보는 여기에서 확인할 수 있습니다.

이제 템플릿 검색을 테스트할 준비가 되었습니다:

params 필드는 템플릿 스크립트에서 설정한 변수를 이중 중괄호 괄호로 대체합니다. 현재 Vertex AI LLM 및 Grounded Generation API는 다음과 같은 입력 변수를 Elastic에 전송할 수 있습니다:

• "쿼리" - 검색할 사용자 쿼리
• "index_name" - 검색할 인덱스의 이름입니다.
• "num_hits" - 최종 출력에서 검색할 문서 수

다음은 샘플 출력입니다:

위의 쿼리는 바로 이전에 생성된 검색 템플릿을 참조할 때 Google Cloud의 Vertex AI가 Elasticsearch에서 백그라운드에서 실행하는 쿼리입니다. "건식 벽체에 어떤 패치가 필요하나요?"라고 질문하면 채팅 상담원이 일반적인 제안 대신 구체적인 제품을 추천해 드립니다!

Elastic과 Google Cloud를 통한 엔드투엔드 GenAI 여정

Elastic은 Google Cloud와 협력하여 프로덕션에 바로 사용할 수 있는 엔드투엔드 GenAI 환경과 솔루션을 개발합니다. 방금 살펴본 바와 같이, Elastic은 벡터 검색 기능을 사용하여 원활하고 근거가 있는 Gemini 모델 프롬프트와 에이전트를 지원하는 Vertex AI 플랫폼의 UI와 SDK에 직접 통합된 최초의 ISV입니다. 또한, Elastic은 Vertex AI 및 Google AI Studio의임베딩, 재순위 지정, 완성 모델과 통합되어 Google Cloud 환경을 벗어나지 않고도 벡터를 생성하고 순위를 지정하여 책임감 있는 AI 원칙을 보장합니다. 멀티모달 접근 방식을 지원함으로써 다양한 데이터 형식의 애플리케이션을 공동으로 촉진합니다.

플레이그라운드를 통해 GenAI 검색 코드를 조정, 테스트 및 내보낼 수 있습니다.

하지만 검색 앱 구축에만 그치지 않습니다. Elastic은 Gemini 모델을 활용하여 Elastic AI 어시스턴트, 공격 탐색, 자동 가져오기 기능과 같은 IT 운영을 강화함으로써 보안 분석가와 SRE가 저가치 작업에 대한 일상적인 피로를 줄이고 비즈니스 개선에 집중할 수 있도록 지원합니다. 또한 Elastic은 응답 시간, 토큰, 리소스와 같은 메트릭과 로그를 추적하여 최적의 성능을 보장하기 위해 Vertex AI 사용량을 포괄적으로 모니터링할 수 있습니다. 데이터 수집 및 임베딩 생성부터 하이브리드 검색을 통한 근거 마련에 이르기까지 전체 GenAI 라이프사이클을 함께 관리하며, LLM 기반 작업을 통해 GenAI 도구의 강력한 가시성 및 보안을 보장합니다.

자세히 알아보고 사용해 보세요!

이 기능을 사용해 보고 싶으신가요? 이 기능은 현재 구글 클라우드 프로젝트에서 정식 버전으로 출시되었습니다!

아직 시작하지 않으셨다면, Elastic Search AI Platform을 시작하고 기능을 살펴보는 가장 쉬운 방법 중 하나는 무료 Elastic Cloud 체험판을 사용하시거나 Google Cloud Marketplace를 통해 구독하는 것입니다.

이 게시물에 설명된 모든 기능의 출시와 시기는 Elastic의 단독 재량에 따라 결정됩니다. 현재 사용할 수 없는 기능이나 기능은 제때 또는 전혀 제공되지 않을 수 있습니다. Elastic, Elasticsearch 및 관련 상표는 미국 및 기타 국가에서 Elasticsearch N.V.의 상표, 로고 또는 등록 상표입니다. 기타 모든 회사 및 제품명은 해당 소유자의 상표, 로고 또는 등록 상표입니다.

자주 묻는 질문