AI 혁신을 위한 고급 검색, Elasticsearch Relevance Engine™ 소개

오늘은 매우 정확한 AI 검색 애플리케이션을 만들기 위한 새로운 기능인 Elasticsearch Relevance Engine™(ESRE™)을 소개하겠습니다. ESRE는 검색 분야를 선도하는 Elastic의 리더십과 2년에 걸친 머신 러닝 연구 및 개발을 기반으로 구축되었습니다. Elasticsearch Relevance Engine은 AI의 장점과 Elastic의 텍스트 검색을 결합합니다. ESRE는 개발자들에게 정교한 검색 알고리즘의 전체 제품군과 대규모 언어 모델(LLM)과 통합할 수 있는 기능을 제공합니다. 더 좋은 점은 Elastic 커뮤니티에서 이미 신뢰하고 있는 간단한 통합 API를 통해 액세스할 수 있기 때문에 전 세계 개발자들이 즉시 이를 사용하여 검색 정확도를 높일 수 있다는 것입니다.

Elasticsearch Relevance Engine의 구성 가능한 기능은 다음과 같은 방법으로 정확도를 개선하는 데 도움이 될 수 있습니다.

• 하이브리드 검색의 중요한 구성 요소인 BM25f 등 고급 정확도 순위 지정 기능 적용
• Elastic의 벡터 데이터베이스를 사용하여 밀집 임베딩 생성, 저장 및 검색
• 다양한 자연어 처리(NLP) 작업 및 모델을 사용하여 텍스트 처리
• 개발자가 비즈니스 관련 컨텍스트에 맞게 Elastic에서 자체 트랜스포머 모델을 관리 및 사용하도록 허용
• API를 통해 OpenAI의 GPT-3 및 4와 같은 서드파티 트랜스포머 모델과 통합하여 Elasticsearch 배포 내에 통합된 고객의 데이터 저장소를 기반으로 콘텐츠의 직관적인 요약을 검색
• Elastic의 즉시 사용 가능한 Learned Sparse Encoder 모델을 사용하여 모델을 훈련하거나 유지관리하지 않고 ML 지원 검색을 활성화하여 다양한 도메인에 걸쳐 매우 정확한 시맨틱 검색 제공
• 개발자가 AI 검색 엔진을 자연어 및 키워드 쿼리 유형의 고유한 조합에 최적화하도록 제어할 수 있는 하이브리드 순위 지정 방법인 상호 순위 결합(RRF)을 사용하여 희소 검색과 밀접 검색을 손쉽게 결합
• LangChain과 같은 서드파티 도구와 통합하여 정교한 데이터 파이프라인 및 생성형 AI 애플리케이션 구축 지원

검색의 진화는 정확도를 개선하고 검색 애플리케이션과 상호 작용하는 방식을 개선해야 하는 지속적인 필요성에 의해 주도되어 왔습니다. 매우 정확한 검색 결과는 검색 앱에 대한 사용자 참여를 높이고 수익과 생산성 모두에 상당한 다운스트림 영향을 미칠 수 있습니다. LLM 및 생성형 AI의 새로운 세계에서 검색은 한 단계 더 나아갈 수 있습니다. 즉, 사용자의 의도를 이해하여 이전에는 볼 수 없었던 구체적인 응답을 제공할 수 있습니다.

특히, 모든 검색의 발전은 새로운 기술과 변화하는 사용자 행동으로 인해 제기된 새로운 문제를 해결하는 동시에 더 나은 정확도를 제공합니다. 시맨틱 검색을 제공하기 위해 키워드 검색을 확장하든 비디오 및 이미지에 대한 새로운 검색 양식을 활성화하든, 새로운 기술에는 검색 사용자에게 더 나은 경험을 제공하기 위한 고유한 도구가 필요합니다. 마찬가지로 오늘날의 인공 지능 세계에서는 고객이 테스트한 검증된 기능을 갖춘 기술 스택에 구축된 확장성이 뛰어난 새로운 개발자 툴킷이 필요합니다.

생성형 AI의 추진력과 더불어 ChatGPT와 같은 기술 채택이 증가하고, 대규모 언어 모델 기능에 대한 인식이 높아지면서 개발자는 애플리케이션을 개선할 수 있는 기술을 실험하고 싶어 합니다. Elasticsearch Relevance Engine은 생성형 AI 세계에서 새로운 기능의 시대를 열었으며 모든 개발자 팀이 즉시 사용할 수 있는 강력한 도구를 제공합니다.

Elasticsearch Relevance Engine은 Elastic Cloud에서 지금 제공되고 있습니다. 최신 릴리즈의 모든 새로운 기능들은 유일한 호스트형 Elasticsearch 제품인 Elastic Cloud에서만 이용하실 수 있습니다. 또한 Elastic Stack과 클라우드 오케스트레이션 제품들, Elastic Cloud Enterprise와 Kubernetes의 Elastic Cloud를 다운로드하셔서 자체 관리형 환경을 만드셔도 됩니다.

Elasticsearch Relevance Engine™은 개발자가 빠르게 발전하고 생성형 AI를 비롯하여 자연어 검색의 이러한 문제를 해결할 수 있도록 지원합니다.

1. 엔터프라이즈 데이터/컨텍스트 인식: 모델에 특정 도메인과 관련된 충분한 내부 지식이 없을 수 있습니다. 이는 모델 훈련에 사용된 데이터 세트에 따라 달라집니다. 기업이 LLM에서 생성하는 데이터와 콘텐츠를 맞춤화하기 위해서는 모델이 더 정확하고 비즈니스에 특화된 정보를 배울 수 있도록 모델에 독점 데이터를 제공하는 방법이 필요합니다.
2. 탁월한 정확도: Elasticsearch Relevance Engine은 시맨틱 검색을 사용하여 컨텍스트를 검색하기 위해 벡터 임베딩을 생성하고 저장하는 것처럼 간단하게 프라이빗 소스의 데이터를 통합합니다. 벡터 임베딩은 단어, 구문 또는 문서의 숫자 표현으로, LLM이 단어의 의미와 해당 관계를 이해하는 데 도움이 됩니다. 이러한 임베딩은 속도와 확장성 측면에서 트랜스포머 모델의 출력을 향상시킵니다. ESRE는 또한 개발자가 자체 트랜스포머 모델을 Elastic으로 가져오거나 서드파티 모델과 통합할 수 있도록 합니다.
   
   Elastic은 또한 최신 상호 작용 모델의 출현으로 서드파티 데이터 세트에 대한 광범위한 훈련이나 미세 조정 없이도 이를 즉시 제공할 수 있다는 것을 깨달았습니다. 모든 개발 팀이 머신 러닝 모델을 훈련 및 유지관리하거나 확장성, 성능 및 속도에 대한 절충을 이해할 수 있는 리소스나 전문 지식을 보유하고 있는 것은 아니기 때문에 Elasticsearch Relevance Engine에는 다양한 도메인에 걸친 시맨틱 검색을 위해 구축된 검색 모델인 Elastic Learned Sparse Encoder도 포함되어 있습니다. 이 모델은 희소 임베딩을 기존의 키워드 기반 BM25 검색과 결합하여 하이브리드 검색을 위해 사용하기 쉬운 상호 순위 결합(RRF) 점수를 확보합니다. 개발자들은 ESRE를 통해 사용 첫날부터 머신 러닝 지원 정확도 및 하이브리드 검색 기술을 활용할 수 있습니다.
3. 개인정보 보호 및 보안: 데이터 개인정보 보호는 기업이 네트워크를 통해 그리고 구성 요소 간에 독점 데이터를 사용하고 안전하게 전달하는 방법에서 핵심적인 역할을 합니다. 이는 혁신적인 검색 경험을 구축하는 경우에도 마찬가지입니다.
   
   Elastic은 역할 기반 및 속성 기반 액세스 제어를 기본적으로 지원하여 채팅 및 질문 답변 애플리케이션에서도 데이터에 대한 액세스 권한이 있는 역할만 데이터를 볼 수 있도록 합니다. Elasticsearch는 권한이 있는 개인만 특정 문서에 액세스할 수 있도록 유지해야 하는 조직의 요구를 지원함으로써 모든 검색 애플리케이션에서 보편적인 개인정보 보호 및 액세스 제어를 유지할 수 있도록 돕습니다.
   
   개인정보 보호가 최대 관심사인 경우, 모든 데이터를 조직의 네트워크 내에 유지하는 것이 매우 중요할 뿐만 아니라 의무 사항이 될 수 있습니다. ESRE는 조직이 에어 갭 환경에서 배포를 구현할 수 있도록 허용하는 것부터 보안 네트워크에 대한 액세스를 지원하는 것까지 조직이 데이터를 안전하게 유지하는 데 필요한 도구를 제공합니다.
4. 규모와 비용: 데이터 볼륨과 필요한 컴퓨팅 성능 및 메모리는 많은 기업에서 대규모 언어 모델을 사용하지 못하는 장벽이 될 수 있습니다. 그러나 챗봇과 같은 자체 생성형 AI 앱을 구축하려는 기업은 LLM과 프라이빗 데이터를 결합해야 합니다.
   
   Elasticsearch Relevance Engine은 정밀한 컨텍스트 창으로 정확도를 효율적으로 제공하는 엔진을 기업에 제공하여 번거로움이나 비용 없이 데이터 공간을 줄일 수 있도록 돕습니다.
5. 오래된 데이터: 모델은 데이터가 수집되는 시점에 고정됩니다. 따라서 생성형 AI 모델이 생성하는 콘텐츠와 데이터는 훈련에 사용된 데이터만큼만 최신입니다. LLM에서 결과를 적시에 도출하기 위해서는 기업 데이터 통합이 본질적으로 필요합니다.
6. 환각: 질문에 답하거나 모델과 대화할 때 모델은 신뢰할 수 있고 설득력 있게 들리는 사실을 만들어 낼 수 있지만 실제로는 사실이 아닌 예측입니다. 이것이 비즈니스 컨텍스트에서 유용한 모델을 만들려면 LLM을 상황에 맞는 맞춤형 지식으로 교육하는 것이 매우 중요한 또 다른 이유입니다.
   
   Elasticsearch Relevance Engine을 사용하면 개발자가 생성형 AI 모델의 컨텍스트 창을 통해 자체 데이터 저장소에 연결할 수 있습니다. 추가된 검색 결과는 프라이빗 소스 또는 전문 도메인의 최신 정보를 제공할 수 있으므로 질문을 받았을 때 모델의 소위 ‘파라메트릭’ 지식에만 의존할 때 보다 더 사실에 기반한 정보를 반환할 수 있습니다.