검색 경험을 개선하려는 IT 리더에게 벡터 검색이 필요한 5가지 이유

Google이나 Amazon과 같은 고품질 검색 엔진과의 빈번한 상호 작용으로 인해 빠르고 정확한 검색에 대한 고객의 기대치가 높아졌습니다. 벡터 검색(시맨틱 벡터 검색이라고도 함)은 딥 러닝과 머신 러닝을 활용하여 데이터의 의미와 컨텍스트를 포착합니다. 벡터 검색은 회사의 검색 경험을 개선하고 다음과 같은 다양한 이점을 제공할 수 있습니다. 

• 사용자에게 더 적은 노력으로 매우 정확한 결과 제공 
• 크고 다양한 데이터에서도 빠른 검색 결과 반환
• 텍스트, 이미지 및 오디오에 대한 새로운 클래스의 검색 지원
• 고객에게 더 정확한 제품 추천, FAQ 답변, 개인 맞춤형 설정까지 직접 제공

기술 리더라면 벡터 검색에 대해 자세히 알아보고 고객의 기대치를 충족할 뿐만 아니라 그 이상의 효과를 얻을 수 있는 방법을 확인해 보세요. 벡터 검색은 검색 경험을 혁신하고 비즈니스 목표를 달성하는 데 도움이 될 수 있습니다.

그렇다면 벡터 검색이란 무엇인가요?

벡터 검색은 텍스트, 오디오 및 이미지를 숫자 표현으로 변환하고, 딥 러닝과 머신 러닝(ML)을 활용하여 이러한 표현의 의미, 의도 및 컨텍스트를 해석함으로써 훨씬 더 정확한 검색 결과를 제공합니다.

새로운 클래스의 검색을 지원하는 시맨틱 벡터 검색

모든 사람이 검색 쿼리를 작성하는 방법에 상관없이 매우 정확한 검색 결과를 기대합니다. 그러나 추상적인 키워드 검색조차도 여전히 높은 수준의 자연어 이해와 놀라운 정도로 빠른 응답 시간을 필요로 합니다. 여기에 시각적 쇼핑을 위한 이미지 검색, Amazon Alexa와 같은 오디오 검색 또는 Pinterest와 같은 앱 내 시각적 추천 등 광범위한 검색 경험에 대한 욕구를 더하면, 검색은 우리가 사물을 찾는 방식에 적응해야 할 필요성이 있음이 명확해집니다.

시맨틱 벡터 검색 기술은 인간의 언어를 더 잘 이해할 수 있으며, 시각, 오디오 및 비정형 텍스트와 같은 다양한 데이터 형식을 해석할 수 있습니다. 이는 비정형 데이터와 사용자의 의도 해석(단순히 키워드가 아니라) 간에 가교 역할을 하여 기대를 충족시킬 뿐만 아니라 잠재적으로 기대를 뛰어넘는 강력한 경험을 제공합니다.

실제 수익을 창출하는 벡터 검색 

벡터 검색은 이미 정확도를 개선하고 판매를 촉진하며 수익을 창출하는 데 널리 사용되고 있습니다.

Spotify가 벡터 검색을 활용하는 방법

Spotify가 팟캐스트에 항상 벡터 검색을 사용한 것은 아닙니다. 최근에는 키워드 용어 매칭을 주로 사용했습니다. 이 검색 방법은 색인된 메타데이터에 쿼리 키워드가 있는 모든 항목이 포함된 결과를 반환합니다. 그러나 사용자가 항상 원하는 것을 정확하게 입력하지는 않습니다. 사용할 용어를 잘 알지 못하거나 전혀 다른 형태로 표현하는 경우가 많습니다.

벡터 검색을 통해 Spotify는 정확한 단어를 매칭할 필요 없이 의미적으로 상관관계가 있는 결과를 매칭함으로써 훨씬 적은 노력으로 더 정확한 콘텐츠를 제공할 수 있었습니다. 예를 들어 ‘전기차 기후 영향’을 검색하면 이제 ‘전기차와 생태계’ 또는 ‘전기차의 환경 영향’에 대한 결과가 반환됩니다. 시맨틱 벡터 검색은 '기후'와 '생태계' 또는 '전기차'와 ‘전기 차량’이라는 용어의 유사성을 식별할 수 있으며, 검색 엔지니어나 사용자는 아무것도 할 필요가 없습니다.  

Home Depot가 시맨틱 벡터 검색으로 더 정확한 검색 결과를 제공하는 방법

Home Depot에는 고도로 전문화된 도구를 포함하여 200만 개가 넘는 제품의 재고 목록이 있습니다. 고객은 자신의 요구에 맞는 적절한 도구를 찾는 데 어려움을 겪었고, 이는 여러 번의 시도와 좌절로 이어지는 경우가 많았고 결국 Home Depot의 반품률이 증가했습니다. 시맨틱 벡터 검색을 구현함으로써 벡터와 텍스트 검색을 결합하여 고객에게 더 정확한 결과를 제공할 수 있게 되었습니다.

예를 들어, 고객이 ‘지붕 용품’ 키워드를 검색하면 지붕널도 결과로 반환됩니다. 이에 따라 Home Depot 검색 팀은 창의적인 제품 설명, 지역별 차이 및 철자가 틀린 키워드를 검색 인덱스에 로드할 필요가 없어졌습니다. 

벡터 검색의 기반 기술인 자연어 처리(NLP)에 대해 자세히 알아보기 >> 

회사 규모에 관계없이 구현 가능한 벡터 검색

벡터 검색은 광범위한 사용 사례에 사용할 수 있습니다. 회사의 규모나 보유한 데이터 양에 관계없이 적절한 도구를 사용한다면 벡터 검색을 통해 검색 경험을 개선할 수 있습니다. 벡터 검색을 사용하면 다음을 달성할 수 있습니다.

정확도 개선으로 더 활발한 참여 유도

사용자에게 더 유용한 결과를 제공하면 웹사이트 및 앱에 대한 참여도가 높아집니다. 단어가 여러 의미를 갖거나 모호할 경우 키워드 기반 검색이 제대로 수행되지 않습니다. 시맨틱 벡터 검색을 사용하면 대규모 데이터 세트에서도 더 정확한 결과를 얻을 수 있습니다. 사용자가 정확한 키워드를 알지 못하는 경우에도 시맨틱 검색 기술을 활용하여 정확한 결과를 반환합니다. 

대규모 데이터 볼륨에서도 더 빠른 성능

벡터 검색을 기존 검색 점수와 결합하면 더 나은 검색 경험을 구현할 수 있습니다. 그러면 더 큰 데이터 세트에서도 더 빠르고 더 정확한 결과가 제공됩니다. 최근접 이웃 및 근사 최근접 이웃과 같은 알고리즘은 효율적인 방법을 활용하여 검색 쿼리를 위해 대량의 문서를 처리하고 순위를 매깁니다. 

확장된 검색 클래스

벡터 검색 엔진으로 이미지 또는 오디오와 같은 새로운 유형의 검색(벡터 데이터베이스, 시맨틱 또는 코사인 검색이라고 함)을 활성화할 수 있습니다. 예를 들어, 한 전자 상거래 업체는 사이트 방문자들이 드레스와 같은 제품의 사진을 업로드하고 유사한 항목을 검색할 수 있도록 허용할 수 있습니다. 이렇게 하면 참여도를 높이고 일부 쇼핑객들이 보다 쉽게 검색할 수 있는 방법을 제공할 수 있습니다.

고객 대신 검색의 컨텍스트, 의도 및 의미를 해석하는 시맨틱 벡터 검색

시맨틱 벡터 검색은 쿼리의 의도, 의미 및 컨텍스트를 파악함으로써 정확도를 크게 향상합니다. 이는 검색 쿼리를 의미 있는 수치 표현 또는 벡터로 변환하고 데이터 세트와 비교하여 유사성을 측정하고 가장 정확한 결과를 찾는 방식으로 수행됩니다. 정보에 입각한 의사 결정을 내리기 위해서는 기술 리더에게 벡터 검색에 대한 높은 수준의 기술적 이해가 필요하며, 알아야 할 세 가지 요소가 있습니다.

1. 벡터 임베딩으로 텍스트를 숫자로 변환: 어떤 알고리즘이든 작동하려면 숫자가 필요합니다. 벡터는 키워드 텍스트를 텍스트의 언어적 내용을 캡처하는 수치 데이터로 변환합니다. 예를 들어, 널리 사용되는 두 모델인 Word2Vec 및 BERT는 동시 발생 빈도와 단어 간의 관계를 이해하기 위해 대규모 언어 데이터 샘플을 분석함으로써 생성되었습니다. 예를 들어 ‘캐나다’의 벡터는 한쪽으로는 ‘프랑스’와 가깝고 다른 한쪽으로는 ‘토론토’와 가깝습니다. 이러한 모델을 사용하면 키워드, 문장 또는 단락을 비교할 수 있는 벡터 임베딩으로 변환할 수 있습니다.

2. 더 나은 검색 알고리즘으로 더 빠르게 검색: 벡터 검색의 또 다른 필수 요소는 수십억 개의 문서를 비교할 때도 빠르게 비교하고 정확한 결과를 반환하는 고성능 알고리즘입니다. 여기에는 근접 검색의 한 형태로, 주어진 세트에서 해당 쿼리에 가장 가까운 결과(가장 유사한 결과)를 찾을 수 있는 근사 최근접 이웃(ANN)이 포함됩니다. ANN은 효율적으로 실행되어 성능을 유지하면서 대규모 데이터 세트로 확장됩니다. 쿼리 속도를 향상시키기 위해 모든 데이터 요소를 탐색하고 가장 유사하고 일치하는 결과에 벡터를 신속하게 매핑하는 그래프가 생성됩니다.  

3. 거리 메트릭을 사용하여 유사한 결과 확인: 벡터를 사용하면 검색어가 함께 나타나는 거리를 측정하여 쿼리와 문서 사이의 유사성을 평가하는 데 사용할 수 있는 서로 다른 좌표 세트를 각 키워드에 기본적으로 할당할 수 있습니다. 벡터 간 거리가 짧을수록 콘텐츠의 유사성이 더 높습니다. 코사인 유사성과 같은 척도는 가장 유사한 결과를 반환하기 위해 숫자와 벡터의 두 시퀀스 사이의 유사성을 결정하는 데 사용됩니다.

벡터 검색 엔진의 모든 이점을 빠르게 확보하는 방법

일부 솔루션에서 향상된 검색 경험을 약속할 수도 있지만, Elastic은 검색 지원 기술의 리더로 알려져 있습니다. Elastic 고객은 Elastic 플랫폼을 사용하여 신속하게 이점을 경험하고, 벡터 검색과 같은 새롭고 혁신적인 기능으로 검색 경험을 지속적으로 개선할 수 있습니다. 

벡터 검색에 Elastic을 사용하는 이유

Elastic에서는 벡터 검색 및 하이브리드 검색을 구현할 수 있는 간편한 배포 경로를 제공하므로 즉시 검색 경험을 개선할 수 있습니다. Elastic의 벡터 검색은 검색 정확도에 대한 여러 가지 접근 방식을 결합하여 벡터 검색 기능과 함께 성능, 단순성 및 사용자 정의와 같은 Elastic의 모든 이점을 제공하기 때문입니다. 

벡터 검색을 배포하여 검색 경험의 가장 큰 격차를 해결할 수 있습니다.

Elastic의 쿼리는 문서의 수가 많을 때 더 빠른 성능을 발휘합니다. Elastic은 쿼리 속도를 향상시키기 위해 모든 데이터 요소를 탐색하고 가장 유사하고 일치하는 결과에 벡터를 신속하게 매핑하는 그래프를 사용합니다. 벡터 유사성 검색에 대한 이 접근 방식에서는 HNSW(Hierarchical Navigable Small World)라는 ANN 알고리즘을 사용합니다. 쿼리 성능을 가속화하기 위해 다중 계층 HNSW가 지원되므로 그래프를 더 빠르게 탐색할 수 있습니다. 더 상위 레이어로 갈수록 데이터 요소가 적어지므로 최근접 이웃을 찾기 위해 더 먼 거리에 걸쳐 데이터 요소 사이에 더 적은 홉이 필요하기 때문에 새로운 레이어들은 쿼리 경로를 최적화합니다. 

Elastic은 간편한 통합 엔드 투 엔드 솔루션을 제공합니다. 앞에서 설명했듯이, 시맨틱 벡터 검색에서는 유사성을 결정하기 위해 벡터 임베딩을 입력해야 합니다. 대부분의 솔루션에서는 벡터 임베딩을 생성하려면 외부 프로세스(예: 심층 신경망 텍스트)가 필요하지만, Elastic에서는 아닙니다. Elastic 벡터 검색의 장점은 벡터 임베딩을 아주 쉽게 지원할 수 있다는 것입니다.

밀집 벡터를 부동 값으로 저장하고 Elastics kNN search API로 유사한 결과를 빠르게 찾는 데 사용할 수 있는 밀집 벡터 필드 유형을 통하면 됩니다. 이렇게 하면 구현이 간소화되고 벡터를 더 쉽게 생성할 수 있습니다. 팀은 즉시 가치를 경험할 수 있습니다. 또한 Elastic을 활용하여 벡터를 배포, 컴퓨팅 및 확장할 수 있으므로 성능이 향상되고 비용이 절감됩니다. 

Elastic은 사용자가 원하는 방식으로 작동하므로 필요에 맞게 사용자 지정하면 됩니다. Elastic은 PyTorch를 지원하므로 자체 모델을 배포할 수 있는 완벽한 제어 기능을 제공합니다. 고유한 요구 사항이나 산업에 맞게 사용자 정의하여 경쟁 우위를 제공할 수 있습니다. Elastic은 또한 HuggingFace를 통해 즉시 사용할 수 있는 모델을 제공하여 주요 언어 모델 커뮤니티를 활용하는 빠른 시작 옵션을 지원합니다. 

비즈니스에 도움이 되는 향상된 검색

증가하는 고객 수요로 인해 우수한 검색 경험은 비즈니스의 필수 요소가 되었습니다. 다행히 시맨틱 벡터 검색은 탁월한 검색 경험이라는 약속을 실현할 수 있는 혁신적인 기술입니다. 새로운 유형의 검색도, 더 빠른 결과, 더 뛰어난 정확도 또는 개인 맞춤화도, Elastic이 도와드릴 수 있습니다. 여정을 계속하려면 기술 블로그에서 벡터 검색으로 실질적인 영향을 미치는 방법에 대해 알아보세요.