패싯 검색: AI를 사용하여 검색 범위 및 결과 개선

Elasticsearch는 업계 최고 수준의 생성형 AI 도구 및 다양한 공급업체와 기본적으로 연동됩니다. Elastic 벡터 데이터베이스를 활용해 진행 중인 RAG 기본 넘어서기 또는 프로덕션 수준 앱 구축 웨비나를 확인해 보세요.

사용 사례에 가장 적합한 검색 솔루션을 구축하려면 무료 클라우드 체험판을 시작하거나 로컬 기기에서 Elastic을 지금 사용해 보세요.

이 글에서는 인공지능(AI)이 특히 GPT-4와 같은 고급 언어 모델을 사용하여 어떻게 더 많은 맥락적 측면을 생성하여 사용자에게 더욱 관련성 있고 유용하게 만들 수 있는지 살펴봅니다.

패싯 검색은 이커머스 플랫폼에서 강력한 도구입니다. 표시된 항목의 특성에 따라 검색 결과를 정리하고 세분화할 수 있습니다. 흔히 필터와 혼동하기 쉽지만, 패싯은 작동 방식이 다릅니다. 필터는 제품의 카테고리나 형식과 같이 인덱스에 항상 존재하는 정보로 정의되는 고정 속성을 말합니다. 반면에 패싯은 동적이며 실행된 검색에서 반환된 결과에서 생성됩니다.

"category" (예: 티셔츠, 바지) 또는 "gender" (예: 남성, 여성)와 같은 필드는 검색 결과의 범위를 좁히는 데 도움이 되는 필터입니다. 그러나 패싯은 일반적인 색상, 사용 가능한 크기 또는 재질과 같이 결과에 나타나는 제품의 특정 특성을 반영합니다. 이를 통해 보다 적응력 있고 상황에 맞는 검색 환경을 제공할 수 있습니다.

아래는 패싯과 상호 작용하여 패싯에 의해 필터링된 검색 결과를 볼 수 있는 이미지입니다.

AI가 패싯 생성을 개선하는 방법

인공 지능은 종종 시맨틱 검색 및 임베딩과 관련이 있지만 패싯은 어떤가요? AI를 활용하여 각 검색에 더 유용하고 상황에 맞는 패싯을 만들려면 어떻게 해야 할까요?

한 가지 흥미로운 가능성은 AI를 사용하여 색인의 기존 분류를 뛰어넘는 새로운 분류를 만드는 것입니다. 이러한 새로운 카테고리는 콘텐츠의 특정 특성을 분석하여 더욱 풍부하고 정확한 컨텍스트화를 제공함으로써 사용자의 요구와 더욱 관련성 있고 부합하는 패싯을 만들 수 있습니다. 이렇게 하면 원래 문서 범주에 비해 결과를 더욱 의미 있게 세분화할 수 있습니다.

AI가 더 나은 검색을 위해 영화 분류를 세분화하는 방법

현재 드라마 장르로 분류된 다음 영화를 분석해 보겠습니다:

꿈을 위한 레퀴엠
재개하기: 마약에 중독된 코니 아일랜드 사람들의 유토피아는 중독이 깊어지면서 산산조각이 납니다.
아메리칸 뷰티
이력서: 성적으로 좌절한 교외의 아버지는 딸의 절친한 친구와 사랑에 빠진 후 중년의 위기를 겪습니다.
굿 윌 헌팅
이력서: MIT의 청소부인 윌 헌팅은 수학에 재능이 있지만 인생의 방향을 찾기 위해 심리학자의 도움이 필요합니다.

이 장르 분류는 각 영화의 미묘한 차이점이나 고유한 맥락을 포착하지 못합니다. AI를 활용하여 시놉시스와 중심 주제를 분석함으로써 각 영화의 실제 맥락을 더 잘 반영하는 새로운 카테고리를 만들 수 있습니다. 예를 들어

꿈을 위한 레퀴엠 - 새 카테고리: "중독과 의존성"
아메리칸 뷰티 - 새 카테고리: "중년의 위기"
굿 윌 헌팅 - 새 카테고리: "지적 투쟁"

이러한 새로운 카테고리는 검색의 정확도를 높이는 동시에 사용자에게 보다 의미 있는 필터를 제공하여 검색 결과를 세분화할 수 있게 해줍니다. 이 접근 방식은 기존 카테고리가 지나치게 일반적일 때 특히 효과적이며, 사용자가 원하는 것을 더 쉽게 찾을 수 있도록 도와줍니다.

GPT-4로 새 카테고리 만들기: 패싯 검색 예제

이 예에서는 AI 모델을 사용하여 보다 정확하고 각 작품의 맥락에 맞는 새로운 영화 카테고리를 생성하는 방법을 보여드리겠습니다. 이 프로세스를 시연하기 위해 Elastic 시뮬레이션 파이프라인과 OpenAI 추론 서비스를 함께 사용하겠습니다. 새 카테고리를 결정할 수 있는 추론 프로세서에서 실행할 프롬프트를 생성하는 스크립트 프로세서를 포함하여 여러 프로세서가 포함된 파이프라인이 만들어집니다. 다른 프로세서는 파이프라인 실행 중에 생성된 데이터와 보조 필드를 조작하는 데 사용됩니다. 이 로직은 다른 유사한 도구나 모델에도 적용할 수 있다는 점을 언급할 가치가 있습니다.

먼저 추론 엔드포인트를 생성하여 서비스를 OpenAI로 정의하고, 서비스에 액세스하는 데 필요한 토큰과 모델을 정의해야 합니다. 이 예제에서는 gpt-4o-mini를 사용하고 있습니다. OpenAI 추론 서비스에 대한 자세한 내용을 보려면 여기를 클릭하세요.

엔드포인트가 생성되었으므로 이제 이를 사용하여 새 카테고리를 만들 준비가 되었습니다. 아래는 문서 데이터 조작 및 프롬프트 생성의 전체 프로세스를 처리하는 파이프라인입니다. 각 프로세서의 기능에 대해 자세히 설명하겠습니다.

첫 번째 프로세서는 프롬프트 작성을 담당합니다. AI가 주제를 정확하게 분석하고 식별할 수 있도록 지침을 명확하게 자세히 설명하는 것이 매우 중요합니다. 이 프롬프트에서는 영화의 제목, 설명 및 장르 분석을 기반으로 두 가지 주제를 요청합니다.

다음 파이프라인은 추론 파이프라인으로, 프롬프트를 수신하여 generate_topics_ia 엔드포인트로 전송합니다. 모델에서 생성된 응답은 결과 필드에 저장됩니다.

다음으로, 제가 만든 임시 필드를 제거하는 것 외에도 응답을 조작하고 주제 필드에 설정하는 데 사용되는 3개의 프로세서가 있습니다.

이 파이프라인을 실행하면 아래와 같은 결과를 얻을 수 있습니다:

처음에는 같은 장르에 속하는 카테고리도 있지만, 영화의 맥락과 더 관련이 있는 새로운 카테고리가 있다는 점에 유의하세요.

이제 이 새로운 카테고리를 사용하여 문서와 함께 색인을 생성할 수 있습니다. 이렇게 하면 패싯을 생성할 때 기본 카테고리 외에도 영화의 맥락에 맞는 보다 구체적인 하위 카테고리를 만들 수 있습니다.

또한 이러한 새로운 카테고리를 벡터화하여 벡터 검색에 사용할 수도 있습니다. 즉, 새로운 카테고리는 필터 역할을 할 뿐만 아니라 검색어와의 의미적 유사성을 계산하는 데도 사용할 수 있어 표시되는 결과의 관련성을 더욱 높일 수 있습니다.

완전한 파이프라인:

결론

AI를 사용하여 패싯을 개선하면 검색 결과를 더욱 구체적이고 맥락에 맞게 만들어 검색 환경을 변화시킬 수 있습니다. 광범위한 고정 카테고리와 달리 AI가 생성한 카테고리는 문맥을 더 잘 반영할 수 있습니다. 예를 들어, 영화를 재분류할 때 기본 카테고리에서 놓치는 맥락을 포착하여 훨씬 더 관련성 높은 그룹을 제공할 수 있습니다.

이러한 새로운 카테고리를 인덱스에 추가하면 패싯을 개선할 수 있을 뿐만 아니라 벡터 검색을 활성화할 수도 있습니다. 그 결과, 문맥에 더욱 부합하는 필터를 통해 보다 효율적인 검색 환경을 제공합니다.