하이브리드 검색이란 무엇인가요?

하이브리드 검색은 개별 검색 방법의 약점을 완화하는 동시에 단일 파이프라인에서 각 방법의 강점을 활용합니다. 최신 AI는 다양한 모달리티, 텍스트, 이미지, 오디오, 로그 등을 처리하고 의도를 데이터로 연결해야 합니다. 관련성은 그 어느 때보다 중요해지고 있습니다. 예를 들어 이커머스에서 검색 환경은 사용자가 빠르게 결과를 필터링하고 구체화할 수 있도록 지원해야 성공할 수 있지만, AI 에이전트는 질문에 응답하거나 조치를 취하기 위해 관련성이 높은 하나의 답변이 필요한 경우가 많습니다. 이것이 바로 검색 기술을 혼합하고 최적화하는 역량이 오늘날 중요한 이유입니다. 이는 전통적인 검색 결과뿐만 아니라, 정확하면서도 데이터에 기반한 응답을 제공하는 대화형 에이전트를 지원합니다.

하이브리드 검색에 대해 더 자세히 알아보기 전에, 어휘(lexical) 검색과 시맨틱(semantic) 검색이 어떻게 다르고 왜 서로를 보완하는지 간단히 살펴보겠습니다.

어휘 검색은 잘 구조화된 데이터가 있고 사용자가 찾고자 하는 내용을 알고 있을 때 이상적입니다. 정확한 용어를 일치시켜 매우 정확하고 설명하기 쉬우며, 정확도 점수 알고리즘(예: BM25F)을 사용해 쿼리 용어의 빈도 및 희귀도에 따라 문서 순위를 매깁니다. 이 방식은 투명한 점수 산정을 제공하며, 필드 부스트, 동의어, 분석기를 통해 세밀하게 조정된 관련성을 지원합니다. 모델 오버헤드가 없기 때문에 어휘 검색은 빠르고 효율적이며, 필터와 패싯은 속도 저하나 전체 인덱스 스캔 없이 대규모 환경에서도 안정적으로 작동합니다. 특히 구조화된 쿼리, 희귀 용어, 도메인 특화 언어에 효과적입니다.

다음은 어휘 검색 쿼리의 간단한 예입니다.

GET example-index/_search
{
    "query": {
        "term": {
            "text": "blue shoes"
        }
    }
}

Elasticsearch 쿼리 언어(ES|QL)를 사용한 어휘 검색의 유사한 예로 요리 블로그를 살펴보겠습니다. 이 블로그에는 텍스트 콘텐츠, 범주형 데이터, 숫자 등급 등 다양한 속성을 가진 레시피가 포함되어 있습니다.

FROM cooking_blog METADATA _score
| WHERE description:"fluffy pancakes"
| KEEP title, description, _score
| SORT _score DESC
| LIMIT 1000

이 쿼리는 description 필드에서 "fluffy" 또는 "pancakes"(또는 둘 다)가 포함된 문서를 검색합니다. 기본적으로 ES|QL은 검색어 간에 OR 논리를 사용하므로 지정된 단어가 포함된 문서와 일치합니다. KEEP 명령을 사용하여 결과에 포함할 필드를 정확히 지정하고 _score 메타데이터를 요청하여 검색 결과가 쿼리와 얼마나 잘 일치하는지에 따라 검색 결과의 순위를 매길 수 있습니다.

이 실습 튜토리얼을 통해 어휘 검색에 대해 자세히 알아보세요.

시맨틱 검색은 어휘 검색처럼 정확한 단어만 일치시키는 것이 아니라 쿼리와 문서 간의 의미 유사성을 기반으로 결과를 검색합니다.

임베딩 모델은 텍스트나 기타 미디어의 의미를 벡터라는 수치적 표현으로 변환합니다. 이러한 벡터(숫자 목록)는 텍스트의 근본적인 맥락과 주제를 담아, Elasticsearch와 같은 벡터 데이터베이스에 저장됩니다.

이를 통해 검색 엔진은 쿼리와 정확히 일치하는 단어가 없는 경우에도 개념적으로 유사한 결과를 찾을 수 있습니다.

이 접근 방식은 비정형 데이터, 탐색적 쿼리, 그리고 사용자가 정확한 용어를 모르는 경우에 특히 유용합니다. 개발자는 시맨틱 검색을 활용하여 더 관련성 높은 결과를 제공하고, 모호하거나 장황하거나 애매한 표현을 처리하면서도 정확한 답변을 보여줄 수 있습니다.

다음은 시맨틱 검색 쿼리의 예입니다.

GET example-index/_search
{
  "query": {
    "semantic": {
      "field": "inference_field",
      "query": "blue waterproof trail runners with great grip and a wide toe box"
    }
  }
}

ES|QL은 매핑에 semantic_text 유형의 필드가 포함된 경우 시맨틱 검색을 지원합니다. 추론 엔드포인트에서 실행 중인 기본 모델에 의해 문서가 처리되면 시맨틱 검색을 수행할 수 있습니다. 다음은 semantic_description 필드에 대한 자연어 쿼리 예시입니다.

FROM cooking_blog METADATA _score
| WHERE semantic_description:"What are some easy to prepare but nutritious plant-based meals?"
| SORT _score DESC
| LIMIT 5

시맨틱 검색에 대해 자세히 알아보거나 이 실습 튜토리얼을 통해 더 깊이 알아보세요.

어휘 알고리즘(예: BM25F)은 쿼리 용어가 문서 용어와 일치할 때 정밀도가 뛰어나지만 관련 콘텐츠가 다르게 표현되면 실패합니다. (예를 들어, "athletic footwear(운동화)"에 대한 쿼리는 "shoes(신발)"나 "trail runner(트레일화)"만 언급된 문서를 놓칠 수 있습니다.) 시맨틱 벡터 검색은 고차원 임베딩과 근사 최인접 이웃(ANN) 알고리즘(예: HNSW)을 사용하여 정확한 용어 중복 여부와 관계없이 개념적으로 유사한 문서를 검색합니다. 그러나 문맥이 모호한 경우 노이즈가 발생할 수 있습니다.

두 가지 장점을 모두 활용할 수 있다면 어떨까요? 이제 하이브리드 검색을 살펴보겠습니다. 제대로 활용하면 하이브리드 검색은 각 검색 방식의 단순 합을 뛰어넘어, 어휘 검색이나 시맨틱 검색만 사용하는 것보다 훨씬 우수한 결과를 제공합니다. 하이브리드 방식은 균형 잡힌 관련성, 향상된 정규화 할인 누적 이득(NDCG), 그리고 추가 검색 시스템 없이도 더 높은 재현율을 제공합니다.

다음은 하이브리드 검색 쿼리의 예입니다.

GET example-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "term": {
                "description": "shoes"
              }
            }
          }
        },
        {
          "knn": {
            "field": "vector",
            "query_vector": [1.25, 2, 3.5],
            "k": 50,
            "num_candidates": 100
          }
        }
      ],
      "rank_constant": 20,
      "rank_window_size": 50
    }
  }
}

ES|QL에서는 풀텍스트와 시맨틱 쿼리를 결합할 수도 있습니다. 이 예시에서는 풀텍스트 검색과 시맨틱 검색을 커스텀 가중치와 함께 결합합니다.

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"shoes") | SORT _score DESC | LIMIT 50)
       ( WHERE knn(vector, [1.25, 2, 3.5], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 50 ) // k for knn is derived from LIMIT
| FUSE RRF WITH { "rank_constant": 20 }
| SORT _score DESC   
| LIMIT 50

하이브리드 검색 쿼리를 실행하려면 일반적으로 적어도 하나의 어휘 검색과 하나의 시맨틱 검색을 실행한 다음 그 결과를 결합해야 합니다. 주요 과제는 여러 개의 순위 목록을 하나의 일관된 순위로 병합하는 것입니다.

BM25F 또는 TF-IDF와 같은 알고리즘으로 생성되는 어휘 검색 점수는 제한이 없을 수 있으며, 최대값은 용어 빈도와 문서 분포에 따라 달라질 수 있습니다. 대조적으로, 시맨틱 점수는 일반적으로 유사성 함수에 의해 결정되는 고정된 범위 내에 있습니다(예: 코사인 유사성의 경우 [0, 2]).

이들을 병합하려면 검색된 문서의 상대적 관련성을 유지하는 융합 방법이 필요합니다.

Elasticsearch를 이용한 하이브리드 검색은 표준 키워드 쿼리와 벡터 쿼리를 결합하거나, 검색기를 사용하여 구현할 수 있습니다. 검색기는 여러 종류의 쿼리를 실행하고, 선택한 점수화 방법을 사용해 결과를 하나의 순위 목록으로 통합하는 검색 옵션입니다. 이를 통해 결과를 결합하기 위한 여러 요청이나 추가 클라이언트 측 로직 없이도, 단일 검색 호출로 다단계 검색 파이프라인을 실행할 수 있습니다.

Elasticsearch는 상호 순위 결합(RRF)과 선형 결합(종종 API에서 선형 검색기로 불림)이라는 두 가지 내장 융합 방법을 제공합니다. 두 방법 모두 각 검색기의 강점을 보존하는 통합 순위를 만드는 것을 목표로 하지만, 점수를 처리하는 방식과 효과적으로 작동하는 상황에서는 차이가 있습니다.

상호 순위 결합은 원시 점수를 완전히 무시하고 각 목록에서 문서가 얼마나 높은 순위에 나타나는지에 초점을 맞춥니다. 목록 상위에 위치한 문서는 강력한 보상을 받으며, 여러 목록에 나타나는 문서는 추가 부스트를 받습니다. 이 방법이 강력한 이유는 호환되지 않는 점수 범위의 문제를 회피하고, 순위 상수 이외에는 거의 조정이 필요하지 않으며, 자연스럽게 상위 결과의 다양성을 촉진하기 때문입니다.

RRF는 다음 공식을 사용하여 결과 집합의 순위에 따라 문서에 점수를 매기며, 여기서 k 는 낮은 순위의 문서의 중요성을 조정하기 위한 임의의 상수입니다.

RRF는 검색기가 상위 결과에서 일부 중복을 보일 때, 그리고 개발자가 레이블이 지정된 학습 데이터나 복잡한 보정 없이 바로 사용할 수 있는 솔루션을 필요로 할 때 특히 유용합니다.

반면, 선형 결합은 각 검색기의 실제 점수를 직접 병합합니다. 어휘 및 시맨틱 점수는 매우 다른 범위에서 작동하기 때문에, 선형은 점수를 비교 가능한 범위로 가져오기 위해 최소-최대 스케일링과 같은 정규화가 필요합니다.

정규화되면 각 검색기의 상대적 중요성을 나타내는 가중치를 사용하여 점수가 혼합됩니다. 가중치가 1보다 크면 검색기의 영향력이 증가하고, 1보다 작으면 감소합니다.

이러한 접근 방식을 통해 세밀한 제어가 가능합니다. 개발자는 키워드 정밀도가 중요할 때 BM25F를 강조하고, 의도와 컨텍스트가 중요할 때 시맨틱 유사성을 중심으로 기울이거나, 검색 점수와 함께 추가적인 비즈니스 또는 개인화 신호를 통합할 수 있습니다. 가중치가 신중하게 보정되면 선형 결합은 더 정확하고 예측 가능한 순위를 생성함으로써 RRF를 능가할 수 있지만, 실험이 필요하고 데이터 세트별 튜닝에 민감합니다.

선형 결합은 각 가중치와 β(이 경우, 0 ≤α, β)를 사용해, 어휘 검색 결과와 시맨틱 검색 결과를 다음과 같이 결합합니다.

실제로, RRF는 단순성과 점수 척도 불일치에 대한 복원력 덕분에 하이브리드 검색을 위한 최적의 출발점입니다. 많은 튜닝 없이도 강력한 결과를 얻을 수 있어 프로토타입 제작이나 검색기가 겹치는 경우에 이상적입니다. 선형 결합은 서로 다른 검색 방법이 배타적인 결과를 반환할 때나 어휘·시맨틱·외부 신호를 신중하게 균형 있게 조정할 필요가 있을 때 더 적합합니다. 간단히 말해, RRF는 즉시 사용 가능한 빠르고 신뢰할 수 있는 하이브리드화를 제공하는 반면, 선형 결합은 애플리케이션과 데이터에 맞게 가중치와 정규화 매개변수가 조정되면 더 높은 정확도를 달성할 수 있습니다.

요약하면 다음과 같습니다.

요약하자면, 선형 결합은 조정 시 더 높은 잠재적 정확도를 제공하며, RRF는 구현이 더 쉽고 레이블이 지정된 학습 데이터 없이도 잘 작동합니다.

하이브리드 검색에 대해 자세히 알아보려면 이 튜토리얼을 참조하세요.

Elasticsearch의 시맨틱 검색은 쿼리와 문서를 의미를 포착하는 벡터 표현으로 변환하는 방식으로 작동합니다. 하이브리드 검색은 밀집 모델이든 희소 모델이든 상관없이, 어휘 검색과 시맨틱 검색을 결합합니다.

[
  0.13586345314979553,
  -0.6291824579238892,
  0.32779985666275024,
  0.36690405011177063,
  ...
]

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "knn": { 
            "field": "title_vector",
            "query_vector": [0.1, 3.2, 2.1],
            "k": 5,
            "num_candidates": 100
          }
        }
      ]
    }
  }
}

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"fox") | SORT _score DESC | LIMIT 5)
       ( WHERE knn(image_vector, [0.1, 3.2, 2.1], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 5 )
| FUSE
| SORT _score DESC

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

POST my-index/_search
{
  "_source": false,
  "fields": [ "text_field" ],
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [0.1, 3.2, ..., 2.1],
            "k": 5,
            "num_candidates": 100
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "text": {
                  "query": "snowy mountain"
                }
              }
            }
          }
        },
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [
              0.01,
              0.3,
              -0.4
            ],
            "k": 10,
            "num_candidates": 100
          }
        },
        {
          "standard": {
            "query": {
              "semantic": {
                "field": "semantic_text",
                "query": "snowy mountain"
              }
            }
          }
        }
      ],
      "rank_window_size": 50,
      "rank_constant": 60
    }
  }
}

FROM my-index METADATA _score
| FORK (WHERE match(text, "snowy mountain") | SORT _score DESC | LIMIT 50)
       (WHERE knn(image_vector, [0.01, 0.3, -0.4], {"min_candidates": 100 }) | SORT _score DESC | LIMIT 50)
       (WHERE match(semantic_text, "snowy mountain") | SORT _score DESC | LIMIT 50)
| FUSE RRF WITH {"rank_constant": 60 } // 60 is the default anyway?
| SORT _score DESC
| LIMIT 50

하이브리드 검색은 풀텍스트 검색의 정밀도와 시맨틱 검색의 문맥적 범위를 결합하여, 다양한 콘텐츠에서 보다 정확하고 관련성 높은 결과를 제공합니다. 밀집 모델과 희소 모델을 모두 지원하고 선형 결합 및 상호 순위 결합과 같은 유연한 융합 방법을 제공함으로써, 쿼리와 벡터를 직접 페어링하거나 검색기로 다단계 검색을 간소화하는 등 사용 사례에 맞게 검색을 맞춤화할 수 있습니다. 이러한 유연성 덕분에 하이브리드 검색은 복잡한 쿼리, 다양한 데이터 유형, 높은 관련성 요구 사항을 다루는 강력한 접근 방식이 됩니다.

이 블로그에서 하이브리드 검색이 무엇인지, Elasticsearch가 지원하는 쿼리 유형이 무엇인지, 그리고 이를 어떻게 구축하는지 알아보세요. 

벡터 이상의 기능을 원하신다면, Elasticsearch의 LLM 에이전트를 활용한 지능형 하이브리드 검색을 확인해 보세요.

실습을 해보고 싶다면, 하이브리드 검색 튜토리얼을 따라 풀텍스트와 kNN 결과를 결합하거나, ES|QL 튜토리얼을 통해 ES|QL로 검색하고 필터링해 보세요.