Conheça o retriever linear!

Nesta postagem, apresentamos o recuperador linear , nossa mais recente adição para oferecer suporte à pesquisa híbrida! Ao contrário de rrf, o recuperador linear calcula uma soma ponderada em todas as consultas que correspondem a um documento. Essa abordagem preserva a importância relativa de cada documento dentro de um conjunto de resultados, ao mesmo tempo que permite controle preciso sobre a influência de cada consulta na pontuação final. Como resultado, ele fornece uma maneira mais intuitiva e flexível de ajustar a pesquisa híbrida.

Definindo um recuperador linear onde a pontuação final será calculada como:

É tão simples quanto:

Percebeu como é simples e intuitivo? (e muito parecido com rrf!) Essa configuração permite que você controle precisamente quanto cada tipo de consulta contribui para a classificação final, ao contrário de rrf, que depende apenas de classificações relativas.

Uma ressalva permanece: as pontuações knn podem ser estritamente limitadas, dependendo da métrica de similaridade usada. Por exemplo, com similaridade de cosseno ou produto escalar de vetores normalizados por unidade, as pontuações sempre estarão dentro do intervalo [0, 1] . Em contraste, as pontuações bm25 são menos previsíveis e não têm limites claramente definidos.

Escalando as pontuações: kNN vs BM25

Um desafio da busca híbrida é que diferentes recuperadores produzem pontuações em escalas diferentes. Considere, por exemplo, o seguinte cenário:

Pontuações da consulta A:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

100

1,5

1

0,5

Pontuações da consulta B:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

0,63

0,01

0,3

0,4

Você pode ver a disparidade acima: as pontuações kNN variam entre 0 e 1, enquanto as pontuações bm25 podem variar muito. Essa diferença dificulta a definição de pesos estáticos ideais para combinar os resultados.

Normalização para o resgate: o normalizador MinMax

Para resolver isso, introduzimos um normalizador minmax opcional que dimensiona as pontuações, independentemente para cada consulta, para o intervalo [0, 1] usando a seguinte fórmula:

Isso preserva a importância relativa de cada documento dentro do conjunto de resultados de uma consulta, facilitando a combinação de pontuações de diferentes recuperadores. Com a normalização, as pontuações se tornam:

Pontuações da consulta A:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

1,00

0,01

0,005

0,000

Pontuações da consulta B:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

1,00

0,000

0,465

0,645

Todas as pontuações agora estão no intervalo [0, 1] e otimizar a soma ponderada é muito mais simples, pois agora capturamos a importância (em relação à consulta) de um resultado em vez de sua pontuação absoluta e mantemos a consistência entre as consultas.

Exemplo de recuperador linear

Vamos ver um exemplo agora para mostrar a aparência do exemplo acima e como o recuperador linear aborda algumas das deficiências do rrf. O RRF depende somente de classificações relativas e não considera diferenças reais de pontuação. Por exemplo, dadas estas pontuações:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

100

1,5

1

0,5

pontuação rrf

0,03226

0,03252

0,03200

0,03125

rrf classificaria os documentos como:

No entanto, doc1 tem uma pontuação bm25 significativamente maior que as outras, o que rrf não consegue capturar porque só analisa classificações relativas. O recuperador linear , combinado com a normalização, contabiliza corretamente as pontuações e suas diferenças, produzindo uma classificação mais significativa:

doc1

doc2

doc3

doc4

knn

0,347

0,35

0,348

0,346

bm25

1

0,01

0,005

0

Como podemos ver acima, a ótima classificação do doc1 e score para bm25 são devidamente contabilizadas e refletidas nas pontuações finais. Além disso, todas as pontuações agora estão no intervalo [0, 1] para que possamos compará-las e combiná-las de uma forma muito mais intuitiva (e até mesmo criar processos de otimização offline).

Juntando tudo

Para aproveitar ao máximo o recuperador linear com normalização, a solicitação de pesquisa ficaria assim:

Essa abordagem combina o melhor dos dois mundos: ela mantém a flexibilidade e a pontuação intuitiva do recuperador linear , ao mesmo tempo em que garante uma escala de pontuação consistente com a normalização MinMax.

Assim como todos os nossos recuperadores, o recuperador linear pode ser integrado a qualquer nível de uma árvore hierárquica de recuperadores, com suporte para explicabilidade, destaque de correspondência, recolhimento de campo e muito mais.

Quando escolher o retriever linear e por que isso faz a diferença

O recuperador linear :

• Preserva a importância relativa aproveitando pontuações reais, não apenas classificações.

• Permite ajustes finos com contribuições ponderadas de diferentes consultas.

• Melhora a consistência usando a normalização, tornando a pesquisa híbrida mais robusta e previsível.

Conclusão

O recuperador linear já está disponível no Elasticsearch Serverless e nas versões 8.18 e 9.0! Mais exemplos e parâmetros de configuração também podem ser encontrados em nossa documentação. Experimente e veja como ele pode melhorar sua experiência de pesquisa híbrida — aguardamos seu feedback. Boa busca!