Este artigo aborda uma técnica específica chamada busca por similaridade de texto. Nesse tipo de busca, o usuário insere uma breve consulta em texto livre, e os documentos são classificados com base em sua similaridade com a consulta. A similaridade textual pode ser útil em diversos casos de uso:

• Resposta a perguntas: Dada uma coleção de perguntas frequentes, encontre perguntas semelhantes àquela que o usuário inseriu.

• Busca de artigos: Em uma coleção de artigos de pesquisa, retornar artigos com títulos intimamente relacionados à consulta do usuário.

• Busca por imagem: Em um conjunto de dados de imagens com legendas, encontre imagens cuja legenda seja semelhante à descrição do usuário.

Uma abordagem direta para a busca por similaridade seria classificar os documentos com base em quantas palavras eles compartilham com a consulta. Mas um documento pode ser semelhante à consulta mesmo que tenha pouquíssimas palavras em comum — uma noção mais robusta de similaridade levaria em conta também seu conteúdo sintático e semântico .

A comunidade de processamento de linguagem natural (PLN) desenvolveu uma técnica chamada incorporação de texto que codifica palavras e frases como vetores numéricos. Essas representações vetoriais são projetadas para capturar o conteúdo linguístico do texto e podem ser usadas para avaliar a similaridade entre uma consulta e um documento.

Este artigo explora como os embeddings de texto e o tipo dense_vector do Elasticsearch podem ser usados para dar suporte à busca por similaridade. Primeiramente, apresentaremos uma visão geral das técnicas de incorporação e, em seguida, demonstraremos um protótipo simples de busca por similaridade usando o Elasticsearch.

O que são embeddings de texto?

Vamos analisar mais de perto os diferentes tipos de incorporação de texto e como eles se comparam às abordagens de busca tradicionais.

Incorporação de palavras

Um modelo de incorporação de palavras representa uma palavra como um vetor numérico denso. Esses vetores visam capturar as propriedades semânticas da palavra — palavras cujos vetores estejam próximos uns dos outros devem ser semelhantes em termos de significado semântico. Numa boa incorporação, as direções no espaço vetorial estão ligadas a diferentes aspectos do significado da palavra. Por exemplo, o vetor para "Canadá" pode estar próximo de "França" em uma direção e próximo de "Toronto" em outra.

As comunidades de PNL (Processamento de Linguagem Natural) e de busca têm demonstrado interesse em representações vetoriais de palavras há bastante tempo. Nos últimos anos, houve um ressurgimento do interesse em word embeddings, quando muitas tarefas tradicionais foram revisitadas usando redes neurais. Alguns algoritmos de incorporação de palavras bem-sucedidos foram desenvolvidos, incluindo o word2vec e o GloVe. Essas abordagens utilizam grandes coleções de texto e examinam o contexto em que cada palavra aparece para determinar sua representação vetorial:

• O modelo Skip-gram do word2vec treina uma rede neural para prever as palavras de contexto ao redor de uma palavra em uma frase. Os pesos internos da rede fornecem os embeddings de palavras.

• Em GloVe, a similaridade entre palavras depende da frequência com que elas aparecem em conjunto com outras palavras do mesmo contexto. O algoritmo treina um modelo linear simples com base na contagem de coocorrência de palavras.

Muitos grupos de pesquisa distribuem modelos que foram pré-treinados em grandes corpora de texto, como a Wikipédia ou o Common Crawl, tornando-os convenientes para baixar e usar em tarefas subsequentes. Embora versões pré-treinadas sejam às vezes usadas diretamente, pode ser útil ajustar o modelo para que ele se adeque ao conjunto de dados e à tarefa específicos. Isso geralmente é feito executando uma etapa de "ajuste fino" no modelo pré-treinado.

Os word embeddings provaram ser bastante robustos e eficazes, e agora é prática comum usar embeddings em vez de tokens individuais em tarefas de PNL, como tradução automática e classificação de sentimentos.

Incorporação de frases

Mais recentemente, os pesquisadores começaram a se concentrar em técnicas de incorporação que representam não apenas palavras, mas também trechos de texto mais longos. A maioria das abordagens atuais baseia-se em arquiteturas complexas de redes neurais e, por vezes, incorpora dados rotulados durante o treinamento para auxiliar na captura de informações semânticas.

Uma vez treinados, os modelos são capazes de pegar uma frase e produzir um vetor para cada palavra em contexto, bem como um vetor para a frase inteira. Assim como no caso do word embedding, versões pré-treinadas de muitos modelos estão disponíveis, permitindo que os usuários ignorem o dispendioso processo de treinamento. Embora o processo de treinamento possa ser bastante intensivo em recursos, a invocação do modelo é muito mais leve — os modelos de incorporação de sentenças são normalmente rápidos o suficiente para serem usados em aplicações em tempo real.

Algumas técnicas comuns de incorporação de sentenças incluem InferSent, Universal Sentence Encoder, ELMo e BERT. A melhoria dos embeddings de palavras e frases é uma área ativa de pesquisa, e é provável que modelos robustos adicionais sejam introduzidos.

Comparação com abordagens de busca tradicionais

Na recuperação de informação tradicional, uma forma comum de representar texto como um vetor numérico é atribuir uma dimensão para cada palavra do vocabulário. O vetor para um trecho de texto é então baseado no número de vezes que cada termo do vocabulário aparece. Essa forma de representar o texto é frequentemente chamada de "saco de palavras", porque simplesmente contamos as ocorrências de palavras sem levar em consideração a estrutura da frase.

Os embeddings de texto diferem das representações vetoriais tradicionais em alguns aspectos importantes:

• Os vetores codificados são densos e de dimensionalidade relativamente baixa, geralmente variando de 100 a 1.000 dimensões. Em contraste, os vetores de saco de palavras são esparsos e podem conter mais de 50.000 dimensões. Os algoritmos de incorporação codificam o texto em um espaço de menor dimensão como parte da modelagem de seu significado semântico. Idealmente, palavras e frases sinônimas acabam com uma representação semelhante no novo espaço vetorial.

• Os embeddings de sentenças podem levar em consideração a ordem das palavras ao determinar a representação vetorial. Por exemplo, a expressão "tune in" pode ser representada por um vetor muito diferente de "in tune".

• Na prática, os embeddings de frases geralmente não se generalizam bem para grandes trechos de texto. Não são comumente usados para representar textos com mais de um parágrafo curto.

Utilizando embeddings para busca de similaridade

Suponhamos que tivéssemos uma grande coleção de perguntas e respostas. Um usuário pode fazer uma pergunta, e queremos recuperar a pergunta mais semelhante em nossa coleção para ajudá-lo a encontrar uma resposta.

Poderíamos usar incorporações de texto para permitir a recuperação de perguntas semelhantes:

• Durante a indexação, cada pergunta é processada por um modelo de incorporação de sentenças para produzir um vetor numérico.

• Quando um usuário insere uma consulta, ela é processada pelo mesmo modelo de incorporação de sentenças para produzir um vetor. Para classificar as respostas, calculamos a similaridade vetorial entre cada pergunta e o vetor de consulta. Ao comparar vetores de incorporação, é comum usar a similaridade de cosseno.

Este repositório fornece um exemplo simples de como isso pode ser feito no Elasticsearch. O script principal indexa cerca de 20.000 perguntas do conjunto de dados do StackOverflow e, em seguida, permite que o usuário insira consultas de texto livre no conjunto de dados.

Em breve, analisaremos cada parte do script em detalhes, mas primeiro vamos dar uma olhada em alguns exemplos de resultados. Em muitos casos, o método consegue captar semelhanças mesmo quando não há uma sobreposição significativa de palavras entre a consulta e a pergunta indexada:

• "Compactar arquivos" retorna "Comprimir/Descomprimir Pastas e Arquivos"

• "Determinar se algo é um IP" retorna "Como saber se uma string é um IP ou um nome de host?"

• "Converter bytes em doubles" retorna "Converter bytes em números de ponto flutuante em Python"

Detalhes da implementação

O script começa baixando e criando o modelo de incorporação no TensorFlow. Optamos pelo Universal Sentence Encoder do Google, mas é possível usar muitos outros métodos de incorporação. O script utiliza o modelo de incorporação tal como está, sem qualquer treinamento ou ajuste fino adicional.

Em seguida, criamos o índice do Elasticsearch, que inclui mapeamentos para o título da pergunta, tags e também o título da pergunta codificado como um vetor:

No mapeamento para dense_vector, é necessário especificar o número de dimensões que os vetores conterão. Ao indexar um campo title_vector, o Elasticsearch verificará se ele possui o mesmo número de dimensões especificado no mapeamento.

Para indexar os documentos, aplicamos o modelo de incorporação ao título da pergunta para obter uma matriz numérica. Essa matriz é adicionada ao documento no campo title_vector.

Quando um usuário insere uma consulta, o texto é primeiro processado pelo mesmo modelo de incorporação e armazenado no parâmetro `query_vector`. A partir da versão 7.3, o Elasticsearch fornece uma função de similaridade de cosseno em sua linguagem de script nativa. Para classificar as perguntas com base na sua similaridade com a consulta do usuário, utilizamos uma consulta `script_score`:

Garantimos passar o vetor de consulta como um parâmetro de script para evitar recompilar o script() em cada nova consulta. Como o Elasticsearch não permite pontuações negativas, é necessário adicionar um à similaridade de cosseno.

Nota: esta publicação no blog usava originalmente uma sintaxe diferente para funções vetoriais , disponível no Elasticsearch 7.3, mas que foi descontinuada na versão 7.6. |

Limitações importantes

A consulta script_score foi projetada para encapsular uma consulta restritiva e modificar as pontuações dos documentos retornados. No entanto, fornecemos uma consulta match_all, o que significa que o script será executado em todos os documentos do índice. Essa é uma limitação atual da similaridade vetorial no Elasticsearch — vetores podem ser usados para pontuar documentos, mas não na etapa inicial de recuperação. O suporte para recuperação baseada na similaridade vetorial é uma importante área de trabalho em andamento.

Para evitar a varredura de todos os documentos e manter um desempenho rápido, a consulta match_all pode ser substituída por uma consulta mais seletiva. A consulta correta a ser usada para recuperação de dados provavelmente dependerá do caso de uso específico.

Embora tenhamos visto alguns exemplos encorajadores acima, é importante notar que os resultados também podem ser inconsistentes e pouco intuitivos. Por exemplo, "compactar arquivos" também atribui pontuações altas a ".csproj parcial". Arquivos" e "Como evitar arquivos .pyc" arquivos?". E quando o método retorna resultados inesperados, nem sempre é claro como depurar o problema — o significado de cada componente do vetor costuma ser opaco e não corresponde a um conceito interpretável. Com as técnicas tradicionais de pontuação baseadas na sobreposição de palavras, muitas vezes é mais fácil responder à pergunta "por que este documento está bem classificado?".

Conforme mencionado anteriormente, este protótipo serve como um exemplo de como os modelos de incorporação podem ser usados com campos vetoriais, e não como uma solução pronta para produção. Ao desenvolver uma nova estratégia de busca, é fundamental testar o desempenho da abordagem em seus próprios dados, certificando-se de compará-la com uma base de referência sólida, como uma consulta de correspondência. Pode ser necessário fazer mudanças significativas na estratégia antes que ela alcance resultados sólidos, incluindo o ajuste fino do modelo de incorporação para o conjunto de dados alvo ou a tentativa de diferentes maneiras de incorporar embeddings, como a expansão de consultas em nível de palavra.

Conclusões

As técnicas de incorporação oferecem uma maneira poderosa de capturar o conteúdo linguístico de um texto. Ao indexar representações vetoriais e atribuir pontuações com base na distância vetorial, podemos comparar documentos usando uma noção de similaridade que vai além da sobreposição em nível de palavras.

Estamos ansiosos para introduzir mais funcionalidades baseadas no tipo de campo vetorial. O uso de vetores para busca é uma área complexa e em constante desenvolvimento — como sempre, adoraríamos saber mais sobre seus casos de uso e experiências no Github e nos fóruns de discussão!

Histórico

Ao desenvolver o Elasticsearch, ocasionalmente nos deparamos com um problema importante para o qual não existe uma abordagem simples ou estabelecida para resolvê-lo. É natural perguntar: "Hum, existe algum artigo acadêmico que aborde esse assunto?" Outras vezes, o trabalho acadêmico é uma fonte de inspiração. Nos deparamos com um artigo que propõe um novo algoritmo ou estrutura de dados e pensamos: "Isso seria muito útil!" Aqui estão alguns exemplos de como o Elasticsearch e o Apache Lucene incorporam o trabalho acadêmico:

• HyperLogLog++ para agregações de cardinalidade

• Algoritmo C3 para seleção adaptativa de réplicas

• Grafos Hierárquicos Navegáveis de Pequeno Mundo (HNSW) para busca de vetor mais próximo no Lucene.

• Estatística MIC para aprimorar a classificação em aprendizado de máquina.

• Block-max WAND para recuperação mais rápida dos melhores resultados no Lucene

• ... e muito mais

Artigos acadêmicos são um recurso inestimável para engenheiros que desenvolvem sistemas com uso intensivo de dados. Mas implementá-los pode ser intimidante e propenso a erros — as descrições dos algoritmos costumam ser complexas, com detalhes práticos importantes omitidos. E os testes representam um verdadeiro desafio: por exemplo, como podemos testar minuciosamente um algoritmo de aprendizado de máquina cujo resultado depende fortemente do conjunto de dados?

Avalie o artigo como se fosse uma dependência de software.

Adicionar uma nova dependência de software exige uma avaliação cuidadosa: se o outro pacote estiver incorreto, lento ou inseguro, nosso projeto também poderá estar. Antes de incluir uma dependência, os desenvolvedores certificam-se de avaliar sua qualidade.

O mesmo se aplica aos artigos acadêmicos que você está considerando publicar. Pode parecer que, pelo simples fato de um algoritmo ter sido publicado em um artigo, ele deve estar correto e ter um bom desempenho. Mas, mesmo tendo passado por um processo de revisão, um artigo acadêmico pode apresentar problemas. Talvez a prova de correção dependa de pressupostos que não são realistas. Ou talvez a seção de "experimentos" mostre um desempenho muito melhor do que a linha de base, mas isso só se aplica a um conjunto de dados específico. Mesmo que o artigo seja de ótima qualidade, sua abordagem pode não ser adequada para o seu projeto.

Ao considerar se devemos ou não nos “depender” de um artigo acadêmico, é útil fazer as mesmas perguntas que faríamos sobre um pacote de software:

• A biblioteca é amplamente utilizada e "testada em situações reais"? → Outros pacotes implementaram este artigo e funcionou bem para eles?

• Existem parâmetros de comparação de desempenho disponíveis? Essas medidas parecem precisas e justas? → O artigo inclui experimentos realistas? Eles são bem projetados?

• A melhoria de desempenho é suficientemente significativa para justificar a complexidade? → O artigo se compara a uma abordagem de referência robusta? Em quanto ele supera essa linha de base?

• Essa abordagem se integrará bem ao nosso sistema? → As premissas e as compensações do algoritmo são adequadas ao nosso caso de uso?

Por algum motivo, quando um pacote de software publica uma comparação de desempenho com seus concorrentes, ele sempre acaba sendo o mais rápido! Se os parâmetros de referência fossem elaborados por terceiros, eles poderiam ser mais equilibrados. O mesmo fenômeno se aplica a artigos acadêmicos. Se um algoritmo apresenta bom desempenho não apenas no artigo original, mas também aparece em outros artigos como uma base de referência sólida, então é muito provável que seja confiável.

Seja criativo nos testes.

Os algoritmos descritos em artigos acadêmicos geralmente apresentam um comportamento mais sofisticado do que os tipos de algoritmos que encontramos rotineiramente. Talvez seja um algoritmo de aproximação que prioriza a velocidade em detrimento da precisão. Ou talvez seja um método de aprendizado de máquina que recebe um grande conjunto de dados e produz resultados (às vezes inesperados). Como podemos escrever testes para esses algoritmos se não conseguimos caracterizar seu comportamento de forma simples?

Foco nos invariantes

Ao projetar testes unitários, é comum pensar em termos de exemplos: se fornecermos ao algoritmo esta entrada de exemplo, ele deverá produzir aquela saída. Infelizmente, para a maioria dos algoritmos matemáticos, os testes baseados em exemplos não abrangem suficientemente seu comportamento.

Vamos considerar o algoritmo C3, que o Elasticsearch usa para determinar qual nó deve processar uma solicitação de pesquisa. O sistema classifica cada nó usando uma fórmula complexa que incorpora o serviço anterior do nó, os tempos de resposta e o tamanho da sua fila. Testar alguns exemplos não garante que entendemos a fórmula corretamente. É útil dar um passo atrás e pensar em testar invariantes: se o tempo de serviço aumentar, a classificação do nó diminui? Se o tamanho da fila for 0, a classificação é determinada pelo tempo de resposta, como afirma o artigo?

Focar nos invariantes pode ajudar em diversos casos comuns:

• O método deve ser independente da ordem? Nesse caso, passar os dados de entrada em uma ordem diferente deve resultar na mesma saída.

• Alguma etapa do algoritmo produz probabilidades de classe? Nesse caso, a soma dessas probabilidades deve ser igual a 1.

• A função é simétrica em relação à origem? Nesse caso, inverter o sinal da entrada deve simplesmente inverter o sinal da saída.

Quando implementamos o C3 pela primeira vez, encontramos um erro na fórmula em que, acidentalmente, usamos o inverso do tempo de resposta em vez do próprio tempo de resposta. Isso significava que os nós mais lentos podiam ser classificados em posições mais altas! Ao corrigir o problema, garantimos a adição de verificações de invariância para evitar erros futuros.

Compare com uma implementação de referência.

Juntamente com o artigo, espera-se que os autores tenham publicado uma implementação do algoritmo. (Isso é especialmente provável se o artigo contiver experimentos, já que muitas revistas exigem que os autores publiquem o código para reproduzir os resultados.) Você pode testar sua abordagem em relação a esta implementação de referência para garantir que não tenha deixado passar detalhes importantes do algoritmo.

Ao desenvolver a implementação HNSW do Lucene para busca de vizinhos mais próximos, realizamos testes em relação a uma biblioteca de referência dos autores do artigo. Executamos o Lucene e a biblioteca no mesmo conjunto de dados, comparando a precisão dos resultados e o número de cálculos realizados. Quando esses números coincidem de perto, sabemos que o Lucene implementa o algoritmo fielmente.

Ao incorporar um algoritmo em um sistema, muitas vezes é necessário fazer modificações ou extensões, como escalá-lo para vários núcleos ou adicionar heurísticas para melhorar o desempenho. O ideal é primeiro implementar uma versão "vanilla", testá-la em comparação com a versão de referência e, em seguida, fazer alterações incrementais. Dessa forma, você pode ter certeza de que capturou todas as partes principais antes de fazer personalizações.

Duelo contra um algoritmo existente

A última seção levanta outra ideia para um invariante de teste: comparar a saída do algoritmo com a saída de um algoritmo mais simples e melhor compreendido. Como exemplo, considere o algoritmo block-max WAND do Lucene, que acelera a recuperação de documentos ignorando aqueles que não podem aparecer nos primeiros resultados. É difícil descrever exatamente como o WAND com block-max deve se comportar em todos os casos, mas sabemos que aplicá-lo não deve alterar os melhores resultados! Assim, nossos testes podem gerar diversas consultas de pesquisa aleatórias e, em seguida, executá-las com e sem a otimização WAND , verificando se os resultados sempre coincidem.

Um aspecto importante desses testes é que eles geram entradas aleatórias para realizar a comparação. Isso pode ajudar a analisar casos que você não teria imaginado e revelar problemas inesperados. Como exemplo, o teste de comparação aleatória do Lucene para pontuação BM25F ajudou a detectar erros em casos extremos sutis. A ideia de alimentar um algoritmo com entradas aleatórias está intimamente relacionada ao conceito de fuzzing, uma técnica de teste comum em segurança da computação.

Elasticsearch e Lucene frequentemente utilizam essa abordagem de teste. Se você vir um teste que menciona um "duelo" entre dois algoritmos (TestDuelingAnalyzers, testDuelTermsQuery...), então você sabe que essa estratégia está em ação.

Utilize a terminologia do artigo.

Quando outro desenvolvedor trabalhar com seu código, ele precisará consultar o documento para seguir os detalhes. O comentário sobre a implementação do HyperLogLog++ do Elasticsearch resume bem a situação: "Tentar entender o que essa classe faz sem ter lido o artigo é considerado uma aventura." Este comentário sobre o método também serve de bom exemplo. Inclui um link para o artigo acadêmico e destaca as modificações feitas no algoritmo em relação à sua descrição original.

Como os desenvolvedores irão basear sua compreensão do código no documento, é útil usar exatamente a mesma terminologia. Como a notação matemática é concisa, isso pode resultar em nomes que normalmente não seriam considerados de "bom estilo", mas que são muito claros no contexto do artigo. As fórmulas de artigos acadêmicos são uma das poucas ocasiões em que você encontrará nomes de variáveis enigmáticos no Elasticsearch, como rS e muBarSInverse.

A maneira recomendada pelo autor para ler um artigo: com um café bem forte.

Você pode enviar um e-mail ao autor.

Ao analisar uma prova difícil, você pode passar horas tentando decifrar uma fórmula, sem saber se está entendendo errado ou se há apenas um erro de digitação. Se fosse um projeto de código aberto, você poderia fazer a pergunta no GitHub ou no StackOverflow. Mas onde você pode encontrar um artigo acadêmico? Os autores parecem estar ocupados e podem se incomodar com seus e-mails.

Pelo contrário, muitos acadêmicos adoram saber que suas ideias estão sendo colocadas em prática e ficam felizes em responder a perguntas por e-mail. Se você trabalhar em um produto com o qual eles estejam familiarizados, eles podem até listar o aplicativo em seu site!

Há também uma tendência crescente entre os acadêmicos de discutir artigos publicamente, utilizando muitas das mesmas ferramentas do desenvolvimento de software. Se um artigo for acompanhado de um pacote de software, você poderá encontrar respostas para perguntas frequentes no Github. Comunidades do Stack Exchange como "Theoretical Computer Science" e "Cross Validated" também contêm discussões detalhadas sobre artigos populares. Algumas conferências começaram a publicar todas as resenhas de artigos online. Essas resenhas contêm discussões com os autores que podem revelar informações úteis sobre a abordagem.

Continua

Este post aborda os princípios básicos da escolha de um artigo acadêmico e

implementá-lo corretamente é suficiente, mas não abrange todos os aspectos da implantação do algoritmo. Por exemplo, se o algoritmo for apenas um componente em um sistema complexo, como podemos garantir que as alterações nesse componente levem a melhorias de ponta a ponta? E se a integração do algoritmo exigir modificações ou extensões substanciais que o artigo original não aborda? Esses são tópicos importantes sobre os quais esperamos compartilhar mais em publicações futuras.