O que é a relevância da busca?

A relevância da busca mede o quanto os resultados fornecidos por um mecanismo de busca se alinham com a consulta e a intenção do usuário. A qualidade dos resultados da busca pode ser determinada pela precisão com que as informações exibidas correspondem às expectativas do usuário.

Melhorar a relevância e o desempenho da busca envolve análise linguística, algoritmos de classificação e fatores contextuais. Isso pode incluir análise do comportamento do usuário, dados de localização, popularidade e histórico de busca. A relevância da busca é um fator importantíssimo na experiência do cliente e, com o equilíbrio certo, a busca pode ser otimizada para atender às necessidades de uma empresa e de seus usuários.

A relevância da busca é alimentada por algoritmos complexos que avaliam, processam, recuperam e classificam informações. Os algoritmos para relevância da busca decodificam a semântica de palavras-chave e intenções, avaliam a autoridade das fontes e decodificam sinais como engajamento, geografia e preferências pessoais.

Estes são alguns algoritmos comuns relacionados à busca:

O TF-IDF (Term Frequency-Inverse Document Frequency) é usado para avaliar a importância de palavras-chave, recompensando termos que aparecem com frequência em documentos de destino, mas não em outros documentos.

O RankBrain é um algoritmo baseado em IA desenvolvido pelo Google que usa machine learning para interpretar e processar consultas a fim de alcançar uma melhor compreensão da intenção do usuário, que muitas vezes pode ter nuances ou ser ambígua.

Os modelos de espaço vetorial funcionam representando documentos e consultas como vetores no espaço dimensional, o que permite a comparação e a classificação.

A análise semântica latente identifica as relações latentes entre os termos usando uma abordagem estatística para processar palavras e frases associadas.

O processamento de linguagem natural (PLN) é uma técnica de machine learning que permite aos mecanismos de busca compreender melhor o contexto e a semântica da linguagem humana usada na busca.

Os principais fatores na relevância da busca incluem sinais que vão desde a densidade das palavras-chave até métricas de engajamento. Os mecanismos de busca rastreiam conteúdo e links, coletam e indexam os dados e atribuem relevância a cada página, pontuando, organizando e classificando os resultados com base em um vasto conjunto de critérios. Eles então devem dissecar os contextos das palavras-chave e do discurso para entregar o que a pessoa está realmente procurando.

Os principais fatores na relevância da busca são:

• Análise de texto e relevância de palavras-chave
  O processo de correspondência dos termos de consulta com o conteúdo de artigos, páginas, documentos e listas de produtos é fundamental para estabelecer a relevância. A tarefa é complicada pelas complexidades decorrentes do fraseado da linguagem natural, sinônimos, variantes de palavras, erros ortográficos, variantes ortográficas regionais e ortografias fonéticas, para citar apenas algumas.
• Qualidade do conteúdo
  Um conteúdo oficial tende a ter uma classificação mais elevada com base em sua avaliação de credibilidade e precisão. A atualização também desempenha um papel no sentido de que os conteúdos mais recentes são considerados mais relevantes para determinadas consultas.
• Peso dos termos
  Ao determinar quais palavras-chave devem ter prioridade, são atribuídos valores numéricos a cada termo, e esses valores são cruciais para a precisão dos resultados.
• Intenção do usuário
  Os algoritmos ajudam a determinar o verdadeiro objetivo de um usuário, abordando tanto a consulta de busca explícita quanto o contexto semântico por trás dela.
• Personalização e localização
  A relevância contextual permite que os mecanismos de busca personalizem os resultados com base em fatores específicos do usuário, incluindo localização geográfica, idioma, tipo de dispositivo e histórico de navegação e busca.
• Métricas de engajamento do usuário
  As taxas de cliques ajudam a medir o engajamento do usuário. Buscas sem resultados e/ou buscas sem cliques fornecem insights sobre a satisfação do usuário com os resultados da busca.

A relevância da busca é importante para a satisfação do usuário. Quando os usuários conseguem encontrar de forma rápida e eficiente as informações que procuram, sua experiência melhora muito. Dependendo do seu negócio, isso pode significar mais consumidores convertidos em clientes, mais internautas casuais transformados em leitores ou consumidores regulares ou mais membros da equipe capacitados para concluir tarefas e tomar decisões importantes.

Ao navegar em um site, 43% dos usuários¹ vão diretamente para a barra de busca e têm até três vezes mais probabilidade de realizar conversões do que aqueles que não fazem buscas. Para as empresas, a busca costuma ser o primeiro ponto de interação com clientes existentes ou potenciais. Portanto, é vital cultivar a confiança, o engajamento e a receita do usuário. Internamente, a entrega simplificada de informações relevantes poupa tempo e trabalho.

A baixa relevância da busca gera frustração, e os usuários potencialmente abandonam um site para prosseguir com suas consultas em um canal diferente — para nunca mais retornar. Para os varejistas online, isso significa perder consumidores que não conseguem encontrar os produtos que procuram. Resultados relevantes se traduzem em taxas de conversão mais altas e aumento de receita. Os varejistas online também podem se beneficiar de experiências de e-commerce baseadas em busca que aumentam o tamanho do carrinho, como as guias “quem comprou, comprou também” ou “itens semelhantes”.

Para empresas que produzem conteúdo, uma relevância mais alta da busca significa maior visibilidade e maior alcance de público. Para pesquisadores, médicos, estudantes e profissionais, resultados precisos levam a um trabalho melhor.

As necessidades e intenções de cada pessoa que faz uma busca são diferentes. Medir a relevância de forma precisa ou sistemática é um desafio. Os benchmarks do setor fornecem algumas orientações, como o Benchmarking-IR (BEIR), que é um transformador pré-treinado que avalia métodos de recuperação de informações em um sistema de classificação. O MS-MARCO (Microsoft Machine Reading Comprehension), por exemplo, faz parte do benchmark BEIR com um conjunto de dados de resposta a perguntas para avaliar a eficácia da busca. Embora isso forneça uma indicação da relevância da busca, não existe um método de pontuação absoluto.

Uma maneira de obter insights sobre a eficácia do desempenho da sua busca é procurar tendências no comportamento do usuário — e buscar constantemente maneiras incrementais de melhorá-las.

A eficácia da busca pode ser medida pela quantidade de digitação, redigitação e revisão de um termo de busca exigida por um usuário para encontrar as informações certas. A eficiência da busca é definida pela quantidade de esforço geral que um usuário empreende para localizar as informações desejadas. Ambas oferecem uma janela para visualização da relevância geral da sua busca. A analítica de busca também pode oferecer insights sobre a frequência com que os usuários buscam, o que buscam e se encontram ou não.

O recall é a fração de registros relevantes recuperados em comparação com o número total de registros relevantes. A precisão é a proporção dos resultados relevantes em comparação com o total de registros irrelevantes e relevantes. Embora o recall e a precisão sejam medidas essenciais, muitas vezes exigem um certo grau de avaliação e supervisão humana para avaliar, o que pode ser caro. Coletar feedback dos usuários por meio de pesquisas ou botões interativos oferece uma visão menos dispendiosa de como os usuários percebem a relevância dos resultados da busca.

As métricas de comportamento do buscador oferecem julgamentos de relevância indiretos, mas implícitos. Uma dessas métricas quantitativas valiosas é a taxa de cliques (CTR), que mede a porcentagem de usuários que clicam em um resultado depois de visualizá-lo. CTRs mais altos significam maior relevância. O tempo de permanência, ou o tempo que um usuário passa em uma página depois de clicar em um link de resultados de busca, é outro indicador importante. Em geral, tempos de permanência mais longos estão associados a conteúdo mais relevante e de qualidade. Por outro lado, a porcentagem de usuários que saem de uma página sem interagir, conhecida como taxa de rejeição, pode indicar que o conteúdo não atendeu às expectativas.

Aprimorar a relevância da busca é um processo contínuo. Além da adoção dos mais recentes algoritmos de machine learning, de funcionalidades de processamento de linguagem natural e de reconhecimento de entidades, aqui estão algumas técnicas para melhorar a relevância da busca ao longo do tempo:

• Expandir a compreensão da consulta
  Para ampliar o escopo de seus resultados, expanda a compreensão da consulta para termos relacionados conectados por definição e escopo ou sinônimos de palavras-chave, que são palavras ou frases com significado igual ou semelhante ao seu termo de busca. Expanda também para incluir resultados de correspondência parcial, que correspondem a algumas partes de uma consulta, se não à consulta inteira. A detecção automática de idioma também pode ser usada para sugerir texto semelhante a buscas anteriores.
• Melhorar a tolerância a erros de digitação
  A melhoria na tolerância a erros de digitação significa que seus usuários ainda podem obter os resultados desejados, apesar de escreverem palavras com erros ortográficos. A tolerância a erros de digitação torna a busca mais fácil porque o usuário não precisa digitar novamente a consulta. Em vez de depender de uma correspondência exata, adicione mais tolerância a erros ortográficos e de digitação, melhorando suas funcionalidades de correção automática e verificação ortográfica. Você também pode sugerir alternativas e corrigir os termos de busca com um recurso “Você quis dizer...?”.
• Incorporar facetas e filtros
  As facetas, também conhecidas como filtros inteligentes, ajudam os usuários a restringir sua busca. As facetas e os filtros são mais úteis em sites com grandes quantidades de informações. Detecte filtros automaticamente ou permita que os usuários restrinjam os resultados da busca com base em atributos relevantes como localização, tópico, preço, categoria e data.
• Adotar a personalização
  A customização dos resultados com base nas preferências, localização, histórico de busca e compra e comportamento do usuário leva a uma maior relevância. Adapte os resultados ao seu usuário classificando as buscas mais relevantes em uma posição mais alta. A personalização também é uma parte fundamental da busca preditiva, antecipando as necessidades futuras do usuário com buscas anteriores.
• Aproveitar o feedback dos usuários
  Incentivar os usuários a dar feedback sobre a qualidade dos resultados ajuda os mecanismos de busca a aprender e melhorar. O feedback do usuário é a melhor medida da relevância real de uma busca. Utilizar o feedback pode proporcionar uma melhoria contínua ao seu mecanismo de busca.
• Otimizar a experiência do usuário
  Limpe seu site removendo páginas desatualizadas, conteúdo duplicado, palavras-chave ou tags não utilizadas e links quebrados. Simplifique o design da experiência do usuário tornando a barra de busca fácil de encontrar e intuitiva de usar. Estruture seu site de forma a garantir que os mecanismos de busca possam rastrear e indexar seu conteúdo de maneira mais eficaz.
• Priorizar áreas do site de alto valor
  Para revelar o que há de mais valioso para os usuários, dê maior peso aos resultados das áreas de conteúdo de qualidade do seu site, incluindo páginas com maior engajamento, autoridade, backlinks e taxas de conversão.

Lutar contra resultados de busca de baixa qualidade pode ser um processo frustrante, e as soluções nem sempre são transparentes. Sempre haverá uma ambiguidade inerente à interpretação de consultas com múltiplos significados. Decifrar a verdadeira intenção sem muito mais no que se basear é uma ciência imperfeita. A busca verdadeiramente relevante é um labirinto cognitivo que nem mesmo a IA mais avançada ainda conseguiu resolver.

Para se manterem atualizados, os mecanismos de busca precisam se adaptar rapidamente ao crescente oceano de conteúdos gerados a cada segundo em todo o mundo — num cenário diversificado e mutável de línguas, dialetos, gírias e nuances regionais. E embora os resultados de busca personalizados contribuam muito para a relevância, eles também podem criar bolhas que limitam a exposição a diferentes perspectivas.

Para as organizações, otimizar a relevância da busca pode muitas vezes parecer confuso. E a pequena janela de tempo para entregar resultados de busca relevantes aos usuários parece estar sempre diminuindo.

O Elasticsearch Relevance Engine ajuda os usuários a encontrar exatamente o que precisam, fornecendo experiências de busca baseadas em IA altamente relevantes e personalizadas, prontas para uso com machine learning de última geração .

Nossas abrangentes ferramentas de ajuste de relevância de arrastar e soltar também permitem que você faça análises, otimizações e personalizações para fornecer resultados ainda mais precisos. Com relevância adaptativa, você pode investir nos seus resultados de melhor desempenho com recomendações automatizadas e orientadas por dados, baseadas em analítica de busca. Pode também melhorar a relevância semântica com IA generativa, busca vetorial, suporte para modelos transformadores de PLN e gerenciamento de modelos de terceiros.

Atualmente, existem técnicas de busca que ajudam a fazer grandes avanços na relevância da busca.

A busca semântica interpreta o significado da consulta do usuário e usa o contexto para responder à intenção, em vez da busca palavra por palavra. A busca vetorial é frequentemente usada para busca semântica, encontrando dados semelhantes por meio do uso de algoritmos de vizinho mais próximo aproximado (ANN) para produzir resultados mais relevantes. A busca híbrida usa uma combinação de métodos de busca habilitados para vetores e por palavra-chave.

Conforme esses tipos de busca forem evoluindo, as métricas de relevância da busca também se transformarão para dar conta do seu impacto. Outras inovações tecnológicas também terão impacto no futuro da relevância da busca.

Em quase todas as áreas da cultura e da empresa, os mecanismos de busca alimentados por IA prometem melhorar enormemente a relevância da busca com muito menos trabalho manual por parte das organizações. A IA viabilizará funcionalidades como detecção automática de sinônimos, algoritmos de classificação com autoaprendizado a partir de métricas e feedback, e rastreamento da atividade do usuário em tempo real, com a possibilidade de antecipar o que o cliente quer antes mesmo de ele pensar em pedir.

No e-commerce, barras de busca multilíngues inteligentes que podem processar informações visuais de imagens e vídeos revolucionarão as compras, com a capacidade de sugerir o produto exato, na cor, marca e tamanho exatos que o cliente quer, eliminando horas de rolagem de telas. A busca por voz precisa proliferará. E com precisão cada vez maior, a IA generativa produzirá respostas contextuais hiper-relevantes para as consultas, com recomendações específicas e muito mais úteis, em vez de entregar uma lista de resultados. O machine learning já está abrindo uma ampla nova fronteira na relevância da busca.

• Melhore a relevância da busca e a qualidade da busca em sites com a Elastic
• Guia do Kibana sobre relevância da busca (em inglês)
• Embracing the future of search relevance (Abraçando o futuro da relevância da busca)