Crie buscas com IA em suas aplicações

O Elasticsearch Relevance Engine™ (ESRE) foi projetado para alimentar aplicações de busca baseadas em inteligência artificial. Use o ESRE para aplicar busca semântica com relevância superior pronta para uso (sem adaptação de domínio), fazer integração com grandes modelos de linguagem (LLMs) externos, implementar busca híbrida e usar modelos transformadores de terceiros ou seus próprios.

Um mecanismo de relevância feito sob medida para desenvolvedores que criam aplicações de busca com IA.

Leia o post de lançamento no blog

Saiba tudo sobre o novo modelo de recuperação da Elastic que oferece alta relevância, mesmo em domínios especializados em uma configuração de zero-shot.

Leia o post técnico do blog

Use dados privados internos como contexto com as funcionalidades de modelos de IA generativa para fornecer respostas confiáveis e atualizadas para as consultas dos usuários.

Assista ao vídeo

IA para todos os desenvolvedores

Aprimore a busca com IA

Ofereça funcionalidades avançadas de relevância para IA em sua aplicação com ESRE independentemente do seu nível de experiência. O ESRE tem um conjunto de recursos para ajudar você a começar ou aperfeiçoar sua experiência com AI. Você tem a flexibilidade e o controle para implantar apps de busca com machine learning e IA generativa da forma que achar melhor.

  • Sua primeira vez na busca semântica?

    Incluir a busca semântica em sua aplicação não deve requerer um nível profundo de experiência. Obtenha a melhor busca semântica da categoria pronta para usar com o modelo Elastic Learned Sparse Encoder. Com uma implantação simplificada, comece a fornecer rapidamente a busca semântica sem esforços de treinamento e manutenção de um modelo de machine learning.

  • Já conhece bem vetores de embeddings e de busca?

    Converta dados não estruturados em embeddings vetoriais e busque-os com eficiência usando a busca de vizinho mais próximo aproximado. Combine seus próprios dados específicos de domínio em janelas de contexto para melhorar a relevância dos resultados semelhantes aos humanos dos LLMs.

  • Use seus próprios modelos transformadores

    Use a biblioteca Python do Eland para aproveitar seu próprio modelo de machine learning treinado ou use um modelo de terceiros de um repositório público como o HuggingFace. Escolha entre uma ampla variedade de arquiteturas compatíveis que atendem às suas necessidades.

Elasticsearch Relevance Engine

Elasticsearch - Gerador multifuncional de busca vetorial

Gere embeddings. Armazene, busque e gerencie vetores. Aproveite a busca semântica com o modelo de machine learning Learned Sparse Encoder da Elastic. Faça a ingestão de todos os tipos de dados. Integre com grandes modelos de linguagem em rápida evolução.

  • Classificação híbrida do RRF

    RRF (Reciprocal Rank Fusion) é um método para combinar classificações de documentos de vários sistemas de recuperação. Em um futuro próximo, o RRF oferecerá suporte para a combinação de resultados de modelos vetoriais esparsos como o BM25 e o modelo de recuperação da Elastic, gerando o melhor método de classificação zero-shot da categoria. A classificação híbrida com RRF permite ajustar os resultados da busca de vários recuperadores com menos esforço.

  • Elastic Learned Sparse Encoder

    Nosso novo modelo oferece busca semântica altamente relevante e pronta para uso, sem adaptação de domínio. Está disponível com um clique na configuração de sua aplicação de busca. O Elastic Learned Sparse Encoder expande as consultas com palavras-chave relacionadas e pontuações de relevância, para que sejam facilmente interpretáveis e estejam prontas para uso imediato.

  • Geração aumentada de recuperação

    Forneça aos LLMs informações específicas de negócios usando seus dados privados (não apenas dados treinados publicamente). Use o Elasticsearch para obter janelas de contexto de alta relevância que se baseiam nos seus dados proprietários para melhorar a saída e a relevância do LLM. Acesse a IA generativa com APIs e plugins integrados ao LLM de sua escolha.

  • Banco de dados vetorial

    Tenha uma experiência de busca vetorial completa — não se trata apenas de armazenar e buscar embeddings, você pode criá-los! Capture o significado e o contexto dos seus dados não estruturados, incluindo texto e imagens, com embeddings para recuperação densa. Proteja seus embeddings no nível dos documentos para garantir que os dados estejam em boas mãos.

  • Use seus próprios modelos transformadores

    Use seu próprio modelo transformador proprietário para o Elastic. Ou carregue modelos pré-treinados de repositórios de terceiros, como o hub de modelos da HuggingFace — com suporte para uma variedade de arquiteturas compatíveis, como BERT, BART, ELECTRA e muitas outras.

  • Integrações de dados e bibliotecas de ingestão

    Ferramentas conhecidas como Elastic Agent ou Logstash para indexar seus dados. Uma lista cada vez maior de integrações (como Confluence, S3 ou Google Drive). Conectores de banco de dados nativos (como MySQL, MongoDB). Um rastreador da web para fontes online. Para dados de apps customizados, APIs do Kibana ou crie seu próprio conector com frameworks conhecidos.

pattern-quote-module-top-left-145x430-color.svg
pattern-quote-module-bottom-left-172x80-white.svg
pattern-quote-module-top-right-172x80-mono-light-gray.svg
pattern-quote-module-bottom-right-1145x430-color.svg

“Estou entusiasmado com os benefícios que podemos trazer para os clientes com nossos investimentos para aproveitar o Elasticsearch no RelativityOne. Estamos experimentando o ESRE agora e estamos empolgados com seu potencial para fornecer resultados de busca poderosos e ampliados por IA aos nossos clientes.”

Chris Brown, Diretor de produto, Relativity

Amostras de código

Comece a criar a busca vetorial

Use uma única API para importar um modelo de embedding, gerar embeddings e escrever consultas de busca em escala usando a busca de vizinho mais próximo aproximado.

docker run -it --rm elastic/eland \
eland_import_hub_model \
--cloud-id $CLOUD_ID \
-u <username> -p <password> \
--hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 \
--task-type text_embedding \
--start

Perguntas frequentes

O que é o Elasticsearch Relevance Engine?

Elasticsearch Relevance Engine é um conjunto de ferramentas que ajudam os desenvolvedores a criar aplicações de busca com IA e inclui:

  • Recursos avançados de classificação de relevância líderes do setor, incluindo busca de palavras-chave tradicional com BM25, uma base de busca híbrida relevante para todos os domínios.
  • Funcionalidades completas de banco de dados vetorial, incluindo a capacidade de criar embeddings, além de armazenamento e recuperação de vetores.
  • Elastic Learned Sparse Encoder — nosso novo modelo de machine learning para busca semântica em vários domínios.
  • Classificação híbrida (RRF) para combinação de funcionalidades de busca textual e vetorial, proporcionando relevância de busca ideal em uma variedade de domínios.
  • Suporte para integrar modelos transformadores de terceiros, como o GPT-3 e 4 da OpenAI, por meio de APIs.
  • Um conjunto completo de ferramentas de ingestão de dados, como conectores de banco de dados, integrações de dados de terceiros, rastreador da web e APIs para criar conectores customizados.
  • Ferramentas para desenvolvedores para criar aplicações de busca em todos os tipos de dados: texto, imagens, séries temporais, geo, multimídia e muito mais.

TODOS DE OLHO NA IA

Inscreva-se para receber atualizações sobre IA

Fique a par de tudo relacionado à IA. Cadastre-se para receber notícias exclusivas, atualizações de produtos da Elastic®, tendências em IA, demonstrações práticas e muito mais.

icon-rocket-32-color.svg

Direto da fonte

LLMs, PLN, ChatGPT, RRF, BM25, ESRE, vetores, transformadores, embeddings — há muito o que acompanhar no mundo da IA. Ouça as equipes de liderança e desenvolvimento de produtos e engenharia da Elastic falarem sobre esse cenário de IA em rápida evolução para que você possa criar melhores aplicações de busca com IA.

Cadastre-se

MarketoFEForm

Aprenda mais sobre o uso do ChatGPT no Elasticsearch

Aprofunde-se nos métodos de como combinar a relevância de busca do Elasticsearch com as respostas a perguntas do ChatGPT da OpenAI para consultar seus dados privados.

Leia o post