Elasticsearch 9.0 & 8.18: preparado para desenvolvedores, com mais uma dose de churrasco rapidíssimo — 5 vezes mais rápido que o OpenSearch
Share on TwitterCompartilhar no Twitter
Share on LinkedInCompartilhar no LinkedIn
Share on FacebookCompartilhar no Facebook
Share by EmailCompartilhar por e-mail
Print this pageImprimir
Temos orgulho de anunciar o lançamento das versões 9.0 e 8.18 do Elasticsearch para usuários do Elastic Cloud e de infraestrutura autogerenciada. Os recursos dessas versões já estavam disponíveis para nossos usuários do Elastic Cloud Serverless, que tinham acesso ao Elasticsearch totalmente gerenciado edisponível para o público em geral na AWS, Azure e GCP.
Servindo melhor quantização binária (BBQ) ainda mais rápido — 5 vezes mais rápido que o OpenSearch
O BBQ (Better Binary Quantization), introduzido pela primeira vez na versão 8.16 como uma prévia técnica, agora está geralmente disponível, oferecendo uma alternativa de alto desempenho às técnicas tradicionais de quantização como a Quantização de Produto (PQ).
Nossos clientes, como a Roboflow, armazenam e atualizam quantidades cada vez maiores (ou seja, bilhões) de dados vetoriais e, no passado, teriam que considerar o uso de algo como o PQ para manter sua relevância e desempenho, mas também para utilizar seu hardware existente de forma mais eficaz. Agora, eles têm acesso ao BBQ.
O BBQ agora possui um algoritmo atualizado que oferece até 20% mais recall e throughput 8 x–30 x mais rápido com SIMD para buscas eficientes e precisas. A Elastic é a primeira fornecedora de banco de dados vetorial a implementar essa abordagem, permitindo que cargas de trabalho de busca do mundo real alcancem resultados mais rápidos, reduzindo o consumo de recursos computacionais.
Como parte de nossa missão de tornar o Apache Lucene o melhor banco de dados vetorial e, como defensores de levar essas inovações à comunidade, recentemente incorporamos essas capacidades ao Lucene.
Em comparação com o OpenSearch FAISS, o Elasticsearch BBQ oferece até consultas 5x mais rápidas e uma taxa de transferência 3,9x maior em todos os níveis de recall, mantendo a mesma precisão. Projetado para velocidade e eficiência, o BBQ reduz significativamente a latência, tornando-o ideal para cargas de trabalho de produção em larga escala.
A reclassificação vetorial quantizada agora conta com uma API simplificada, aprimorando ainda mais a experiência do desenvolvedor. O BBQ realiza uma varredura completa do índice usando um pequeno vetor preditor, sobreamostra os resultados e, em seguida, os reclassifica usando o vetor maior. Com a nova API, basta definir a taxa de sobreamostragem e deixar que o Elasticsearch lide com a reclassificação de forma transparente.
Com esta versão, modelos de interação multiestágio, como ColPali e ColBERT também são compatíveis com o MaxSim!
Busca semântica pronta para uso e reclassificação semântica
Com esta versão, os desenvolvedores têm acesso imediato ao ELSER, nosso modelo de vetor esparso, e e5, um modelo de vetor denso multilíngue otimizado para busca semântica. A reclassificação semântica também está disponível com nosso modeloElastic Rerank, o que pode ser uma vantagem exclusiva para quem deseja aumentar a relevância sem alterar o formato dos dados armazenados.
Adicionar seus próprios modelos aos que você já possui da Elastic não deve ser um problema. Com nossa API de inferência aberta, é fácil usar a integração recém-adicionada para utilizar os novos recursos de embeddings e reclassificação do JinaAI ou a reclassificação semântica do Watsonx.ai.
Como exemplo, a pesquisa semântica começa com um único mapeamento semantic_text:
PUT my-data
{
"mappings": {
"properties": {
"my_semantic_field": {
"type": "semantic_text" }}}}Ao não especificar um endpoint de inferência, você utiliza nosso modelo semântico padrão: ELSER.
Se você quiser usar o modelo de embedding mais recente da Jina AI, jina-embeddings-v3, basta especificar o endpoint de inferência a ser usado com semantic_text. Para sua conveniência, se você quiser experimentar, consulte este notebook Jupyter para testar hoje mesmo!
PUT my-data-with-jina
{ "mappings": {
"properties": {
"my_semantic_field": {
"type": "semantic_text",
"inference_id": "my-jinaai-endpoint" }}}}Agora, vamos fazer sua primeira busca semântica em linguagem natural.
POST my-data/_search
{ "query": {
"match": {
"my_semantic_field": "Which vector database was the first in the industry to introduce BBQ and contribute it to the open source community?"
}
},
"highlight": {
"fields": {
"my_semantic_field": {
"number_of_fragments": 2,
"order": "score" }}}}Ou, se você gosta do ES|QL, tente:
POST _query?format=txt
{
"query": """
FROM my-data
| WHERE my_semantic_field:"Which vector database has BBQ?"
| KEEP my_semantic_field
"""
}A resposta para essas consultas é, claro: Elasticsearch. A escolha entre usar nosso modelo padrão ou o seu favorito está a apenas uma definição de endpoint de inferência.
Espere, tem mais!
Neste lançamento, os fãs de busca híbrida ficarão satisfeitos em saber que os retrievers — a abstração para desenvolvedores que adicionamos em versões anteriores ao DSL de consulta para melhor composabilidade e facilidade de uso — agora têm a capacidade de incorporar facilmente resscores lineares e genéricos nos retrievers, junto com a fusão recíproca de rank (RRF), uma ótima técnica padrão para normalizar pontuações entre combinações de diferentes tipos de busca.
Continuamos adicionando novos comandos empolgantes à Linguagem de Consulta Elasticsearch (ES|QL), mas há um comando novo que não estava disponível na consulta DSL. Vamos UNIR mãos e receber uma nova forma de consultar dados com o poder do Elasticsearch:
// join employees with their department name
FROM employees
| LOOKUP JOIN departments ON dep_id
| KEEP last_name, first_name, dep_nameLeia mais sobre isso no Blog ES|QL JOIN!
Experimente
Leia sobre esses recursos e muito mais nas notas de lançamento.
Quem já trabalha com o Elastic Cloud pode acessar muitos desses recursos diretamente no console Elastic Cloud. Ainda não aproveita o Elastic na nuvem? Inicie uma avaliação gratuita.
Quer começar rapidamente no seu laptop? Execute curl -fsSL https://elastic.co/start-local | sh e comece em minutos.
Você também pode baixar o Elastic Stack e nossos produtos de orquestração em nuvem, Elastic Cloud Enterprise e Elastic Cloud for Kubernetes, para ter uma experiência autogerenciada.
O lançamento e o tempo de amadurecimento de todos os recursos ou funcionalidades descritos neste artigo permanecem a exclusivo critério da Elastic. Os recursos ou funcionalidades não disponíveis no momento poderão não ser entregues ou não chegarem no prazo previsto.
Neste post do blog, podemos ter usado ou feito referência a ferramentas de IA generativa de terceiros, que pertencem a seus respectivos proprietários e são operadas por eles. A Elastic não tem nenhum controle sobre as ferramentas de terceiros e não temos qualquer responsabilidade por seu conteúdo, operação ou uso, nem por qualquer perda ou dano que possa surgir do uso de tais ferramentas. Tenha cuidado ao usar ferramentas de IA com informações pessoais, sensíveis ou confidenciais. Os dados que você enviar poderão ser usados para treinamento de IA ou outros fins. Não há garantia de que as informações fornecidas serão mantidas seguras ou confidenciais. Você deve se familiarizar com as práticas de privacidade e os termos de uso de qualquer ferramenta de IA generativa antes de usá-la.
Elastic, Elasticsearch, ESRE, Elasticsearch Relevance Engine e marcas associadas são marcas comerciais, logotipos ou marcas registradas da Elasticsearch N.V. nos Estados Unidos e em outros países. Todos os outros nomes de empresas e produtos são marcas comerciais, logotipos ou marcas registradas de seus respectivos proprietários.
Compartilhar
- Share on Twitter
Compartilhar no Twitter
- Share on LinkedIn
Compartilhar no LinkedIn
- Share on Facebook
Compartilhar no Facebook
- Share by Email
Compartilhar por e-mail
- Print this page
Imprimir