Banco de dados vetorial do Elasticsearch: envie em minutos, redimensione de forma acessível para centenas de bilhões

Experimente a busca vetorial por conta própria usando este curso prático de autoaprendizagem para IA de buscar. Você pode iniciar um teste gratuito na nuvem ou experimente o Elastic em sua máquina local agora.

O Elasticsearch é uma das plataformas mais implantadas do mundo para cargas de trabalho vetoriais, potencializando a busca semântica, a Retrieval-Augmented Generation (RAG) e recomendações para empresas como GitHub, Docusign, Seismic e muitas outras. Hoje, estamos anunciando o Banco de dados vetorial do Elasticsearch, uma nova oferta sem servidor otimizada para aplicações baseadas em vetores. Você fornece seus documentos e suas consultas, e nós cuidamos dos embeddings, do ajuste de índices e da infraestrutura. Além disso, mantemos tudo econômico e escalável. 

Para novos usuários, esta é a maneira mais rápida de colocar a busca vetorial de alta qualidade em funcionamento. Se você já usa o Elasticsearch, a nova oferta é a busca vetorial na plataforma onde seus dados já estão, sem nenhum novo sistema para adotar. O Elasticsearch Vector Database oferece suporte a uma variedade de cenários, desde a fundamentação de um grande modelo de linguagem (LLM) e o fornecimento de recuperação e memória para um agente de IA até o atendimento de centenas de bilhões de vetores. Crie um novo projeto e comece em minutos.

Um motor, todos os casos de uso vetoriais

O banco de dados vetorial do Elasticsearch foi desenvolvido para qualquer pessoa que crie aplicativos usando vetores:

• RAG: recupere o contexto certo para o seu LLM com a recuperação de vetores densos e esparsos, ou opte pela busca híbrida combinando a recuperação vetorial e lexical. A qualidade da sua geração melhora com a qualidade da sua recuperação.

• Agentes de IA: forneça aos agentes recuperação rápida e filtrada de documentos e memória de conversação, com as baixas latências que loops de agentes em várias etapas exigem.

• Busca semântica: faça a correspondência por significado, não por palavras-chave, com um tipo de campo e zero código de pipeline.

• Recomendações e similaridade: encontre vizinhos mais próximos em produtos, imagens ou qualquer conteúdo que você tenha, em escala.

Tudo o que sua carga de trabalho vetorial precisa, otimizado e pronto para uso

Criar uma aplicação baseada em vetores significa conectar várias partes separadas: configurar e hospedar modelos de embedding, fazer a indexação dos seus documentos por meio deles, armazenar os vetores com eficiência, aplicar o modelo de embedding a cada consulta, fazer a correspondência com o armazenamento de vetores e, por fim, recuperar os documentos por trás das correspondências. O Elasticsearch Vector Database cuida de tudo isso para você, sem necessidade de configuração ou setup adicional.

Indexação de vetores com o modo de índice vectordb_document

O modo de índice vectordb_document, uma nova configuração de índice desenvolvida especificamente para cargas de trabalho que priorizam vetores, vem ativado por padrão, para que você obtenha as configurações que os especialistas escolheriam. Veja o que ele ativa:

• bfloat16 por padrão: os vetores são armazenados com metade do tamanho do float32 com impacto insignificante no recall, reduzindo o consumo de disco aproximadamente pela metade antes mesmo de a quantização entrar em cena.

• Vetores de origem excluídos: no Elasticsearch, seus embeddings já residem nas estruturas de índice usadas para busca; manter uma segunda cópia bruta no _source apenas infla o armazenamento e desacelera a recuperação de resultados. Excluímos a duplicata para que as respostas retornem mais rápido e você armazene menos.

• Os arquivos certos pré-carregados no cache: as estruturas de dados que as consultas vetoriais acessam primeiro são carregadas na memória antecipadamente, para que sua primeira consulta (e também a milésima) seja ultrarrápida.

• Mesclagem paralela: a mesclagem consolida segmentos em estruturas de vetores mais bem organizadas, o que melhora o recall e reduz a latência, e executar essas mesclagens com várias threads significa que você chega lá mais rápido.

Armazenamento de vetores, compressão e ajuste automático

• Seus vetores são compactados automaticamente. O Better Binary Quantization (BBQ) reduz o consumo de memória dos vetores em até 32x enquanto preserva o recall, e o DiskBBQ reduz ainda mais os requisitos de memória para cargas de trabalho em grande escala. 

• Opte pela calibração automática, que ajusta a quantização de cada segmento aos seus dados e a reajusta a cada mesclagem conforme os dados sofrem desvios. Quando testado em 18 conjuntos de dados, o número de consultas por segundo (QPS) melhorou em uma média de 16,7%, com ganhos de recall na maioria deles.

Embeddings em inferência gerenciada por GPU

• Gere embeddings com os modelos nativos de embedding e reranking da Jina AI, ou traga modelos de terceiros, tudo em GPUs gerenciadas via Elastic Inference Service (EIS), sem precisar operar servidores de modelos. Ou faça a auto-hospedagem, se preferir usar seu próprio modelo.

• O tipo de campo semantic_text lida automaticamente com o particionamento e a geração de embeddings, além de consultas, o caminho mais simples para a busca semântica no mercado. 

Busca híbrida e busca vetorial filtrada

• A busca híbrida é integrada, combinando a recuperação de texto completo e de vetores em uma única consulta. Combine os resultados com reciprocal rank fusion (RRF) ou qualquer outro mecanismo de combinação que você quiser. A busca vetorial normalmente é a parte mais difícil de configurar bem na busca híbrida. Com o banco de dados vetorial do Elasticsearch, você tem tudo sob controle e toda a sua stack híbrida fica ainda melhor. 

• Com a busca vetorial filtrada, aplique filtros de metadados como parte da própria recuperação vetorial, e não como uma etapa adicionada posteriormente que prejudica o recall.

Empresarial desde o primeiro dia

Você também conta com controle de acesso baseado em funções (RBAC), logging de auditoria e as certificações de conformidade que geralmente faltam nos bancos de dados exclusivamente vetoriais.

Acessível em escala e previsível

O banco de dados vetorial do Elasticsearch foi desenvolvido para continuar acessível à medida que você cresce: a compressão com BBQ e DiskBBQ, que mantém o armazenamento linear e o uso de memória baixo, significa que redimensionar para centenas de bilhões de vetores não faz sua conta disparar. E o que você paga é calculado com base em números que já conhece: a quantidade de dados que armazena e indexa, além da capacidade de busca de que precisa. Estime a quantidade de documentos e as dimensões dos vetores, além da carga de consultas, e você poderá calcular o que vai pagar antes de criar o projeto. Você também pode entender sua conta linha por linha no fim do mês. Não há unidades de computação opacas nem cobranças surpresa por operações em segundo plano.

Como começar com o banco de dados vetorial do Elasticsearch

Crie um projeto de banco de dados vetorial serverless

Crie um novo projeto serverless de banco de dados vetorial no Elastic Cloud. Aponte seus dados para o endpoint, e você estará pronto para indexar.

Criar um índice usando semantic_text

O modo de índice vetorial gerencia a configuração do vetor. Usar semantic_text significa que a configuração de embeddings e particionamento, assim como a configuração do índice, é gerenciada para você com inferência gerenciada por GPU, sem a necessidade de criar um pipeline de embeddings.

PUT my-vectors
{
"mappings": {
"properties": {
"description": { "type": "semantic_text" }
    }
  }
}

Ingerir documentos

Indexe texto, e os embeddings são gerados para você.

POST /my-vectors/_doc
{
  "id": "park_rocky-mountain",
  "title": "Rocky Mountain",
  "description": "Bisected north to south by the Continental Divide, this portion of the Rockies has ecosystems varying from over 150 riparian lakes to montane and subalpine forests to treeless alpine tundra."
}

Execute uma consulta de busca semântica

Consulte o mesmo campo semântico que você acabou de criar:

GET /my-vectors/_search
{
  "query": {
    "semantic": {
      "field": "description",
      "query": "a mountain range in the middle of north america"
    }
  }
}

E você recebe os resultados de volta:

{
  "took": 80,
  "hits": {
    "max_score": 0.7792325,
    "hits": [
      {
        "_index": "my-vectors",
        "_score": 0.7792325,
        "_source": {
          "id": "park_rocky-mountain",
          "title": "Rocky Mountain",
          "description": "Bisected north to south by the Continental Divide, ..."
        }
      }
    ]
  }
}

A busca semântica é apenas o começo. Execute consultas totalmente textuais ou combine os dois tipos em consultas híbridas. Você pode até criar suas próprias consultas vetoriais para ter controle total. Siga o guia de início rápido da busca semântica na documentação para obter as instruções completas.

O que vem por aí para a busca vetorial no Elasticsearch

Já estamos trabalhando nas próximas melhorias:

• Melhor gerenciamento multitenant: se os seus dados precisarem permanecer separados por tenant, vamos oferecer uma maneira de fazer isso mais rápido e com menos código.

• Otimização automática de índice: de "índice novo em folha" a "totalmente otimizado", com o mínimo de ajustes possível.

• Melhorias contínuas de infraestrutura: ajuste contínuo das configurações e da infraestrutura do banco de dados vetorial para que você tenha sempre a melhor taxa de transferência e as respostas mais rápidas.

Experimente o banco de dados vetorial do Elasticsearch no Elastic Cloud Serverless

Vá de um projeto vazio a uma consulta vetorial híbrida e filtrada em minutos, com padrões de nível de produção fazendo o ajuste para você. Crie apps de IA rápidos e escaláveis, não infraestrutura.

Comece no Elastic Cloud Serverless, ou mergulhe na documentação completa e na referência da API.