A Elastic e a NVIDIA ajudam a implantar apps de IA mais sem esgotar a infraestrutura de TI

Elimine gargalos. Expanda de forma inteligente. Controle custos. Com a Elastic e a NVIDIA, você tem o poder de um banco de dados vetorial acelerado por GPU para IA de alto desempenho.

Acompanhe as análises detalhadas

Aumente o desempenho da IA com a busca vetorial acelerada por GPU

O Elasticsearch está se unindo à NVIDIA para trazer o melhor da GPU para sua stack de busca. Ao aproveitar a biblioteca cuVS e o algoritmo CAGRA, o Elasticsearch desbloqueou um enorme paralelismo para fornecer indexação rápida e de latência ultrabaixa para seus pipelines de retrieval-augmented generation (RAG) e aplicações de IA mais exigentes.

Indexe em GPUs para ter a máxima taxa de transferência. Busque em CPUs para ter eficiência de custos. Otimize tanto o desempenho quanto o preço.

Em números

  • 12x
    Aumento na taxa de transferência de indexação
  • 7x
    Redução da latência de mesclagem
  • 5x
    Taxa de transferência ajustada ao custo versus somente CPU

Banco de dados vetorial Elasticsearch com NVIDIA cuVS: sempre melhor trabalhar em conjunto

  • Acelere sua fábrica de IA

    Implemente buscas de alto desempenho e IA ativa com esquemas pré-configurados. O Elasticsearch é o banco de dados vetorial recomendado para o design validado da NVIDIA Enterprise AI Factory, oferecendo um framework local confiável para escalabilidade.

  • Velocidade de indexação do Turbocharge

    Indexe seus dados em escala sem gargalos. A integração do NVIDIA cuVS proporciona um aumento de até 12 vezes na taxa de transferência de indexação e uma fusão forçada 7 vezes mais rápida, permitindo que você lide com volumes massivos de dados com uma eficiência sem precedentes.

  • Maximize o valor da infraestrutura

    Descarregue a indexação com uso intensivo de matemática para as GPUs, reduzindo a carga da CPU e liberando recursos. Com base no custo ajustado, a aceleração por GPU oferece uma taxa de transferência 5 vezes maior e fusões forçadas 6 vezes mais rápidas, proporcionando desempenho superior com o seu orçamento de hardware atual.

  • Melhore o desempenho das consultas

    Lide com grandes volumes de consultas com tempo de resposta quase instantâneo. A busca acelerada por NVIDIA da Elastic garante que sua infraestrutura se redimensione junto com a próxima geração de GenAI, fornecendo a recuperação de alta velocidade necessária para fluxos de trabalho complexos e dinâmicos.

PARA EMPRESAS

O melhor da Elastic e NVIDIA, otimizado para você

  • Aberto e pronto para empresas usarem

    Crie com confiança sobre uma base de inovação de open source. A aceleração de GPU é alimentada pela biblioteca NVIDIA cuVS licenciada pelo Apache 2.0 e integrada ao Elasticsearch por meio de um plugin licenciado pelo ELv2, combinando flexibilidade aberta com suporte em nível empresarial.

  • Redimensionamento de indexação ilimitado

    Indexe seus dados em escala sem gargalos. A integração do NVIDIA cuVS proporciona um aumento de 12 vezes na taxa de transferência de indexação e uma fusão forçada 7 vezes mais rápida, permitindo que você lide com volumes massivos de dados com uma eficiência sem precedentes.

  • Elastic com redimensionamento com Kubernetes

    Redimensione sua aceleração de forma tão fácil quanto redimensionar seu cluster. Ao mapear processos do Elasticsearch para GPUs individuais via orquestração Kubernetes, é possível distribuir grandes cargas de indexação entre múltiplos servidores para máxima taxa de transferência paralela.

  • Sinergia perfeita entre CPU e GPU

    Tenha o melhor dos dois mundos. A Elastic utiliza as GPUs para o que elas fazem de melhor: cálculos em massa para a construção de gráficos, enquanto mantém a busca na CPU. Isso garante que seus gráficos HNSW de alto desempenho sejam construídos em tempo recorde e permaneçam acessíveis para buscas padrão.

Perguntas frequentes

A indexação vetorial acelerada por GPU para o Elasticsearch está disponível como open source?

Sim, o código que implementa a indexação vetorial acelerada por GPU é open source (sob licença dupla: AGPL e ELv2). O Elasticsearch expõe a funcionalidade de indexação vetorial acelerada por GPU por meio de um plugin licenciado sob a licença ELv2 e disponível no plano Empresarial. O NVIDIA cuVS, a biblioteca que viabiliza os recursos de indexação por GPU no Elasticsearch, também está disponível como open source sob a licença Apache 2.0.

O que devo fazer se encontrar problemas ou tiver sugestões?

Em caso de problemas, consulte nossas instruções de solução de problemas. Se o problema persistir, abra um chamado no GitHub do Elasticsearch, se for um problema específico do Elasticsearch. Se o problema estiver relacionado ao NVIDIA cuVS e as dependências, abra um chamado no GitHub do NVIDIA cuVS. Se você tiver uma assinatura empresarial, entre em contato conosco pelos canais de suporte ao cliente da Elastic para ter uma solução. Use os mesmos canais para sugestões e solicitações de recursos.

Como faço para instalar o NVIDIA cuVS em um nó de dados do Elasticsearch para habilitar a indexação vetorial da GPU?

Você pode instalar o NVIDIA cuVS como um pacote pré-compilado via tarball dos canais da NVIDIA para usuários de banco de dados ou via pip ou gerenciadores de pacotes conda para usuários de ciência de dados. Você também pode compilar o cuVS a partir do código-fonte e manter o binário por conta própria. Para mais informações, consulte a página de instalação do NVIDIA cuVS. Para usuários com assinatura NVIDIA AI Enterprise (NVAIE) com suas GPUs, o tarball do cuVS com suporte para correções de CVE e garantias de suporte para CVEs estará disponível no catálogo NGC em alguns meses. Entre em contato com a equipe de suporte da NVAIE ou com seu representante de vendas da NVIDIA para saber mais.

A indexação vetorial pode escalar entre múltiplas GPUs em um ou vários servidores?

Sim, você pode usar um sistema de orquestração de contêineres como o Kubernetes para mapear cada processo do Elasticsearch para uma GPU disponível. Um único processo do Elasticsearch deve ter o uso exclusivo de uma única GPU. Dessa forma, o redimensionamento para usar várias GPUs se torna o redimensionamento de nós no cluster.

O tamanho do índice vetorial é limitado pela memória disponível da GPU?

Oferecemos suporte à criação de índices maiores que a memória da GPU (também conhecidos como fora da memória principal) por meio da criação em lotes. No geral, a indexação por GPU não apresentam limitações adicionais além daquelas já presentes na indexação baseada em CPU.

A aceleração de GPU está disponível para busca vetorial?

Não, atualmente apenas a construção do índice HNSW é acelerada por GPU. O gráfico HNSW resultante é então carregado na memória do host (CPU), e a recuperação de vetores é executada na CPU. A justificativa para essa decisão reside na imensa vantagem que as GPUs possuem em operações vetoriais em massa. A expansão do uso de GPUs será considerada conforme a tecnologia e os casos de uso evoluírem.

Como avalio o desempenho e o custo-benefício da indexação vetorial de GPU?

Você pode usar a ferramenta Rally da Elastic para avaliar o impacto das GPUs na taxa de transferência de indexação, na latência de mesclagem forçada e na precisão e latência/taxa de transferência da busca vetorial. Veja as instruções e as práticas recomendadas para executar testes de desempenho de indexação vetorial E2e de ponta a ponta em GPUs usando o Rally.

Quais tipos de elementos e índices são suportados?

O Elasticsearch suporta diversos parâmetros de indexação diferentes. Os valores hnsw e int8_hnsw são suportados para o parâmetro index_options.type. Para o parâmetro element_type, apenas float é suportado. No momento, nenhum outro tipo de índice ou elemento é suportado.