No local em menos de 5 minutos: modelos de embedding Jina agora disponíveis para implantação no local

Coloque a mão na massa com o Elasticsearch: mergulhe nos nossos notebooks de amostra no repositório Elasticsearch Labs, inicie uma avaliação gratuita na nuvem ou conheça o Elastic na sua máquina local agora.

Todos os 28 modelos de embeddings e reclassificação da Jina AI agora são distribuídos como containers do Docker totalmente offline para implantação no local, incluindo o jina-embeddings-v5-omni e o jina-reranker-v3. Basta baixar um deles, transferi-lo para um sistema local air-gapped ou protegido por firewall e começar a executar inferências locais em menos de cinco minutos. Os containers são totalmente autossuficientes e não estabelecem conexões externas. Não há chamadas para o Hugging Face nem para qualquer registro de modelos. Também não há servidores de licenciamento nem endpoints de telemetria ou logging. Para setores regulamentados, requisitos de soberania de dados ou ambientes em que o acesso à internet é instável ou simplesmente indisponível, isso elimina a dependência de serviços de IA de terceiros. O Jina On-Prem oferece suporte aos esquemas de API do Elastic Inference Service (EIS), OpenAI, Cohere, Voyage AI e Gemini, permitindo que as aplicações existentes funcionem sem alterações no código.

Os modelos de IA mais avançados são executados em instalações remotas na nuvem, com acesso por meio de uma API web. Isso significa que você precisa confiar no provedor de serviços de IA em relação à segurança, à disponibilidade do serviço e à estabilidade dos preços. Não é fácil conciliar exigências razoáveis de confiabilidade, privacidade, custos administráveis e boa governança de dados com o uso cada vez mais intenso de uma IA mais poderosa, sofisticada e exigente em termos de recursos.

Regulamentações governamentais, decisões judiciais e interesses comerciais de terceiros resultaram recentemente em restrições de acesso a determinados serviços. E, mesmo que seja possível migrar para outros serviços, os modelos de IA não são componentes que podem ser simplesmente substituídos a qualquer momento. As aplicações que utilizam embeddings semânticos dependem do acesso aos mesmos modelos tanto no momento da consulta quanto no momento da ingestão de dados. Perder o acesso ao modelo de embeddings significa paralisar seu sistema de busca.

Os modelos de precificação de IA agravam esse risco. Divulgações financeiras recentes de grandes fornecedores de IA dão aos clientes bons motivos para se preocupar com possíveis aumentos de preços. A dependência de produtos com custos imprevisíveis aumenta ainda mais os riscos de investimentos em IA que exigem muito capital e podem não gerar retornos claros.

O Jina On-Prem é a resposta da Elastic a esses desafios.

Quem precisa de IA no local?

A hospedagem local e o controle direto dos seus modelos de IA dão suporte a uma variedade de demandas técnicas, requisitos do setor e interesses comerciais.

A instalação local reduz os valores pagos aos provedores de serviços de IA, mas transfere para sua organização os custos de hardware e de garantia de acesso confiável. Dependendo do volume de uso, essa opção pode simplesmente ser mais econômica. Mas existem outros motivos urgentes para considerar a execução da sua própria IA. Se alguma das questões descritas abaixo preocupa sua empresa, considere uma solução de IA local, como o Jina On-Prem. Esta lista não é exaustiva.

Por que sistemas air-gapped e protegidos por firewall precisam de IA local

Sistemas air-gapped e protegidos por firewall não podem usar APIs externas de IA. O Jina On-Prem é executado inteiramente na sua infraestrutura, sem conexões externas.

Para organizações que lidam com dados especialmente confidenciais, as considerações de segurança e privacidade são fundamentais. Não adianta muito investir em proteger seus dados confidenciais se, logo em seguida, você os entrega a um terceiro remoto que pode não ter medidas de segurança adequadas ou estar sujeito às exigências de um governo estrangeiro.

Os funcionários de organizações que lidam com dados sensíveis geralmente recebem algum treinamento sobre o tratamento seguro de dados, mas isso não é muito eficaz quando todos têm navegadores da web que podem estar abertos a qualquer página da internet enquanto lidam com esses dados. O isolamento é a medida de segurança mais eficaz disponível, seja por meio de air-gapping ou de firewalls muito restritivos, mas isso dificulta o uso de serviços externos de qualquer tipo.

IA local para sistemas sensíveis à latência e de alta disponibilidade

O software como serviço e a computação em nuvem representam uma solução de compromisso entre o custo de oferecer serviços altamente acessíveis e confiáveis nos próprios computadores e a terceirização dessa responsabilidade. Mas esses serviços apresentam latência variável, interrupções e perda total de controle quando algo dá errado. Os serviços de IA não são exceção. Se seu sistema de busca ficar offline quando você perder o acesso ao modelo de embeddings, essa solução de compromisso talvez deixe de parecer tão vantajosa.

Além disso, depender de IA externa sempre envolve riscos difíceis de prever ou gerenciar. O acesso à internet e a latência da rede podem piorar sem aviso prévio devido a acontecimentos políticos, condições climáticas adversas ou navios que arrastam suas âncoras sobre cabos submarinos de fibra óptica. Os governos podem usar, e recentemente já usaram, proibições de exportação para bloquear repentinamente o acesso a modelos de IA. Às vezes, os provedores de serviços de IA retiram modelos de circulação para incentivar a migração para versões mais recentes. É preciso ponderar a flexibilidade e os custos gerenciados dos serviços externos em relação aos riscos da dependência.

IA local para conformidade com o GDPR, a HIPAA e os requisitos de soberania de dados

As organizações que coletam dados pessoais estão sujeitas a regulamentações cada vez mais rigorosas, que muitas vezes variam entre jurisdições e podem apresentar requisitos contraditórios. As regras da HIPAA, em particular, impõem proteções de dados extremamente rigorosas aos prestadores de serviços de saúde dos Estados Unidos. Além disso, as leis abrangentes de proteção de dados do Canadá, da União Europeia e de muitas jurisdições asiáticas exigem que todas as empresas que lidam com informações pessoais garantam sua segurança e limitem a transmissão desses dados a terceiros ou a outras jurisdições. Essas regras podem até impor obrigações a entidades estrangeiras que tenham clientes nessas jurisdições. As instituições financeiras costumam estar sujeitas a regras ainda mais rigorosas e têm a mesma responsabilidade direta pela segurança das informações que têm pela proteção contra outras formas de atividade criminosa.

A conformidade regulatória pode ser incompatível com serviços de IA de terceiros, especialmente se o uso deles envolver transferência transfronteiriça de dados.

Além disso, acontecimentos recentes mostram que as regras que restringem a localização física dos repositórios de dados podem não oferecer proteção confiável quando os operadores internacionais de nuvem estão sujeitos a pressões de governos estrangeiros. As leis locais podem entrar em conflito entre diferentes jurisdições, exigindo o armazenamento e o processamento de dados no local e impossibilitando o uso de serviços de terceiros. Em alguns casos, a única solução é internalizar todas as etapas dos processos, incluindo os sistemas de IA.

Riscos de responsabilidade relacionados à IA decorrentes da transmissão de dados por terceiros

As leis de proteção de dados e os deveres de cuidado reconhecidos em relação a dados sensíveis costumam acarretar consequências em termos de responsabilidade, às vezes muito graves. Você pode ser responsabilizado pela forma como prestadores de serviços terceirizados lidam com seus dados. Embora os tribunais e os procedimentos legais possam oferecer alguma proteção retroativa contra prestadores de serviços com segurança inadequada, esses recursos não estão disponíveis nem costumam ser eficazes contra agentes de segurança nacional, autoridades policiais ou hackers criminosos.

No caso dos governos, já houve casos de provedores de serviços em nuvem transfronteiriços divulgarem informações sensíveis do Estado a agentes estrangeiros.

Mas, mesmo que você não se preocupe com governos estrangeiros ou hackers e que seus provedores externos de serviços de IA sejam seguros, só o fato de eles serem externos pode trazer riscos jurídicos.

Por exemplo, na maioria das jurisdições, as comunicações entre advogados e clientes contam com proteções legais especiais, e os escritórios de advocacia estão sujeitos a responsabilidades rigorosas ao registrar ou armazenar essas informações. Nos Estados Unidos, esse sigilo entre advogado e cliente é tão famoso que ocupa um papel central em tramas de filmes e séries de TV. No entanto, uma das formas de perder essa proteção é compartilhar informações com alguém que não esteja sujeito ao mesmo sigilo, e acontecimentos recentes sugerem que os provedores externos de serviços de IA podem se enquadrar nessa situação.

É possível, pelo menos nos Estados Unidos, que simplesmente usar serviços de IA de terceiros por meio de uma API na internet, como modelos de embedding que oferecem serviços de indexação, viole regras críticas de confidencialidade. Um escritório de advocacia pode ser processado, sofrer sanções disciplinares ou até ter sua licença profissional cassada apenas por usar software hospedado externamente, mesmo que não ocorra nenhuma violação de segurança.

IA local para sistemas offline, de computação de borda e fisicamente isolados

Os sistemas computacionais não são isolados apenas por motivos de segurança. Por exemplo, veículos em movimento não podem depender do acesso à internet para nenhuma função essencial. Navios e aeronaves têm sistemas computacionais de bordo bastante complexos que precisam funcionar sem conexão com a internet e, portanto, não podem utilizar serviços externos de IA. Plataformas marítimas, instalações remotas em regiões selvagens, sistemas computacionais no Ártico, na Antártida e em pequenas ilhas sem conexões físicas adequadas com redes globais são exemplos de instalações que se beneficiam da hospedagem local de todos os serviços necessários. À medida que a IA ganha espaço na computação empresarial, torna-se cada vez mais importante lidar com essas limitações.

Aplicações emergentes de IA em sistemas físicos (robótica e outros casos de uso espacialmente confinados ou focados no mundo externo, como sistemas de gestão de logística ou até mesmo caixas de supermercado) podem estar conectadas à internet global, mas não têm tolerância a falhas de conexão ou picos de latência. Se dependerem de um sistema de IA para operar, esse sistema de IA precisa ser o mais local e confiável possível.

Quem não precisa de IA local?

Os serviços de software remotos e a IA hospedada externamente também oferecem vantagens. A execução de modelos de IA pode exigir processadores caros, com alto consumo de energia e vida útil notoriamente curta. O acesso a hardware de alta qualidade está particularmente difícil no momento devido a fatores de mercado e choques econômicos externos. Nessas circunstâncias, pode ser mais vantajoso pagar por token para utilizar uma API externa do que arcar com os elevados custos de investimento em IA local.

As APIs externas são mais indicadas para quem utiliza esses serviços esporadicamente. Se você utiliza modelos de IA principalmente para processar dados em lote para análise, em vez de executar um sistema de busca que precisa estar sempre online, não faz muito sentido investir em hardware de alto custo e instalações locais.

Além disso, quando o processamento de dados já ocorre na nuvem, como no caso de um website de e-commerce hospedado na nuvem por motivos de confiabilidade e acessibilidade, utilizar serviços de IA localizados na mesma infraestrutura de nuvem pode oferecer uma relação custo-benefício melhor do que implantar seus próprios modelos de IA licenciados. Você já depende do provedor de serviços de nuvem, portanto, depender também dos serviços de IA desse provedor não aumenta muito os riscos.

Se o seu caso de uso parece se encaixar nessa descrição, os modelos Jina AI estão disponíveis no EIS, no AWS Marketplace e no Google Cloud Platform especificamente para atender às suas necessidades.

A tabela abaixo resume os principais fatores. Sua resposta depende dos seus dados, da sua infraestrutura e do seu padrão de uso.

Você precisa considerar os custos e benefícios à luz das suas circunstâncias específicas e dos casos de uso, levando em conta os problemas destacados na seção anterior que se aplicam a você. A análise de custo-benefício sem dúvida mudará ao longo do tempo. Não podemos prever o futuro do setor de IA nem os preços do hardware, mesmo no curto prazo.

Apresentamos o Jina On-Prem

Para quem pode se beneficiar de serviços locais de IA, apresentamos o Jina On-Prem, um conjunto de ferramentas de instalação totalmente autossuficiente para os modelos de alto desempenho da Jina AI.

Os modelos da Jina AI oferecem precisão equivalente à de modelos de embeddings muito maiores, reduzindo os custos computacionais, o consumo de memória e os requisitos de hardware. Isso os torna a escolha ideal para quem deseja ou precisa manter a IA no local. Estão disponíveis licenças comerciais com soluções escaláveis e preços proporcionais para casos de uso de todos os portes.

Para quais esquemas de API o Jina On-Prem oferece suporte?

• Disponível como um conjunto completo de dependências para instalação local ou como um container do Docker que pode ser instalado e executado em poucos minutos.

• As instalações do Jina On-Prem não fazem chamadas para sistemas externos.

  • Não há chamadas ao Hub da Hugging Face ou a qualquer registro de modelos (HF_HUB_OFFLINE=1 e TRANSFORMERS_OFFLINE=1 já estão definidos).

  • Não há servidor de licenças.

  • Não há endpoints de telemetria ou logging.

• Oferece suporte a hardware de CPU e GPU, com detecção automática de GPU.

• Todos os 28 modelos da Jina AI estão disponíveis, incluindo os modelos mais recentes de embeddings multimodais jina-embeddings-v5-omni e jina-reranker-v3.

• Acesso por meio de esquemas de API de IA padrão: API Jina, OpenAI, Cohere, Voyage AI e Gemini. O Jina On-Prem é uma solução que pode ser integrada diretamente a aplicações desenvolvidas com base nesses esquemas, sem necessidade de alterações.

• Substituição direta dos modelos disponibilizados pelo EIS. O Jina On-Prem se integra diretamente às implantações air-gapped da Elastic.

Requisitos de hardware para os modelos locais da Jina AI

Os requisitos de hardware variam entre os diferentes modelos Jina. A tabela abaixo mostra as recomendações para os modelos mais recentes com configurações de GPU. Você não precisa de nada mais potente do que uma GPU NVIDIA L4, embora uma A100 seja recomendada para os modelos de embedding v5. Nosso modelo de embedding mais recente atualmente exige no mínimo 8 GB de VRAM.

Se você utilizar mais de um modelo ao mesmo tempo, os requisitos de VRAM aumentarão. Consulte a página Dimensionamento e hardware para saber mais.

Como instalar o Jina On-Prem com o Docker

A maneira mais rápida de começar é instalar o Docker (se ainda não tiver feito isso) e seguir as instruções na página Início rápido do Jina On-Prem.

Há containers do Docker pré-configurados para todos os 28 modelos da Jina. Basta baixar um deles e transferi-lo para o ambiente de destino para começar a executar os modelos da Jina AI em menos de cinco minutos.

Para builds multimodais ou personalizados, ou para baixar o conjunto completo de dependências para instalação fora de um container, siga as etapas descritas no guia de empacotamento.

Sua instalação do Jina On-Prem oferece suporte a todas as funcionalidades da Jina API e do EIS, além da geração de embeddings por meio das APIs da OpenAI, Cohere, Voyage AI e Gemini. Assim, ela pode ser integrada a aplicações existentes que utilizam interfaces padrão. Consulte a documentação da API para saber mais.

Os modelos da Jina, incluindo os instalados com o Jina On-Prem, estão disponíveis sob diferentes condições de licenciamento. Os modelos mais recentes são gratuitos para uso não comercial sob a licença CC BY-NC 4.0. Para obter uma licença do Jina On-Prem para uso comercial, entre em contato com a equipe de vendas da Elastic.