Local en menos de 5 minutos: modelos de incrustación de Jina ya disponibles para el despliegue local

Los 28 modelos de incrustación y reclasificación de Jina AI ahora se envían como contenedores docker completamente fuera de línea para despliegues locales, incluidos jina-embeddings-v5-omni y jina-reranker-v3. Descarga uno, transfiérelo a un sistema local aislado o protegido por firewall, y la inferencia local estará funcionando en menos de cinco minutos. Los contenedores son completamente independientes y no hacen conexiones externas. No hay llamadas a Hugging Face ni a ningún registro de modelos. Tampoco hay un servidor de licencias ni endpoints de telemetría o logging. Para las industrias reguladas, los requisitos de soberanía de datos o los entornos donde el acceso a internet no es confiable o simplemente no está disponible, esto elimina la dependencia de los servicios de IA de terceros. Jina local brinda soporte para los esquemas de API de Elastic Inference Service (EIS), OpenAI, Cohere, Voyage AI y Gemini, por lo que las aplicaciones existentes funcionan sin cambios de código.

Los modelos de IA más potentes se ejecutan en instalaciones cloud remotas con acceso a través de una API web, lo que significa que tienes que confiar en tu proveedor de servicios de IA para la seguridad, la disponibilidad del servicio y los precios estables. No puedes alinear fácilmente las exigencias razonables de confiabilidad, privacidad, costos manejables y una buena gobernanza de datos con un uso de la IA cada vez más potente, sofisticado e intensivo en recursos.

Las regulaciones gubernamentales, los fallos judiciales y las consideraciones comerciales efectuadas en interés de terceros han dado como recientemente derivaron en la restricción del acceso a servicios específicos. Y, aunque puedas cambiar a otros servicios, los modelos de IA no son componentes que se puedan intercambiar simplemente cuando quieras. Las aplicaciones que usan incrustaciones semánticas dependen de tener acceso a los mismos modelos al momento de la búsqueda que al momento de la ingesta de datos. Perder el acceso a tu modelo de incrustación significa que tu sistema de búsqueda se detiene.

Los modelos de precios de AI agravan ese riesgo. Las declaraciones financieras recientes de los principales proveedores de IA dan a los clientes buenas razones para preocuparse por los posibles aumentos de precios. La dependencia de productos con costos impredecibles suma más riesgo a las inversiones en IA intensivas en capital que tal vez no generen retornos claros.

Jina On-Prem es la respuesta de Elastic a estos desafíos.

¿Quién necesita IA local?

El alojamiento local y el control directo sobre tus modelos de IA brindan soporte a una variedad de demandas técnicas, requisitos de la industria e intereses comerciales.

La instalación local reduce lo que pagas a tus proveedores de servicios de IA, pero traslada el costo del hardware y del acceso confiable a tu organización. Dependiendo de tu volumen de uso, simplemente puede ser más económico. Pero hay razones adicionales y apremiantes para considerar ejecutar tu propia IA. Si alguno de los problemas descritos a continuación afecta a tu empresa, considera una solución de IA local como Jina On-Prem. Esta lista no es exhaustiva.

Por qué los sistemas aislados y protegidos por firewall necesitan IA local

Los sistemas aislados de la red y protegidos por firewall no pueden usar API de IA externas. Jina On-Prem se ejecuta por completo dentro de tu infraestructura sin conexiones salientes.

Para las organizaciones que gestionan datos especialmente confidenciales, las consideraciones de seguridad y privacidad son primordiales. De poco sirve invertir en proteger tus datos confidenciales si inmediatamente se los entregas a un tercero remoto que puede tener una seguridad insuficiente o que podría estar sujeto a las exigencias de un gobierno extranjero.

Los empleados de organizaciones que manejan datos confidenciales suelen recibir cierta capacitación sobre el manejo seguro de datos, pero esto no es muy efectivo cuando todos tienen navegadores web que pueden estar abiertos en cualquier página de Internet mientras manejan esos datos. El aislamiento es la medida de seguridad más efectiva disponible, ya sea mediante aislamiento de red o firewalls muy restrictivos, pero eso dificulta el uso de servicios externos de cualquier tipo.

IA local para sistemas sensibles a la latencia y de alta disponibilidad

El software como servicio y la computación en la nube representan una solución intermedia entre el costo de ofrecer servicios muy accesibles y confiables en tus propias computadoras y delegar el problema a un tercero. Pero vienen con latencia variable, interrupciones y una pérdida total de control cuando las cosas salen mal. Los servicios de IA no son la excepción. Si tu sistema de búsqueda queda fuera de línea cuando no puedes acceder a tu modelo de embedding, es posible que ya no parezca una buena solución intermedia.

Además, confiar en la IA externa siempre implica riesgos que no puedes prever ni gestionar fácilmente. El acceso a internet y la latencia de red pueden degradarse sin previo aviso como resultado de acontecimientos políticos, mal tiempo o barcos que arrastran sus anclas sobre cables de fibra óptica submarinos. Los gobiernos pueden usar prohibiciones de exportación para bloquear repentinamente el acceso a los modelos de IA, y recientemente lo han hecho. Los proveedores de servicios de IA a veces retiran modelos para inducirte a cambiar a otros más nuevos. La flexibilidad y los costos gestionados de los servicios externos deben equilibrarse con los riesgos de la dependencia.

IA local para el cumplimiento del RGPD, la HIPAA y la soberanía de datos

Las organizaciones que recopilan datos están sujetas a normativas cada vez más estrictas que a menudo difieren entre jurisdicciones y pueden imponer requisitos contradictorios. En particular, las reglas de la HIPAA imponen protecciones de datos muy estrictas a los proveedores de salud estadounidenses, y las sólidas leyes generales de protección de datos en Canadá, la Unión Europea y muchas jurisdicciones asiáticas exigen que todas las empresas que manejan información personal lo hagan de manera segura y limiten la transmisión de dichos datos a otras partes u otras jurisdicciones. Estas reglas pueden incluso imponer obligaciones a entidades extranjeras si tienen algún cliente en esas jurisdicciones. Las instituciones financieras suelen estar sujetas a reglas aún más estrictas y asumen la misma responsabilidad directa en cuanto a la seguridad de la información que las que aplican para protegerse contra otras formas de actividad criminal.

El cumplimiento normativo puede ser incompatible con los servicios de IA externos, especialmente si usarlos implica la transmisión transfronteriza de datos.

Además, los eventos recientes muestran que las reglas que restringen la ubicación física de los almacenes de datos pueden no ser una fuente confiable de protección cuando los proveedores de servicios de nube internacionales están sujetos a la presión de gobiernos extranjeros. Las leyes locales pueden entrar en conflicto entre jurisdicciones, lo que exige el almacenamiento y procesamiento local de datos e imposibilita el uso de servicios de terceros. En algunos casos, la única solución es llevar todas las partes de tus procesos de forma interna, incluidos tus sistemas de IA.

Riesgos de responsabilidad de la IA por la transmisión de datos de terceros

Las leyes de protección de datos y los deberes de cuidado reconocidos respecto de los datos confidenciales suelen tener implicaciones de responsabilidad, a veces muy graves. Puedes ser responsable del manejo de tus datos por parte de terceros proveedores de servicios. Si bien los tribunales y los procedimientos legales pueden brindar algunas protecciones retrospectivas frente a proveedores de servicios que no cumplen los requisitos de seguridad, esos recursos no están disponibles ni son generalmente efectivos contra actores de seguridad nacional, las fuerzas de orden público o hackers criminales.

Para los gobiernos, ya ha habido casos de proveedores de servicios de nube transfronterizos que revelan información estatal confidencial a actores extranjeros.

Pero, aunque no te preocupen los gobiernos extranjeros o los hackers, y aunque tus proveedores de servicios de IA externos sean seguros en sí mismos, el solo hecho de que sean externos puede generar responsabilidades.

Por ejemplo, en la mayoría de las jurisdicciones, las comunicaciones de los abogados con sus clientes gozan de protecciones legales especiales, y los despachos de abogados tienen responsabilidades estrictas al grabar o almacenar esta información. En Estados Unidos, este “privilegio abogado-cliente” es tan famoso que es un elemento central en las tramas de películas y series de TV. Pero una de las formas en que ese privilegio se puede perder es comunicando información a alguien que no tiene este privilegio, y los avances recientes sugieren que los proveedores externos de servicios de IA podrían calificar.

Es posible, al menos en Estados Unidos, que el solo uso de servicios de IA de terceros a través de una API de internet, como modelos de incrustaciones que ofrecen servicios para indexar, infrinja reglas críticas de confidencialidad. Un bufete de abogados podría ser demandado, sancionado o inhabilitado tan solo por usar software hospedado externamente, incluso si no ocurre ninguna brecha de seguridad.

IA local para sistemas offline, de borde y aislados físicamente

Los sistemas informáticos no solo se aíslan por razones de seguridad. Por ejemplo, los vehículos en movimiento no pueden depender del acceso a Internet para ninguna función esencial. Los barcos y las aeronaves cuentan con sistemas informáticos a bordo muy amplios que deben funcionar sin conexiones a Internet y, por lo tanto, no pueden usar servicios de IA externos. Las plataformas marítimas, las instalaciones remotas en zonas silvestres y los servicios informáticos en el Ártico, la Antártida y pequeñas islas sin conexiones físicas adecuadas a las redes globales son ejemplos de instalaciones que se benefician de hospedar localmente todos los servicios que necesitan. A medida que aumenta el rol de la IA en la informática empresarial, resulta más importante abordar estas limitaciones.

Las aplicaciones emergentes de la IA a sistemas físicos (robótica y otros casos de uso espacialmente delimitados u orientados al mundo exterior, como sistemas de gestión logística o incluso cajas de supermercado) pueden estar conectadas a la internet global, pero no tienen tolerancia a las fallas de conexión o los picos de latencia. Si dependen de un sistema de IA para funcionar, ese sistema de IA debe ser lo más local y confiable posible.

¿Quién no necesita IA local?

Los servicios de software remotos y la IA fuera de las instalaciones sí tienen beneficios. Ejecutar modelos de IA puede requerir procesadores costosos y de alto consumo de energía con una vida útil notoriamente corta. El acceso a hardware de alta calidad es particularmente difícil en este momento debido a factores del mercado e impactos económicos externos. Dadas las circunstancias, puede tener sentido pagar por token para usar una API externa en lugar de asumir los elevados costos de capital de la IA local.

Las API externas son más útiles para los usuarios intermitentes. Si usas modelos de IA principalmente para procesar datos en batch para análisis, en lugar de ejecutar un sistema de búsqueda que tenga que estar en línea todo el tiempo, tiene poco sentido invertir en hardware con uso intensivo de capital e instalaciones locales.

Además, cuando el procesamiento de tus datos ya en la nube por razones de confiabilidad y accesibilidad, usar servicios de IA ubicados en la misma infraestructura de nube puede ofrecer una mejor relación precio-calidad que introducir tu propio despliegue de modelo de IA con licencia. Ya dependes de tu proveedor de servicios en la nube, por lo que depender de sus servicios de IA no añade mucho riesgo.

Si tu caso de uso se ajusta a esa descripción, los modelos de Jina AI están disponibles en EIS, AWS Marketplace y Google Cloud Platform específicamente para satisfacer tus necesidades.

La tabla a continuación resume los factores clave. La respuesta que obtengas depende de tus datos, infraestructura y patrón de uso.

Tienes que considerar los costos y beneficios a la luz de tus circunstancias particulares y de tus casos de uso, teniendo en cuenta los problemas destacados en la sección anterior que se apliquen a ti. El análisis costo-beneficio sin duda cambiará con el tiempo. No podemos predecir el futuro de la industria de la IA o los precios del hardware incluso a corto plazo.

Presentamos Jina On-Prem

Para los usuarios que pueden beneficiarse de los servicios de IA locales, presentamos Jina On-Prem, una suite de instalación totalmente independiente para los modelos de alto rendimiento de Jina AI.

Los modelos de Jina AI igualan la precisión de los modelos de incrustación varias veces más grandes, lo que reduce los costos informáticos, la huella de memoria y los requisitos de hardware. Esto los convierte en una opción ideal para los usuarios que quieren o necesitan mantener su IA de forma local. Las licencias comerciales están disponibles con soluciones escalables y de precio proporcional para casos de uso de todas las envergaduras.

¿Qué esquemas de API soporta Jina On-Prem?

• Disponible como una colección completa de dependencias para instalación local o como un contenedor docker que puedes instalar y ejecutar en minutos.

• Las instalaciones de Jina On-Prem no hacen llamadas a sistemas externos.

  • Sin llamadas a Hugging Face Hub ni a ningún registro de modelos (HF_HUB_OFFLINE=1 y TRANSFORMERS_OFFLINE=1 están integrados).

  • No hay un servidor de licencias.

  • No hay endpoints de telemetría o de logging.

• Soporta hardware de CPU y GPU, con autodetección de GPU.

• Todos los 28 modelos de Jina AI disponibles, incluidos los últimos modelos de incrustación multimodal jina-embeddings-v5-omni y jina-reranker-v3.

• Acceso mediante esquemas estándar de API de IA: API de Jina, OpenAI, Cohere, Voyage AI y Gemini. Jina On-Prem es una solución directa para las aplicaciones creadas sobre esos esquemas.

• Reemplazo directo para modelos servidos por el EIS. Jina On-Prem se integra directamente con despliegues de Elastic aislados de la red.

Requisitos de hardware para los modelos locales de Jina AI

Los requisitos de hardware varían para los diferentes modelos de Jina. La tabla de abajo muestra las recomendaciones para los modelos más recientes usando la configuración de GPU. No necesitas nada más potente que una GPU NVIDIA L4, aunque se recomienda una A100 para los modelos de incrustación v5. Nuestro modelo de incrustación más reciente requiere actualmente un mínimo de 8 GB de VRAM.

Si usas más de un modelo a la vez, los requisitos de VRAM aumentarán. Consulta la página de Dimensionamiento y hardware para obtener más información.

Cómo instalar Jina On-Prem con docker

La forma más rápida de dar los primeros pasos es instalar docker (si aún no lo has hecho) y seguir las instrucciones de la página Inicio rápido de Jina On-Prem.

Hay contenedores docker preconfigurados para los 28 modelos de Jina. Descarga uno y transfiérelo a tu destino de instalación, y podrás tener modelos de Jina AI ejecutándose en menos de cinco minutos.

Para compilaciones multimodales o personalizadas, o para descargar el conjunto completo de dependencias para la instalación fuera de un contenedor, sigue los pasos descritos en la guía de empaquetado.

Tu instalación de Jina On-Prem brinda soporte para toda la funcionalidad de la API de Jina y de EIS, y para la generación de incrustaciones mediante las API de OpenAI, Cohere, Voyage AI y Gemini, por lo que puede integrarse en aplicaciones preexistentes que usen interfaces estándar. Consulta la documentación de la API para obtener más información.

Los modelos de Jina, incluidos los modelos instalados con Jina On-Prem, están disponibles bajo diversos términos de licencia, y los últimos modelos son gratuitos para uso no comercial bajo una licencia CC BY-NC 4.0. Para adquirir la licencia de Jina On-Prem para uso comercial, ponte en contacto con Ventas de Elastic.