Local en menos de 5 minutos: modelos de incrustación de Jina ya disponibles para el despliegue local

Prueba Elasticsearch: Sumérgete en nuestros cuadernos de muestra en el repositorio de Elasticsearch Labs, inicia una prueba gratuita en el cloud o prueba Elastic en tu máquina local ahora.

Los 28 modelos de embeddings y reranking de Jina AI ahora se distribuyen como contenedores docker completamente sin conexión para el despliegue local, incluidos jina-embeddings-v5-omni y jina-reranker-v3. Descarga uno, transfiérelo a un sistema local aislado de la red o protegido por un firewall, y la inferencia local estará funcionando en menos de cinco minutos. Los contenedores son completamente autónomos y no hacen conexiones externas. No hay ninguna llamada a Hugging Face ni a ningún registro de modelos. Tampoco hay ningún servidor de licencias ni endpoints de telemetría o logging. Esto elimina la dependencia de servicios de IA de terceros en industrias reguladas, cuando hay requisitos de soberanía de datos o en entornos donde el acceso a Internet es poco confiable o simplemente no está disponible. Jina On-Prem admite los esquemas de API de Elastic Inference Service (EIS), OpenAI, Cohere, Voyage AI y Gemini, por lo que las aplicaciones existentes funcionan sin cambios en el código.

Los modelos de IA más potentes se ejecutan en instalaciones remotas en la nube con acceso a través de una API web, lo que significa que debes confiar en tu proveedor de servicios de IA en cuanto a la seguridad, la disponibilidad del servicio y la estabilidad de los precios. No es fácil conciliar las exigencias razonables de confiabilidad, privacidad, costos manejables y buena gobernanza de datos con un uso de la IA cada vez más potente, sofisticado e intensivo en recursos.

Las regulaciones gubernamentales, los fallos judiciales y las consideraciones comerciales que responden a los intereses de terceros recientemente provocaron restricciones al acceso a servicios específicos. Y aunque puedas cambiar a otros servicios, los modelos de IA no son componentes que se puedan simplemente intercambiar cuando quieras. Las aplicaciones que usan incrustaciones semánticas dependen de tener acceso a los mismos modelos en el momento de la búsqueda que en el momento de la ingesta de datos. Perder el acceso a tu modelo de incrustación significa que tu sistema de búsqueda deja de funcionar.

Los modelos de precios de AI agravan ese riesgo. Las recientes divulgaciones financieras de los principales proveedores de IA dan a los clientes buenos motivos para preocuparse por posibles aumentos de precios. La dependencia de productos con costos impredecibles añade más riesgo a las inversiones en IA que requieren mucho capital que quizá no generen rendimientos claros.

Jina On-Prem es la respuesta de Elastic a estos desafíos.

¿Quién necesita IA local?

El alojamiento local y el control directo sobre tus modelos de IA satisfacen una variedad de demandas técnicas, requisitos de la industria e intereses comerciales.

La instalación local reduce lo que pagas a tus proveedores de servicios de AI, pero hace que tu organización asuma el costo del hardware y del acceso confiable. Según el volumen de uso, puede resultar simplemente más económico. Pero hay otras razones apremiantes para considerar correr tu propia AI. Si alguno de los problemas que se describen a continuación afecta a tu empresa, considera una solución de AI local como Jina On-Prem. Esta lista no es exhaustiva.

Por qué los sistemas aislados y con firewall necesitan IA local

Los sistemas aislados y con firewall no pueden usar API de IA externas. Jina On-Prem se ejecuta completamente dentro de tu infraestructura sin conexiones salientes.

Para las organizaciones que gestionan datos especialmente confidenciales, las consideraciones de seguridad y privacidad son primordiales. De poco sirve invertir en proteger tus datos confidenciales si enseguida se los entregas a algún tercero remoto que quizá no cuente con medidas de seguridad suficientes o esté sujeto a las exigencias de un gobierno extranjero.

Los empleados de organizaciones que manejan datos confidenciales suelen recibir cierta capacitación sobre el manejo seguro de datos, pero esto no es muy eficaz cuando todos usan navegadores web que pueden tener acceso a cualquier página de Internet mientras manejan esos datos. El aislamiento es la medida de seguridad más eficaz disponible, ya sea mediante el aislamiento de la red o firewalls muy restrictivos, pero eso dificulta el uso de servicios externos de cualquier tipo.

AI local para sistemas sensibles a la latencia y de alta disponibilidad

El software como servicio y la computación en la nube representan un equilibrio entre el costo de ofrecer servicios muy accesibles y confiables en tus propias computadoras y delegar el problema en otra persona. Pero vienen acompañados de latencia variable, interrupciones y una pérdida total de control cuando algo sale mal. Los servicios de AI no son la excepción. Si tu sistema de búsqueda se desconecta cuando no puedes acceder a tu modelo de embeddings, quizá ya no parezca un buen punto medio.

Además, depender de una IA externa siempre implica riesgos que no puedes prever ni gestionar fácilmente. El acceso a Internet y la latencia de la red pueden degradarse sin previo aviso debido a acontecimientos políticos, condiciones meteorológicas adversas o embarcaciones que arrastran sus anclas sobre cables submarinos de fibra óptica. Los gobiernos pueden utilizar prohibiciones de exportación para bloquear repentinamente el acceso a modelos de IA, y de hecho lo han hecho recientemente. Los proveedores de servicios de IA a veces retiran modelos para inducirte a cambiar por otros más nuevos. La flexibilidad y los costos gestionados de los servicios externos deben sopesarse frente a los riesgos de dependencia.

IA local para el cumplimiento del RGPD, HIPAA y la soberanía de los datos

Las organizaciones que recopilan datos personales están sujetas a normativas cada vez más estrictas, que suelen variar según la jurisdicción y pueden tener requisitos contradictorios. Cabe destacar que las normas de HIPAA imponen protecciones de datos muy estrictas a los proveedores de atención médica de Estados Unidos, y las sólidas leyes generales de protección de datos de Canadá, la Unión Europea y muchas jurisdicciones de Asia exigen que todas las empresas que manejan información personal lo hagan de forma segura y limiten la transmisión de esos datos a terceros o a otras jurisdicciones. Estas normas incluso pueden imponer obligaciones a entidades extranjeras si tienen clientes en esas jurisdicciones. Las instituciones financieras suelen estar sujetas a normas aún más estrictas y asumen la misma responsabilidad directa por la seguridad de la información que deben proteger frente a otras formas de actividad delictiva.

El cumplimiento normativo puede ser incompatible con los servicios de IA de terceros, especialmente si usarlos implica la transferencia transfronteriza de datos.

Además, los acontecimientos recientes muestran que las normas que restringen la ubicación física de los almacenes de datos pueden no ser una fuente confiable de protección cuando los operadores internacionales de servicios en la nube están sujetos a presiones de gobiernos extranjeros. Las leyes locales pueden entrar en conflicto entre las distintas jurisdicciones, lo que exige el almacenamiento y procesamiento local de datos e imposibilita el uso de servicios de terceros. En algunos casos, la única solución es aplicar internamente todos tus procesos, incluidos tus sistemas de AI.

Riesgos de responsabilidad de la IA por la transmisión de datos de terceros

Las leyes de protección de datos y los deberes de cuidado reconocidos respecto de los datos confidenciales suelen tener consecuencias en materia de responsabilidad legal, a veces muy graves. Puedes ser responsable del tratamiento que los proveedores de servicios externos hagan de tus datos. Aunque los tribunales y los procedimientos legales podrían ofrecer cierta protección retroactiva frente a proveedores de servicios poco seguros, esos recursos no están disponibles ni suelen ser eficaces contra agentes de seguridad nacional, las fuerzas del orden o hackers criminales.

Para los gobiernos, ya ha habido casos en los que proveedores de servicios de nube transfronterizos divulgaron información estatal sensible a actores extranjeros.

Pero, aunque no te preocupen los gobiernos extranjeros ni los hackers, y aunque tus proveedores externos de servicios de IA sean seguros, el simple hecho de que sean externos puede generar riesgos.

Por ejemplo, en la mayoría de las jurisdicciones, las comunicaciones de los abogados con sus clientes gozan de protecciones legales especiales, y los bufetes de abogados tienen responsabilidades estrictas al registrar o almacenar esta información. En Estados Unidos, este “privilegio abogado-cliente” es tan famoso que ocupa un lugar central en las tramas de películas y series de televisión. Pero una de las formas de perder ese privilegio es comunicar información a alguien que no lo tiene, y los acontecimientos recientes sugieren que los proveedores externos de servicios de IA podrían considerarse como tales.

Es posible, al menos en Estados Unidos, que el simple hecho de usar servicios de IA de terceros a través de una API de internet, como modelos de incrustación que ofrecen servicios de indexación, pueda infringir normas fundamentales de confidencialidad. Un bufete de abogados podría ser demandado, sancionado o perder su licencia para ejercer solo por usar software hospedado externamente, incluso si no se produce ninguna brecha de seguridad.

AI local para sistemas offline, de borde y físicamente aislados

Los sistemas informáticos no solo se aíslan por motivos de seguridad. Por ejemplo, los vehículos en movimiento no pueden depender del acceso a Internet para ninguna función esencial. Las embarcaciones y las aeronaves cuentan con sistemas informáticos muy extensos a bordo que tienen que funcionar sin conexión a Internet y, por lo tanto, no pueden usar servicios de IA externos. Las plataformas marinas, las instalaciones remotas en áreas silvestres y los servicios informáticos en el Ártico, la Antártida y pequeñas islas sin conexiones físicas adecuadas a las redes globales son ejemplos de instalaciones que se benefician de alojar localmente todos los servicios que necesitan. A medida que crece el rol de la IA en la informática empresarial, abordar estas limitaciones se vuelve más importante.

Las aplicaciones emergentes de la IA en sistemas físicos (robótica y otros casos de uso limitados a espacios específicos o centrados en el mundo exterior, como los sistemas de gestión logística o incluso las cajas de supermercado) pueden estar conectadas a la internet global, pero no toleran fallas de conexión ni picos de latencia. Si dependen de un sistema de IA para funcionar, ese sistema de IA debe ser lo más local y confiable posible.

¿Quién no necesita IA local?

Los servicios de software remotos y la IA fuera de las instalaciones sí tienen beneficios. Ejecutar modelos de IA puede requerir procesadores costosos que consumen mucha energía y tienen una vida útil notoriamente corta. El acceso a hardware de alta calidad es particularmente difícil en este momento debido a factores del mercado y a impactos económicos externos. En estas circunstancias, puede tener sentido pagar por token para usar una API externa en lugar de asumir los elevados costos de capital de la IA local.

Las API externas tienen más sentido para los usuarios ocasionales. Si usas modelos de AI principalmente para procesar datos por lotes con fines de análisis, en lugar de ejecutar un sistema de búsqueda que deba estar siempre en línea, tiene poco sentido invertir en hardware que requiere una gran inversión de capital e instalaciones locales.

Además, cuando el procesamiento de tus datos ya se hace en la nube, por ejemplo, en un sitio web de comercio electrónico hospedado en la nube por motivos de confiabilidad y accesibilidad, usar servicios de IA ubicados en la misma infraestructura de nube puede ofrecer una mejor relación calidad-precio que implementar tu propio despliegue de un modelo de IA con licencia. Ya dependes de tu proveedor de servicios en la nube, así que depender de sus servicios de IA no agrega mucho riesgo.

Si tu caso de uso parece encajar con esa descripción, los modelos de Jina AI están disponibles en EIS, AWS Marketplace y Google Cloud Platform, específicamente para satisfacer tus necesidades.

La siguiente tabla resume los factores clave. Tu respuesta depende de tus datos, la infraestructura y tu patrón de uso.

Tienes que considerar los costos y beneficios según tus circunstancias particulares y casos de uso, teniendo en cuenta los problemas destacados en la sección anterior que se aplican a ti. El análisis de costo-beneficio sin duda cambiará con el tiempo. No podemos predecir el futuro de la industria de la IA ni los precios del hardware, ni siquiera a corto plazo.

Presentamos Jina On-Prem

Para los usuarios que pueden beneficiarse de los servicios de IA locales, presentamos Jina On-Prem, una suite de instalación completamente autónoma para los modelos de alto rendimiento de Jina AI.

Los modelos de Jina AI igualan la precisión de los modelos de incrustación muchas veces más grandes, lo que reduce los costos de cómputo, el uso de memoria y los requisitos de hardware. Esto los convierte en una opción ideal para los usuarios que quieren o necesitan mantener su IA localmente. Hay licencias comerciales disponibles con soluciones escalables y precios proporcionales para casos de uso de todas las envergaduras.

¿Qué esquemas de API admite Jina On-Prem?

• Disponible como una colección completa de dependencias para instalación local o como un contenedor docker que puedes instalar y ejecutar en minutos.

• Las instalaciones locales de Jina no realizan llamadas a sistemas externos.

  • No se realiza ninguna llamada a Hugging Face Hub ni a ningún registro de modelos (HF_HUB_OFFLINE=1 y TRANSFORMERS_OFFLINE=1 vienen incorporados).

  • No hay un servidor de licencias.

  • No hay endpoints de telemetría ni de logging.

• Admite hardware tanto de CPU como de GPU, con detección automática de GPU.

• Los 28 modelos de Jina AI ya están disponibles, incluidos los modelos de incrustación multimodales más recientes jina-embeddings-v5-omni y jina-reranker-v3.

• Acceso a través de esquemas de API de IA estándar: Jina API, OpenAI, Cohere, Voyage AI y Gemini. Jina On-Prem es una solución inmediata para aplicaciones creadas a partir de esos esquemas.

• Reemplazo directo de los modelos que ofrece el EIS. Jina On-Prem se integra directamente con los despliegues de Elastic aislados de la red.

Requisitos de hardware para los modelos locales de Jina AI

Los requisitos de hardware varían según el modelo de Jina. La tabla de abajo muestra las recomendaciones para los modelos más recientes con la configuración de GPU. No necesitas nada más potente que una GPU NVIDIA L4, aunque se recomienda una A100 para los modelos de incrustación v5. Nuestro modelo de incrustación más reciente requiere actualmente un mínimo de 8 GB de VRAM.

Si usas más de un modelo a la vez, aumentarán los requisitos de VRAM. Consulta la página de dimensionamiento y hardware para obtener más información.

Cómo instalar Jina On-Prem con Docker

La forma más rápida de comenzar es instalar Docker (si aún no lo has hecho) y seguir las instrucciones de la página Inicio rápido local de Jina.

Hay contenedores Docker preconfigurados para los 28 modelos de Jina. Descarga uno y transfiérelo al destino de instalación, y podrás tener los modelos de Jina AI en funcionamiento en menos de cinco minutos.

Para compilaciones multimodales o personalizadas, o para descargar el conjunto completo de dependencias para instalarlo fuera de un contenedor, sigue los pasos descritos en la guía de empaquetado.

Tu instalación de Jina On-Prem es compatible con todas las funcionalidades de la API de Jina y EIS, así como con la generación de incrustaciones mediante las API de OpenAI, Cohere, Voyage AI y Gemini, por lo que puede integrarse en aplicaciones preexistentes que usan interfaces estándar. Consulta la documentación de la API para obtener más información.

Los modelos de Jina, incluidos los instalados con Jina On-Prem, están disponibles bajo distintas condiciones de licencia. Los modelos más recientes se ofrecen sin costo para uso no comercial bajo una licencia CC BY-NC 4.0. Para obtener una licencia de Jina On-Prem para uso comercial, ponte en contacto con Ventas de Elastic.