Los modelos de IA más potentes se ejecutan en instalaciones cloud remotas con acceso a través de una API web, lo que significa que tienes que confiar en tu proveedor de servicios de IA para la seguridad, la disponibilidad del servicio y los precios estables. No puedes alinear fácilmente las exigencias razonables de confiabilidad, privacidad, costos manejables y una buena gobernanza de datos con un uso de la IA cada vez más potente, sofisticado e intensivo en recursos.

Las regulaciones gubernamentales, los fallos judiciales y las consideraciones comerciales efectuadas en interés de terceros han dado como recientemente derivaron en la restricción del acceso a servicios específicos. Y, aunque puedas cambiar a otros servicios, los modelos de IA no son componentes que se puedan intercambiar simplemente cuando quieras. Las aplicaciones que usan incrustaciones semánticas dependen de tener acceso a los mismos modelos al momento de la búsqueda que al momento de la ingesta de datos. Perder el acceso a tu modelo de incrustación significa que tu sistema de búsqueda se detiene.

Los modelos de precios de AI agravan ese riesgo. Las declaraciones financieras recientes de los principales proveedores de IA dan a los clientes buenas razones para preocuparse por los posibles aumentos de precios. La dependencia de productos con costos impredecibles suma más riesgo a las inversiones en IA intensivas en capital que tal vez no generen retornos claros.

Jina On-Prem es la respuesta de Elastic a estos desafíos.

¿Quién necesita IA local?

El alojamiento local y el control directo sobre tus modelos de IA brindan soporte a una variedad de demandas técnicas, requisitos de la industria e intereses comerciales.

La instalación local reduce lo que pagas a tus proveedores de servicios de IA, pero traslada el costo del hardware y del acceso confiable a tu organización. Dependiendo de tu volumen de uso, simplemente puede ser más económico. Pero hay razones adicionales y apremiantes para considerar ejecutar tu propia IA. Si alguno de los problemas descritos a continuación afecta a tu empresa, considera una solución de IA local como Jina On-Prem. Esta lista no es exhaustiva.

Caso de uso

¿Por qué local?

Ejemplo

Aislado/alta seguridad

Sin transmisión de datos salientes; aislamiento completo de la red

Defensa, inteligencia, investigación clasificada

Cumplimiento normativo

Soberanía de datos; sin transmisión transfronteriza ni exposición a terceros

Atención médica (Ley de Portabilidad y Responsabilidad de los Seguros Médicos [HIPAA]), finanzas, empresas de la UE (Reglamento General de Protección de Datos [RGPD])

Crítico para la latencia

Cero dependencia de red; ninguna tolerancia a las fallas de conexión

Robótica, computación perimetral, vehículos, buques

Previsibilidad de costos

Costo fijo de infraestructura frente a precios por token con tarifas futuras inciertas

Cargas de trabajo de inferencia continua de alto volumen

Reducción de responsabilidad

Sin exposición de datos a terceros; mantiene el privilegio legal y el deber de cuidado

Firmas de abogados, agencias gubernamentales

Por qué los sistemas aislados y protegidos por firewall necesitan IA local

Los sistemas aislados de la red y protegidos por firewall no pueden usar API de IA externas. Jina On-Prem se ejecuta por completo dentro de tu infraestructura sin conexiones salientes.

Para las organizaciones que gestionan datos especialmente confidenciales, las consideraciones de seguridad y privacidad son primordiales. De poco sirve invertir en proteger tus datos confidenciales si inmediatamente se los entregas a un tercero remoto que puede tener una seguridad insuficiente o que podría estar sujeto a las exigencias de un gobierno extranjero.

Los empleados de organizaciones que manejan datos confidenciales suelen recibir cierta capacitación sobre el manejo seguro de datos, pero esto no es muy efectivo cuando todos tienen navegadores web que pueden estar abiertos en cualquier página de Internet mientras manejan esos datos. El aislamiento es la medida de seguridad más efectiva disponible, ya sea mediante aislamiento de red o firewalls muy restrictivos, pero eso dificulta el uso de servicios externos de cualquier tipo.

IA local para sistemas sensibles a la latencia y de alta disponibilidad

El software como servicio y la computación en la nube representan una solución intermedia entre el costo de ofrecer servicios muy accesibles y confiables en tus propias computadoras y delegar el problema a un tercero. Pero vienen con latencia variable, interrupciones y una pérdida total de control cuando las cosas salen mal. Los servicios de IA no son la excepción. Si tu sistema de búsqueda queda fuera de línea cuando no puedes acceder a tu modelo de embedding, es posible que ya no parezca una buena solución intermedia.

Además, confiar en la IA externa siempre implica riesgos que no puedes prever ni gestionar fácilmente. El acceso a internet y la latencia de red pueden degradarse sin previo aviso como resultado de acontecimientos políticos, mal tiempo o barcos que arrastran sus anclas sobre cables de fibra óptica submarinos. Los gobiernos pueden usar prohibiciones de exportación para bloquear repentinamente el acceso a los modelos de IA, y recientemente lo han hecho. Los proveedores de servicios de IA a veces retiran modelos para inducirte a cambiar a otros más nuevos. La flexibilidad y los costos gestionados de los servicios externos deben equilibrarse con los riesgos de la dependencia.

IA local para el cumplimiento del RGPD, la HIPAA y la soberanía de datos

Las organizaciones que recopilan datos están sujetas a normativas cada vez más estrictas que a menudo difieren entre jurisdicciones y pueden imponer requisitos contradictorios. En particular, las reglas de la HIPAA imponen protecciones de datos muy estrictas a los proveedores de salud estadounidenses, y las sólidas leyes generales de protección de datos en Canadá, la Unión Europea y muchas jurisdicciones asiáticas exigen que todas las empresas que manejan información personal lo hagan de manera segura y limiten la transmisión de dichos datos a otras partes u otras jurisdicciones. Estas reglas pueden incluso imponer obligaciones a entidades extranjeras si tienen algún cliente en esas jurisdicciones. Las instituciones financieras suelen estar sujetas a reglas aún más estrictas y asumen la misma responsabilidad directa en cuanto a la seguridad de la información que las que aplican para protegerse contra otras formas de actividad criminal.

El cumplimiento normativo puede ser incompatible con los servicios de IA externos, especialmente si usarlos implica la transmisión transfronteriza de datos.

Además, los eventos recientes muestran que las reglas que restringen la ubicación física de los almacenes de datos pueden no ser una fuente confiable de protección cuando los proveedores de servicios de nube internacionales están sujetos a la presión de gobiernos extranjeros. Las leyes locales pueden entrar en conflicto entre jurisdicciones, lo que exige el almacenamiento y procesamiento local de datos e imposibilita el uso de servicios de terceros. En algunos casos, la única solución es llevar todas las partes de tus procesos de forma interna, incluidos tus sistemas de IA.

Riesgos de responsabilidad de la IA por la transmisión de datos de terceros

Las leyes de protección de datos y los deberes de cuidado reconocidos respecto de los datos confidenciales suelen tener implicaciones de responsabilidad, a veces muy graves. Puedes ser responsable del manejo de tus datos por parte de terceros proveedores de servicios. Si bien los tribunales y los procedimientos legales pueden brindar algunas protecciones retrospectivas frente a proveedores de servicios que no cumplen los requisitos de seguridad, esos recursos no están disponibles ni son generalmente efectivos contra actores de seguridad nacional, las fuerzas de orden público o hackers criminales.

Para los gobiernos, ya ha habido casos de proveedores de servicios de nube transfronterizos que revelan información estatal confidencial a actores extranjeros.

Pero, aunque no te preocupen los gobiernos extranjeros o los hackers, y aunque tus proveedores de servicios de IA externos sean seguros en sí mismos, el solo hecho de que sean externos puede generar responsabilidades.

Por ejemplo, en la mayoría de las jurisdicciones, las comunicaciones de los abogados con sus clientes gozan de protecciones legales especiales, y los despachos de abogados tienen responsabilidades estrictas al grabar o almacenar esta información. En Estados Unidos, este “privilegio abogado-cliente” es tan famoso que es un elemento central en las tramas de películas y series de TV. Pero una de las formas en que ese privilegio se puede perder es comunicando información a alguien que no tiene este privilegio, y los avances recientes sugieren que los proveedores externos de servicios de IA podrían calificar.

Es posible, al menos en Estados Unidos, que el solo uso de servicios de IA de terceros a través de una API de internet, como modelos de incrustaciones que ofrecen servicios para indexar, infrinja reglas críticas de confidencialidad. Un bufete de abogados podría ser demandado, sancionado o inhabilitado tan solo por usar software hospedado externamente, incluso si no ocurre ninguna brecha de seguridad.

IA local para sistemas offline, de borde y aislados físicamente

Los sistemas informáticos no solo se aíslan por razones de seguridad. Por ejemplo, los vehículos en movimiento no pueden depender del acceso a Internet para ninguna función esencial. Los barcos y las aeronaves cuentan con sistemas informáticos a bordo muy amplios que deben funcionar sin conexiones a Internet y, por lo tanto, no pueden usar servicios de IA externos. Las plataformas marítimas, las instalaciones remotas en zonas silvestres y los servicios informáticos en el Ártico, la Antártida y pequeñas islas sin conexiones físicas adecuadas a las redes globales son ejemplos de instalaciones que se benefician de hospedar localmente todos los servicios que necesitan. A medida que aumenta el rol de la IA en la informática empresarial, resulta más importante abordar estas limitaciones.

Las aplicaciones emergentes de la IA a sistemas físicos (robótica y otros casos de uso espacialmente delimitados u orientados al mundo exterior, como sistemas de gestión logística o incluso cajas de supermercado) pueden estar conectadas a la internet global, pero no tienen tolerancia a las fallas de conexión o los picos de latencia. Si dependen de un sistema de IA para funcionar, ese sistema de IA debe ser lo más local y confiable posible.

¿Quién no necesita IA local?

Los servicios de software remotos y la IA fuera de las instalaciones sí tienen beneficios. Ejecutar modelos de IA puede requerir procesadores costosos y de alto consumo de energía con una vida útil notoriamente corta. El acceso a hardware de alta calidad es particularmente difícil en este momento debido a factores del mercado e impactos económicos externos. Dadas las circunstancias, puede tener sentido pagar por token para usar una API externa en lugar de asumir los elevados costos de capital de la IA local.

Las API externas son más útiles para los usuarios intermitentes. Si usas modelos de IA principalmente para procesar datos en batch para análisis, en lugar de ejecutar un sistema de búsqueda que tenga que estar en línea todo el tiempo, tiene poco sentido invertir en hardware con uso intensivo de capital e instalaciones locales.

Además, cuando el procesamiento de tus datos ya en la nube por razones de confiabilidad y accesibilidad, usar servicios de IA ubicados en la misma infraestructura de nube puede ofrecer una mejor relación precio-calidad que introducir tu propio despliegue de modelo de IA con licencia. Ya dependes de tu proveedor de servicios en la nube, por lo que depender de sus servicios de IA no añade mucho riesgo.

Si tu caso de uso se ajusta a esa descripción, los modelos de Jina AI están disponibles en EIS, AWS Marketplace y Google Cloud Platform específicamente para satisfacer tus necesidades.

La tabla a continuación resume los factores clave. La respuesta que obtengas depende de tus datos, infraestructura y patrón de uso.

Factor

Preferentemente local

API de nube preferida

Patrón de uso

Inferencia continua o de alto volumen

Procesamiento intermitente o por batch

Sensibilidad de los datos

Regulado, soberano o clasificado

Sin restricciones transfronterizas ni de terceros

Entorno de red

Aislado, protegido por firewall o poco confiable

Internet estable y siempre activa

Infraestructura actual

Tienes o puedes adquirir hardware de GPU

Ya hospedada en la nube con IA coubicada

Modelo de costos

Hardware fijo + licencia; predecible a escala

Por token; menor costo inicial, variable a largo plazo

Tolerancia a la latencia

Ninguna (robótica, borde, tiempo real)

La variabilidad de la red es aceptable

Responsabilidad operativa

Tu equipo administra el hardware y la disponibilidad

El proveedor gestiona el hardware y las actualizaciones; tú gestionas la integración

Tienes que considerar los costos y beneficios a la luz de tus circunstancias particulares y de tus casos de uso, teniendo en cuenta los problemas destacados en la sección anterior que se apliquen a ti. El análisis costo-beneficio sin duda cambiará con el tiempo. No podemos predecir el futuro de la industria de la IA o los precios del hardware incluso a corto plazo.

Presentamos Jina On-Prem

Para los usuarios que pueden beneficiarse de los servicios de IA locales, presentamos Jina On-Prem, una suite de instalación totalmente independiente para los modelos de alto rendimiento de Jina AI.

Los modelos de Jina AI igualan la precisión de los modelos de incrustación varias veces más grandes, lo que reduce los costos informáticos, la huella de memoria y los requisitos de hardware. Esto los convierte en una opción ideal para los usuarios que quieren o necesitan mantener su IA de forma local. Las licencias comerciales están disponibles con soluciones escalables y de precio proporcional para casos de uso de todas las envergaduras.

¿Qué esquemas de API soporta Jina On-Prem?

• Disponible como una colección completa de dependencias para instalación local o como un contenedor docker que puedes instalar y ejecutar en minutos.

• Las instalaciones de Jina On-Prem no hacen llamadas a sistemas externos.

  • Sin llamadas a Hugging Face Hub ni a ningún registro de modelos (HF_HUB_OFFLINE=1 y TRANSFORMERS_OFFLINE=1 están integrados).

  • No hay un servidor de licencias.

  • No hay endpoints de telemetría o de logging.

• Soporta hardware de CPU y GPU, con autodetección de GPU.

• Todos los 28 modelos de Jina AI disponibles, incluidos los últimos modelos de incrustación multimodal jina-embeddings-v5-omni y jina-reranker-v3.

• Acceso mediante esquemas estándar de API de IA: API de Jina, OpenAI, Cohere, Voyage AI y Gemini. Jina On-Prem es una solución directa para las aplicaciones creadas sobre esos esquemas.

• Reemplazo directo para modelos servidos por el EIS. Jina On-Prem se integra directamente con despliegues de Elastic aislados de la red.

Requisitos de hardware para los modelos locales de Jina AI

Los requisitos de hardware varían para los diferentes modelos de Jina. La tabla de abajo muestra las recomendaciones para los modelos más recientes usando la configuración de GPU. No necesitas nada más potente que una GPU NVIDIA L4, aunque se recomienda una A100 para los modelos de incrustación v5. Nuestro modelo de incrustación más reciente requiere actualmente un mínimo de 8 GB de VRAM.

Modelo

VRAM mínima

GPU recomendada

jina-embeddings-v5-text-nano

2 GB

T4 / L4

jina-embeddings-v5-text-small

3 GB

L4 / A10G

jina-embeddings-v5-omni-small

8 GB

L4 / A10G / A100

jina-reranker-v3

3 GB

L4

jina-clip-v2

4 GB

L4

jina-code-embeddings-1.5b

4 GB

L4

ReaderLM-v2

4 GB

L4

Si usas más de un modelo a la vez, los requisitos de VRAM aumentarán. Consulta la página de Dimensionamiento y hardware para obtener más información.

Cómo instalar Jina On-Prem con docker

La forma más rápida de dar los primeros pasos es instalar docker (si aún no lo has hecho) y seguir las instrucciones de la página Inicio rápido de Jina On-Prem.

Hay contenedores docker preconfigurados para los 28 modelos de Jina. Descarga uno y transfiérelo a tu destino de instalación, y podrás tener modelos de Jina AI ejecutándose en menos de cinco minutos.

Para compilaciones multimodales o personalizadas, o para descargar el conjunto completo de dependencias para la instalación fuera de un contenedor, sigue los pasos descritos en la guía de empaquetado.

Tu instalación de Jina On-Prem brinda soporte para toda la funcionalidad de la API de Jina y de EIS, y para la generación de incrustaciones mediante las API de OpenAI, Cohere, Voyage AI y Gemini, por lo que puede integrarse en aplicaciones preexistentes que usen interfaces estándar. Consulta la documentación de la API para obtener más información.

Los modelos de Jina, incluidos los modelos instalados con Jina On-Prem, están disponibles bajo diversos términos de licencia, y los últimos modelos son gratuitos para uso no comercial bajo una licencia CC BY-NC 4.0. Para adquirir la licencia de Jina On-Prem para uso comercial, ponte en contacto con Ventas de Elastic.

Ahora puedes crear incrustaciones semánticas de alto rendimiento para texto, imágenes, videos y grabaciones de audio, que abarcan casi 100 idiomas, y utilizarlas para clasificar, agrupar, medir la similitud semántica e indexar para recuperar información. Si tus datos se encuentran en archivos PDF, grabaciones y videos junto al texto, ya no necesitas pipelines separados para cada uno.

La familia jina-embeddings-v5-omni es el modelo de incrustación más compacto actualmente en el mercado con soporte para imágenes, voz, impresión y video. Ofrece:

• jina-embeddings-v5-textincrustaciones de texto de clase vanguardia para recuperación, análisis y aplicaciones de agentes de IA.

• Incrustaciones líderes en su categoría de tamaño para similitud semántica visual, comprensión visual y recuperación de imágenes. jina-embeddings-v5-omni-small tiene el mejor rendimiento en benchmarks de imagen de cualquier modelo de la categoría de 1000 millones (10⁹) de parámetros y es superior a nuestro propio jina-clip-v2 anterior. Solo unos pocos modelos que poseen tres a 30 veces más parámetros pueden superarlo.

• Incrustaciones de vanguardia para la comprensión y recuperación visual multilingüe que superan modelos hasta 20 veces más grandes.

• Incrustaciones de audio de los mejores en su categoría de tamaño, con solo modelos que tienen el doble o más de parámetros que logran mejores resultados en las referencias estándar.

• Soporte para video, especialmente para localizar objetos y eventos en el metraje.

Esto tiene aplicaciones en todos los ámbitos de la recuperación de información, el procesamiento de documentos y el análisis de datos. jina-embeddings-v5-omni abre el acceso a la información encerrada en diferentes silos de medios y la pone a disposición para su recuperación, análisis y uso por parte de agentes de IA. La información contenida en grabaciones de audio y video, archivos PDF, escaneos de páginas impresas e infografías tiene el mismo valor que los textos digitalizados en tu ecosistema de datos.

Al igual que jina-embeddings-v5-text, estos modelos vienen en dos tamaños: small y nano. Ambos modelos amplían su equivalente textual con módulos adicionales que admiten entradas de audio y vídeo. Los usuarios pueden seleccionar módulos en el momento de la carga. Además, las extensiones específicas para cada tarea —como la similitud semántica, la clasificación, la agrupación y la recuperación de información— se han implementado como adaptadores compactos de rango bajo (LoRA) y están todas cargadas, así que los usuarios pueden seleccionarlas en el momento de la inferencia.

Ambos modelos son muy compactos. jina-embeddings-v5-omni-small puede ejecutarse en servidores convencionales equipados con GPU y jina-embeddings-v5-omni-nano es lo suficientemente pequeño como para ejecutarse en hardware estándar. Esto representa un gran ahorro potencial en costos de cómputo y hace posible la instalación local con licencia y el procesamiento perimetral, lo que reduce la latencia y aumenta tu control sobre tus propios datos.

La suite v5-omni utiliza técnicas innovadoras de diseño de modelos y machine learning para crear nuevos modelos de incrustación a partir de otros ya entrenados, sin necesidad de volver a entrenarlos. Usamos codificadores de modelos preentrenados y alineados con el lenguaje para medios de audio y video como preprocesadores de entrada para nuestro conjunto de modelos de jina-embeddings-v5-text existente. Los modelos resultantes generan incrustaciones para imágenes y grabaciones de audio que son semánticamente compatibles con las incrustaciones que genera para los textos.

Los modelos v5-omni producen incrustaciones de texto idénticas a las jina-embeddings-v5-text (es decir, jina-embeddings-v5-omni-small con jina-embeddings-v5-text-small; y jina-embeddings-v5-omni-nano con jina-embeddings-v5-text-nano), por lo que puedes extender los repositorios existentes de recuperación de texto a aplicaciones multimedia sin reconstruir tus índices.

Los codificadores integrados derivan de fuentes de código abierto. Para imágenes y video, hemos utilizado codificadores de los modelos Qwen3.5:

• Para jina-embeddings-v5-omni-nano, el codificador SigLIP2 Base ajustado de Qwen3.5-0.8B.

• Para jina-embeddings-v5-omni-small, el codificador SigLIP2 So400m ajustado específicamente a partir de Qwen3.5-2B.

• Para soporte de audio, agregamos el codificador de Whisper-large-v3, extraído de Qwen2.5-Omni-7B, tanto a la versión pequeña como a la nano.

Hemos conectado estos codificadores específicos para cada tipo de medio a la columna vertebral de procesamiento de texto mediante proyectores multimodales entrenados. Estos proyectores traducen sus salidas nativas a incrustaciones de entrada compatibles con jina-embeddings-v5-text. Las únicas partes recién entrenadas de los modelos jina-embeddings-v5-omni son los pesos en esos proyectores.

Esta arquitectura significa que solo necesitamos entrenar los proyectores entre modelos, aproximadamente 5.5 millones de parámetros para jina-embeddings-v5-omni-small y menos de 3.5 millones para jina-embeddings-v5-omni-nano, para cada uno de los cuatro adaptadores LoRA. Este enfoque reduce al mínimo el entrenamiento adicional necesario para conectar diferentes modelos de incrustación, y aprovecha el entrenamiento específico de cada uno de ellos para crear un conjunto de incrustaciones modular, extremadamente compacto y de alto rendimiento.

Propiedades del modelo seleccionado

Entrada/salida

Nombre del modelo

Tamaño de la ventana de contexto de entrada

Tamaño de incrustación

jina-embeddings-v5-omni-small

32,768 tókenes*

1024 dims (mínimo: 32)

jina-embeddings-v5-omni-nano

8,192 tókenes*

768 dims (mínimo: 32)

* Consulta Uso de jina-embeddings-v5-omni a continuación para obtener más información sobre cómo se tokenizan los medios que no son de texto.

Tamaño

Nombre del modelo

Tamaño total

jina-embeddings-v5-omni-small (modelo base de solo texto + 4 adaptadores LoRA)

700 millones de parámetros

Soporte de imagen/video (codificador SigLIP2 So400m extraído de Qwen3.5-2B)

1.006 millones de parámetros

soporte de audio (codificador Whisper-large-v3 extraído de Qwen2.5-Omni-7B)

1.354 millones de parámetros

ambos

1.660 millones de parámetros

Adaptadores LoRA (cada uno)

20M

jina-embeddings-v5-omni-nano (modelo base de solo texto + 4 adaptadores LoRa)

266M parámetros

soporte de imagen/video (codificador SigLIP2 Base extraído de Qwen3.5-0.8B)

354M parámetros

soporte de audio (codificador Whisper-large-v3 extraído de Qwen2.5-Omni-7B)

916M parámetros

ambos

1 004 millones de parámetros

Adaptadores LoRA (cada uno)

7M

* Consulta Uso de jina-embeddings-v5-omni a continuación para obtener más información sobre cómo se tokenizan los medios que no son de texto.

Capacitación específica por tarea

La familia de jina-embeddings-v5-omni admite los mismos adaptadores LoRA específicos para tareas que jina-embeddings-v5-text:

Tarea

Ejemplos de usos

Recuperación

Recuperación de información, por sí sola o en conjunto con otras técnicas de recuperación y evaluación de candidatos. Con los modelos v5-omni, puedes recuperar audio, video e imágenes en una sola búsqueda desde un solo índice.

Agrupación

Descubrimiento de temas y organización automática de temas en todos los medios.

Clasificación

Categorización, análisis de sentimiento y tareas relacionadas.

Similitud semántica

Deduplicación de datos en medios, sistemas de recomendación, medios relacionados, búsqueda de textos que coincidan con el discurso, identificación de traducciones y tareas similares.

Las representaciones de salida dependen de la categoría de tarea seleccionada. Por ejemplo, no deberías usar representaciones orientadas a recuperación para agrupar o representaciones de similitud semántica para clasificación.

Multimedia, multimodal, multilingüe, multifuncional

Para mostrar lo que jina-embeddings-v5-omni puede hacer, tomemos los famosos pasajes iniciales de dos novelas y midamos su similitud semántica:

A Tale of Two Cities (Charles Dickens)

Pride and Prejudice (Jane Austen)

Si se usa jina-embeddings-v5-omni-small, con su adaptador de similitud semántica, estos textos tienen una similitud de 0,5329.

Ese número no significa mucho sin algo con qué compararlo, así que comparemos estos dos textos con sus traducciones al francés usando el mismo modelo y adaptador:

Puntuaciones de similitud semántica para textos en diferentes idiomas

A Tale of Two Cities (inglés)

Pride and Prejudice (inglés)

Tale of Two Cities (francés) (París y Londres en 1783, tr. H. Loreau)

0.9095

0.5074

Orgullo y prejuicio (francés) (Orgueil et Préjugés, tr. Leconte et Pressoir)

0.4826

0.8784

Los dos textos se parecen mucho más a sus traducciones que a otros textos del mismo idioma o de otro idioma. Esto refleja el rendimiento muy alto de las incrustaciones semánticas multilingües de jina-embeddings-v5-text-small, incluidas sin cambios en jina-embeddings-v5-omni-small.

Si se agrega soporte multimedia a jina-embeddings-v5-omni significa que podemos extender este experimento a otros tipos de datos. Por ejemplo, obtuvimos escaneos de las primeras páginas de ambas novelas de ediciones impresas antiguas:

Figura 2: A Tale of Two Cities, edición no fechada del siglo XIX, y Pride and Prejudice, edición Macmillan de 1903.

Comparemos ambos textos con los escaneos, usando de nuevo el adaptador de similitud semántica:

Puntuaciones de similitud semántica entre textos e imágenes

Historia de dos ciudades (escaneo)

Pride and Prejudice (escaneo)

Tale of Two Cities (texto)

0.7336

0.4891

Orgullo y prejuicio (texto)

0.4804

0.7213

Observarás que las puntuaciones de similitud semántica favorecen fuertemente a los textos que coinciden con el contenido de las imágenes.

También podemos comparar los textos con una captura de pantalla de una publicación en redes sociales y un meme que hacen referencia a esos textos, usando la misma configuración:

Figura 3: Un tuit de Elon Musk haciendo referencia a A Tale of Two Cities y un meme haciendo referencia al famoso inicio de Pride and Prejudice.

Puntuaciones de similitud semántica entre textos e imágenes

A Tale of Two Cities

Pride and Prejudice

Tweet de Musk (imagen)

0.7156

0.4912

Meme «Keep calm» (imagen)

0.4555

0.6244

Podemos hacer lo mismo con la voz. Obtuvimos grabaciones de lecturas de ambos textos, en inglés y en francés:

• A Tale of Two Cities (audio en inglés de Librivox).

• Una historia de dos ciudades (audio en francés generado por OmniVoice AI).

• Orgullo y prejuicio (audio en inglés de Librivox).

• Pride and Prejudice (audio en francés generado por OmniVoice AI).

Puntuaciones de similitud semántica entre textos y audio en diferentes idiomas

A Tale of Two Cities (audio en inglés)

A Tale of Two Cities (audio en francés)

Pride and Prejudice (audio en inglés)

Pride and Prejudice (audio en francés)

A Tale of Two Cities (Texto en inglés)

0.3816

0.3106

0.1607

0.1774

A Tale of Two Cities (texto en francés)

0.3528

0.3253

0.1598

0.1721

Pride and Prejudice (texto en inglés)

0.1910

0.1682

0.3511

0.3398

Orgullo y prejuicio (texto en francés)

0.1667

0.1474

0.3018

0.3702

Esta capacidad multilingüe y multimedia se extiende a la recuperación de información.

Los adaptadores de recuperación de los modelos de jina-embeddings-v5-omni implementan recuperación asimétrica. Esto significa que generan incrustaciones de las búsquedas de forma distinta a las incrustaciones de los documentos objetivo de recuperación; por eso, las búsquedas multimodales siempre tienen una dirección, con búsquedas en un archivo multimedia y documentos en otra y la puntuación cambia si se invierten.

Las tablas a continuación muestran las puntuaciones de recuperación para texto, audio e imágenes de escaneo de página para A Tale of Two Cities y Pride and Prejudice, cuando el texto de A Tale of Two Cities (en inglés) se codifica como la búsqueda:

Texto a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en francés)

0.7597

Pride and Prejudice (fragmento del texto en inglés)

0.1482

Pride and Prejudice (extracto de texto en francés)

0.0523

Texto a imagen

Documento

Puntuación de recuperación

A Tale of Two Cities (Escaneo de página en inglés)

0.5517

A Tale of Two Cities (Escaneo de página en francés)

0.3576

Orgullo y prejuicio (escaneo de página en inglés)

0.1917

De texto a audio

Documento

Puntuación de recuperación

A Tale of Two Cities (audio en inglés)

0.3277

A Tale of Two Cities (audio en francés)

0.1980

Pride and Prejudice (audio en inglés)

0.1419

Pride and Prejudice (audio en francés)

0.1759

Los usuarios también pueden ejecutar la búsqueda al revés, es decir, realizar búsquedas de audio a texto y de imagen a texto.

A continuación se muestran las puntuaciones utilizando el audio en inglés de A Tale of Two Cities como búsqueda y varios textos como documentos:

De imagen a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en inglés)

0.3352

A Tale of Two Cities (extracto de texto en francés)

0.2650

Pride and Prejudice (fragmento del texto en inglés)

0.1626

Pride and Prejudice (extracto de texto en francés)

0.1385

Y las puntuaciones usando un escaneo de la página uno de A Tale of Two Cities (en inglés) como búsqueda:

De audio a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en inglés)

0.5304

A Tale of Two Cities (extracto de texto en francés)

0.4845

Pride and Prejudice (fragmento del texto en inglés)

0.1467

Pride and Prejudice (extracto de texto en francés)

0.0761

Búsqueda de vídeos

Las capacidades de jina-embeddings-v5-omnipara la indexación y la búsqueda de video aportan nuevas funcionalidades a las bases de datos de Elasticsearch, pero están sujetas a muchas de las mismas advertencias que aplican a los textos. Generar una única incrustación para una película larga es como incrustar una novela muy larga: la información detallada se verá inundada y la incrustación resultante será una buena coincidencia para muchas búsquedas irrelevantes.

Si incorporas el texto completo de "Lord of the Rings" (unas 500 000 palabras), es probable que sea una coincidencia buena para la mayoría de las búsquedas, sin importar lo que estés buscando. Del mismo modo, si indexas una película de Hollywood de dos horas, obtendrás muchas coincidencias irrelevantes y detalles que se pierden por completo. jina-embeddings-v5-omni es óptimo con clips cortos.

Para este ejemplo, descargamos el tráiler de la película de 1961 Breakfast At Tiffany’s, que dura solo 158 segundos y es de dominio público. Puedes ver el tráiler en Internet Archive.

Figura 4: El póster teatral para Breakfast at Tiffany’s.

Usamos PySceneDetect para dividir el tráiler en 28 escenas individuales, con duraciones que van desde los 1.877 segundos (45 fotogramas) hasta los 18.393 segundos (441 fotogramas). La detección de escenas no es perfecta, pero ofrece un mecanismo adecuado para dividir el video en fragmentos más pequeños que faciliten su búsqueda. Luego generamos representaciones de documentos para cada uno de los 28 segmentos, usando jina-embeddings-v5-omni-small, para poder comprobar si las búsquedas de texto servían para encontrar elementos específicos en el video.

Por ejemplo, la búsqueda de “gato” devolvió los siguientes clips como los tres resultados principales. La única escena con un gato está en la parte superior, con una puntuación de 0.1634:

Mira el clip uno.

La siguiente coincidencia más alta, con una puntuación de 0.1237, es mucho más baja:

Mira el clip 2.

También puedes hacer búsquedas de acciones. Si haces una búsqueda con el texto "beso", las cuatro primeras coincidencias contienen todas besos:

Mira el clip 3. Su puntuación es 0.2864.

Puntuaciones: Para la segunda coincidencia (0.2494), tercera coincidencia (0.2099) y cuarta coincidencia (0.2068), respectivamente

Y puedes buscar el texto que se muestra en los videos, como “Buddy Ebsen”, que solo aparece una vez. jina-embeddings-v5-omni-small lo identifica fácilmente como la mejor coincidencia con una puntuación de 0.3885, considerablemente más alta que la siguiente mejor coincidencia:

Clip de Buddy Ebsen.

Recuperación visual de documentos

Los modelos de incrustación multimodal de Jina AI son líderes en el procesamiento de documentos visuales y están a la vanguardia en el procesamiento de documentos visuales multilingües. Esto significa manejar datos de imágenes que contienen texto, figuras e información estructurada. Los datos importantes suelen estar en forma de escaneos impresos, archivos PDF, diagramas, dibujos técnicos, capturas de pantalla, imágenes, infografías y similares. Estos tipos de imágenes a menudo son compuestas mecánicamente o generadas por computadora. No suelen poder reducirse a texto sin pérdida de significado y son poco adecuados para los modelos de visión computacional diseñados para la fotografía de escenas naturales.

jina-embeddings-v5-omniLas incrustaciones abarcan información sobre las cosas en la imagen, el texto impreso en ellas y las relaciones entre ambos. La recuperación visual de documentos hace posible indexar imágenes enriquecida que contienen tanto objetos como texto relevante y hacerlo a través de diferentes idiomas.

A modo de ejemplo, vamos a usar cuatro imágenes de productos de diferentes sitios web de comercio electrónico:

Ahora, veamos qué tan bien jina-embeddings-v5-omni-small puntúa estas cuatro imágenes para la búsqueda «fideos ramen»:

Sopa de pollo con trozos de Campbell’s (envase canadiense)

Kraft Dinner (envase canadiense)

Ramen Maruchan fresco con sabor a miso (envase japonés)

Birkel Spaghetti (embalaje alemán)

0.0872

0.0711

0.1123

0.0886

Fácilmente encuentra la coincidencia japonesa.

Ahora, intentemos una búsqueda para «マカロニチーズ» (macarrones con queso en japonés):

Sopa de pollo con trozos de Campbell’s (envase canadiense)

Kraft Dinner (envase canadiense)

Ramen Maruchan fresco con sabor a miso (envase japonés)

Birkel Spaghetti (embalaje alemán)

0.2207

0.3487

0.2760

0.2674

Encuentra la coincidencia correcta con la misma facilidad que una búsqueda en inglés.

jina-embeddings-v5-omni también sobresale en la interpretación de imágenes con abundante información, como los gráficos. Para ver esto en acción, mira estos dos gráficos de barras:

Dos gráficos, Gráfico 1 a la izquierda, sobre la carga mundial de enfermedad, y Gráfico 2 a la derecha, sobre la esperanza de vida de las razas de perros.

Veamos qué tal se adaptan a dos posibles preguntas de texto, cada una de ellas relacionada con uno de los gráficos, pero no con ambos, utilizando jina-embeddings-v5-omni-small para la búsqueda:

Pregunta de texto

Gráfico 1

Gráfico 2

“¿Cuáles son algunos de los problemas médicos más comunes para las personas mayores?”

0.2787

0.1099

“¿Cuánto tiempo viven los perros?”

0.1350

0.3564

También puedes revertir la búsqueda, usando imágenes como búsquedas para encontrar textos. La tabla a continuación muestra los documentos objetivo extraídos de los resúmenes de artículos científicos relacionados con el tema y sus puntuaciones de recuperación, utilizando las imágenes del gráfico como búsquedas:

Texto 1

Texto 2

La salud de las poblaciones que viven en la pobreza extrema ha sido desde hace tiempo un tema central de los esfuerzos de desarrollo a nivel mundial, y sigue siendo una prioridad en la era de los Objetivos de Desarrollo Sostenible. Sin embargo, no ha habido un intento sistemático de cuantificar la magnitud y las causas de la carga en esta población específica por casi dos décadas. Hemos estimado las tasas de enfermedades por causa en los mil millones de personas más pobres del mundo y comparamos estas tasas con las de las poblaciones de ingresos altos.

El perro de compañía es una de las especies fenotípicamente más diversas. La variabilidad entre razas no solo se extiende a la morfología y a aspectos del comportamiento, sino también a la longevidad. A pesar de ello, pocos estudios se han dedicado a evaluar la variación en la esperanza de vida entre razas o el potencial de caracterización filogenética de la longevidad.

Gráfico 1

0.2377

0.1357

Gráfico 2

0.0673

0.3576

Características

Incrustaciones truncables

Entrenamos los modelos base jina-embeddings-v5-text que sustentan jina-embeddings-v5-omni con Aprendizaje de representación Matryoshka, para que puedas truncar tanto las incrustaciones de texto como las de multimedia de estos modelos.

De forma predeterminada, jina-embeddings-v5-omni-small genera incrustaciones con 1024 dimensiones, lo que toma 2 KB para almacenarse con una precisión de 16 bits. Las incrustaciones de jina-embeddings-v5-omni-nanotienen 768 dimensiones y ocupan aproximadamente 1.5KB. Puedes reducir el tamaño de estas incrustaciones a 32 dimensiones (64 bytes), lo que supone una cierta pérdida de precisión, pero a cambio obtienes una gran mejora en la velocidad de procesamiento y una reducción en los costos de recursos. En general, reducir el tamaño de las incrustaciones a la mitad disminuye la precisión en un 2 %, hasta llegar a 128 dimensiones; por debajo de ese nivel, la precisión cae mucho más rápido.

Las incrustaciones truncables permiten a los usuarios decidir el equilibrio óptimo entre precisión, velocidad y costo, según sus propios casos de uso.

Cuantificación

La familia de jina-embeddings-v5-omni también hereda un rendimiento sólido bajo cuantización de la base de jina-embeddings-v5-text. Esto aumenta aún más la velocidad y reduce los costos de cálculo y almacenamiento al almacenar números menos precisos. Los capacitamos para trabajar con Better BinaryQuantization(BBQ) de Elasticsearch para ofrecer un rendimiento casi idéntico a las incrustaciones no cuantizadas. En el conjunto de referencias de recuperación Massive Text Embedding Benchmark (MTEB), la binarización reduce el rendimiento en menos de un 3 % en comparación con los valores completos de 16 bits, a la vez que ahorra el 93 % del espacio y aumenta significativamente las velocidades de procesamiento y recuperación.

Rendimiento entre idiomas

jina-embeddings-v5-textEl extenso entrenamiento multilingüe se traslada a jina-embeddings-v5-omni, con casi 100 idiomas en el preentrenamiento de jina-embeddings-v5-text-smally 15 idiomas globales principales en el de jina-embeddings-v5-text-nano. Para medios de audio, el modelo Whisper-large-v3 cuenta con aproximadamente 100 idiomas en su entrenamiento, y los modelos de visión SigLip2 modificados por Qwen integrados en jina-embeddings-v5-omni-small y -nano fueron entrenados con datos de 201 lenguas y dialectos distintos.

Rendimiento de referencia

Texto

jina-embeddings-v5-omni los modelos son idénticos a los modelos de jina-embeddings-v5-text cuando se usan solo para texto. Son los de mejor rendimiento en el conjunto de referencias MMTEB en sus respectivas categorías de tamaño para incrustaciones de texto semánticas.

Figura 5: Tamaño y rendimiento de jina-embeddings-v5-omnien puntos en referencias de texto, en comparación con los modelos de la competencia. El tamaño citado no tiene extensiones de carga para otros medios.

Similitud semántica visual

En las referencias estándar de similitud semántica visual, jina-embeddings-v5-omni obtiene las mejores puntuaciones entre los modelos de tamaño comparable. Los modelos jina-embeddings-v5-omni muestran, con diferencia, el mejor rendimiento entre los modelos públicos de pesos abiertos de tamaño comparable. jina-embeddings-v5-omni-small solo es superado por un modelo tres veces más grande en tareas de similitud semántica visual, y jina-embeddings-v5-omni-nano solo es superado por jina-embeddings-v5-omni-small y por modelos entre 10 y 25 veces más grandes.

Figura 6: Puntuaciones promedio de referencia de similitud semántica visual para jina-embeddings-v5-omni-small, jina-embeddings-v5-omni-nano y modelos comparables, así como sus tamaños incluyendo extensiones de visión.

Recuperación visual de documentos

jina-embeddings-v5-omni-small es competitivo con modelos de tres y siete mil millones de parámetros, mientras se mantiene por debajo de mil millones de parámetros. jina-embeddings-v5-omni-nano destaca igualmente por su tamaño y supera a modelos diez a sesenta veces más grandes.

Figura 7: Puntuaciones medias de ViDoRe en la recuperación visual de documentos en seis referencia: DocVQA, InfoVQA, ShiftProj, SynAI, Tabfquad y TatDQA.

Recuperación de audio

En las referencias estándar de recuperación de audio MAEB (Massive Audio Embedding Benchmark), tanto jina-embeddings-v5-omni-small como jina-embeddings-v5-omni-nano se clasifican entre los mejores rendimientos. Solo modelos muy grandes —más de tres veces más grandes que jina-embeddings-v5-omni-small — superaban su puntuación.

Figura 8: Puntuación media para varios modelos en las referencias de recuperación de audio MAEB.

Aunque el modelo larger_clap_general de LAION mejora el puntaje de jina-embeddings-v5-omni-nano con menos parámetros, es un modelo solo de audio sin ninguna de las características multimodales adicionales de la suite v5-omni.

Video

En video, jina-embeddings-v5-omni-small sobresale en encontrar el lugar en un video que coincida con una búsqueda de texto. Las pruebas Charades-STA y MomentSeeker son las referencias estándar para esta tarea, y puedes ver en los gráficos a continuación que jina-embeddings-v5-omni-small es el que obtuvo la puntuación más alta entre los modelos de peso abierto comparables, a pesar de tener un tamaño mucho más pequeño.

Figura 9: puntuaciones de Charades-STA para varios modelos, junto con sus tamaños.

Figura 10: puntuaciones de MomentSeeker para varios modelos, junto con sus tamaños.

También comparamos jina-embeddings-v5-omni-small con Seed 1.6 de ByteDance, un modelo de peso cerrado con un número de parámetros no revelado. Nuestro modelo supera ampliamente a Seed 1.6 en la referencia de Charades-STA y casi lo iguala en MomentSeeker.

Modelo

Puntuación Charades-STA

Puntuación MomentSeeker

seed-1.6-embedding

29.30

59.30

jina-embeddings-v5-omni-small

55.57

58.93

Fortalezas y limitaciones

jina-embeddings-v5-omni los modelos amplían la capacidad de los usuarios para indexar, buscar y analizar información digitalizada de varias maneras, particularmente:

• Recuperación de voz multilingüe a partir de búsquedas de texto.

• PDF, escaneos y búsqueda visual de documentos.

• Localización temporal de videos, es decir, identificar partes de videos que coinciden con descripciones de texto en lenguaje natural.

• Clasificación de géneros de audio, incluyendo géneros musicales.

• Clasificación de imágenes basada en información de escena e identificación de objetos.

El rendimiento es más limitado en algunas otras áreas. Puede que sea posible usar jina-embeddings-v5-omni para realizar estas tareas, pero no nos capacitamos para ellas y los resultados pueden ser pobres.

Estamos trabajando activamente en mejorar nuestra tecnología en estas áreas:

• Encontrar videos específicos a partir de descripciones en lenguaje natural.

• Similitud semántica de imagen a imagen y recuperación.

• Clasificación de intención en la voz, como el reconocimiento de comandos verbales.

• Procesamiento de entradas de medios mixtos, es decir, imágenes y texto acompañantes, o audio, imágenes y textos combinados.

Usando jina-embeddings-v5-omni

Esta suite de modelos admite la entrada a través de tres puntos de entrada: texto, audio e imágenes y video juntos. jina-embeddings-v5-omni se ejecuta dentro de un marco de trabajo que convierte una amplia gama de formatos estándar y realiza otros preprocesamientos.

Procesamos imágenes usando el mismo enfoque de NaFlex de la versión inicial de Siglip2: si la entrada es menor que 262,144 píxeles (equivalente a 512x512), se ampliará hasta que sea mayor que ese mínimo; y si es mayor que 3,072,000 píxeles, entonces se reduce hasta que sea menor que ese máximo. El proceso de conversión garantiza que tanto la altura como el ancho de la imagen sean múltiplos de 14 píxeles, con la menor distorsión posible de la relación de aspecto para lograr ese objetivo. El resultado se divide en mosaicos de 28x28 píxeles, por lo que el número total de mosaicos es la cantidad de cuadrados de 28x28 necesarios para cubrir la imagen. Cada parche se trata como un solo token en el momento de la inferencia, y cada entrada de imagen va acompañada de tokens especiales de inicio y fin para delimitar una sola imagen.

Los modelos jina-embeddings-v5-omni modifican la resolución del video de la misma manera que se modifican las imágenes (ver arriba) y extraemos hasta 32 fotogramas del video. Si el video tiene más de 32 fotogramas (lo cual es probable, ya que los formatos estándar suelen ser de al menos 24 fotogramas por segundo), espaciamos uniformemente los fotogramas que extraemos. Luego, por cada dos fotogramas, el preprocesador de video genera un conjunto de tokens igual al número de cuadrados de 28x28 necesarios para cubrir el video.

Figura 11: jina-embeddings-v5-omni extrae 32 fotogramas equidistantes del video. Si tienes un video largo, esto significa que se perderá mucho.

Para obtener más detalles sobre el preprocesamiento de video, consulta la documentación técnica de SigLip2.

La tokenización de audio sigue el enfoque integrado en Qwen-2.5-Omni: Los archivos de audio se cortan en segmentos de 30 segundos; si duran más de 30 segundos, se remuestrean a 16 kHz y se transforman en un espectrograma Mel de 128 canales. Cada 40 ms se considera un solo token, así que cada segmento de 30 segundos se maneja como 750 tokens: un token por cada 40 ms de audio, más tokens especiales de inicio y fin para delimitar una sola muestra.

Para más detalles sobre el preprocesamiento de audio, consulta el reporte técnico de Qwen-2.5-Omni.

Disponibilidad

Tanto jina-embeddings-v5-omni-small como jina-embeddings-v5-omni-nano están disponibles en el Servicio de inferencia de Elastic (EIS), a través de la API de Jina y para instalación local mediante descarga (small y nano). Los pesos del modelo se distribuyen libremente para probar bajo una licencia no comercial. Ponte en contacto con Ventas de Elastic para uso comercial.

Primeros pasos

Para usar jina-embeddings-v5-omni para texto, puedes integrar usando el campo semantic_text igual que con jina-embeddings-v5-text. Solo tienes que poner la inference_id en .jina-embeddings-v5-omni-small o .jina-embeddings-v5-omni-nano. Consulta la Guía de referencia para las instrucciones.

Para incrustar otros medios con jina-embeddings-v5-omni, tienes que usar la API de inferencia. Por ejemplo:

Para jina-embeddings-v5-omni-nano, cambia el URI de POST a _inference/embedding/.jina-embeddings-v5-omni-nano.

Para codificar documentos en otros formatos o generar incrustaciones para la clasificación o el agrupamiento, debes crear un endpoint de inferencia con el servicio jinaai.

Para las búsquedas, usa el generador de búsquedas como en el ejemplo que aparece a continuación. Sustituye el valor inference_id por .jina-embeddings-v5-omni-nano para usar el modelo nano en lugar de small.

Consulta la documentación sobre el generador de búsquedas para obtener más información.

Para usar BBQ con jina-embeddings-v5-omni, sigue las instrucciones para la indexación de BBQ.

Más información

Para obtener más información sobre jina-embeddings-v5-omni, consulte el reporte técnico y la página del modelo en el sitio web de Jina AI. La página de la colección jina-embeddings-v5-omni en Hugging Face también contiene información técnica e instrucciones para descargar y ejecutar estos modelos localmente. Los modelos de jina-embeddings-v5-omni pueden descargarse con una licencia CC-BY-NC-4.0, por lo que puedes probarlos libremente, pero, para uso comercial, ponte en contacto con el departamento de ventas de Elastic.

La familia incluye dos modelos:

• jina-embeddings-v5-text-small

• jina-embeddings-v5-text-nano

Estos modelos son el resultado exitoso de una receta de entrenamiento innovadora para modelos de incrustación. Ambos superan a modelos varias veces más grandes, lo que genera ahorros en memoria y recursos informáticos y responde más rápido a las solicitudes.

El modelo jina-embeddings-v5-text-small tiene 677 millones de parámetros, admite una ventana de contexto de entrada de 32 768 tokens y produce incrustaciones de 1024 dimensiones por defecto.

jina-embeddings-v5-text-nano Pesa aproximadamente un tercio del tamaño de su hermano, con 239 millones de parámetros y una ventana de contexto de entrada de 8192 tokens, lo que produce incrustaciones compactas de 768 dimensiones.

Nombre del modelo

Tamaño total

Tamaño de la ventana de contexto de entrada

Tamaño de incrustación

jina-v5-text-small

677M parámetros

32768 tokens

1024 dimensiones

jina-v5-text-nano

239M parámetros

8192 tokens

768 dimensiones

Estos dos modelos son los mejores en su categoría en cuanto al rendimiento general en la evaluación comparativa MMTEB (MTEB multilingüe). Entre los modelos con menos de 500 millones de parámetros, jina-embeddings-v5-text-nano es el de mejor rendimiento, a pesar de tener menos de 250 millones de parámetros, y el modelo jina-embeddings-v5-text-small es el líder entre los modelos de incrustación multilingüe con menos de 750 millones de parámetros.

Estos modelos están disponibles a través del Elastic Inference Service (EIS), mediante una API en línea y están disponibles para alojamiento local. Para obtener instrucciones sobre cómo acceder a los modelos jina-embeddings-v5-text, consulta la sección “Primeros pasos” a continuación.

Los modelos de incrustación y la indexación semántica aumentan considerablemente la precisión de los algoritmos de búsqueda, pero también tienen otros usos para tareas relacionadas con la similitud semántica y la extracción de significado, por ejemplo:

• Búsqueda de textos duplicados.

• Reconocimiento de paráfrasis y traducciones.

• Descubrimiento de temas.

• Motores de recomendación.

• Análisis de sentimiento e intención.

• Filtrado de spam.

• Y muchos otros.

Características

Esta nueva familia de modelos cuenta con varias características diseñadas para mejorar la relevancia y reducir costos.

Optimización de tareas

Optimizamos los modelos jina-embeddings-v5-text para cuatro tipos generales de tareas:

Tarea

Ejemplos de casos de uso

Recuperación

Buscar con consultas en lenguaje natural y recuperar las coincidencias más relevantes en una colección de documentos.

Coincidencia de texto

Similitud semántica, deduplicación, paráfrasis y alineación de traducciones, y mucho más.

Agrupación

Descubrimiento de temas, organización automática de colecciones de documentos.

Clasificación

Categorización de documentos, detección de sentimientos e intenciones, tareas similares.

La optimización para una tarea suele implicar tener que renunciar a otra, por lo que la mayoría de los modelos de incrustación solo tienen un rendimiento competitivo para un tipo de tarea. Pero los modelos jina-embeddings-v5-text pueden especializarse en las cuatro áreas sin comprometer el entrenamiento de adaptadores de Low-Rank Adaptation (LoRA) específicos para cada tarea.

Los adaptadores de LoRA son un tipo de plugin para un modelo de AI que cambia drásticamente su comportamiento y solo aumenta ligeramente el tamaño total. En lugar de tener un modelo completo para cada tarea, cada uno con cientos de millones de parámetros, la familia de modelos jina-embeddings-v5-text te permite usar solo un modelo con un adaptador de LoRA compacto para cada tarea. Esto ahorra memoria, espacio de almacenamiento y costos de inferencia.

Incrustaciones truncadas

Entrenamos los modelos jina-embeddings-v5-text utilizando Aprendizaje de representación de Matryoshka, que te permite reducir tus incrustaciones a tamaños más pequeños con un costo mínimo para su calidad.

Por defecto, jina-embeddings-v5-text-small genera vectores de incrustación de 1024 dimensiones, cada uno representado por un número de 16 bits, lo que hace que cada incrustación tenga 2 KB de tamaño. En el caso de una gran colección de documentos, esto puede suponer una gran cantidad de datos que almacenar, y la búsqueda en una base de datos vectorial llena de incrustaciones es proporcional tanto al tamaño de la base de datos como al número de dimensiones que tiene cada vector almacenado.

Pero puedes simplemente reducir a la mitad el tamaño de las incrustaciones (desechar 512 de las 1024 dimensiones) y ocupar la mitad del espacio mientras duplicas las velocidades de búsqueda. Esto tiene un impacto en el rendimiento. Eliminar parte de la información reduce la precisión. Sin embargo, como muestra el grafo siguiente, incluso al eliminar la mitad de la incrustación, el rendimiento solo se reduce ligeramente:

Siempre y cuando tus incrustaciones tengan al menos 256 dimensiones, la pérdida de precisión debería ser bastante pequeña. Sin embargo, por debajo de ese nivel, la relevancia y la precisión se deterioran rápidamente.

Las incrustaciones truncadas como esta permiten a los usuarios gestionar sus propias compensaciones entre precisión y costos de computación. Te dan las herramientas para obtener grandes ganancias de eficiencia y grandes ahorros de costos de tu AI de búsqueda.

Cuantización robusta

La cuantización es otra forma de reducir el tamaño de las incrustaciones. En lugar de desechar parte de cada incrustación, la cuantización reduce la precisión de los números en la incrustación. Los modelos jina-embeddings-v5-text generan incrustaciones con números de 16 bits, pero podemos redondear esos números, reduciendo su precisión y la cantidad de bits necesarios para almacenarlos. En el caso más extremo, podemos reducir cada número a un bit (0 o 1), comprimiendo las incrustaciones predeterminadas de 1024 dimensiones jina-embeddings-v5-textde 2 kilobytes a 128 bytes, una reducción del 94 % solo por cuantización binaria. Al igual que para el truncamiento, esto produce grandes ahorros en memoria y costos de computación. Sin embargo, al igual que el truncamiento, la cuantización reduce la precisión de las incrustaciones.

Entrenamos los modelos de jina-embeddings-v5-text para que funcionen con Better Binary Quantization de Elasticsearch al minimizar esa pérdida de precisión, y las pruebas de evaluación comparativa de incrustaciones binarizadas de estos modelos muestran un rendimiento casi igual al de sus equivalentes no binarizados. Consulta el reporte técnico para obtener estudios detallados sobre el rendimiento de la binarización.

Rendimiento multilingüe

Muchos modelos de incrustación son multilingües porque se entrenaron con materiales que incluyen un gran número de idiomas. Pero eso no significa que todos funcionen igual de bien en todos los idiomas compatibles.

Identificamos 211 idiomas en la evaluación comparativa multilingüe MMTEB y los separamos para poder comparar nuestros modelos con modelos similares idioma por idioma. La imagen de abajo resume nuestros resultados como un mapa de calor. Cada parche es un idioma (identificado por su código ISO-639), y cuanto más verde sea, mejor rendimiento tuvo el modelo en comparación con el promedio de modelos similares:

Aunque la precisión varía entre idiomas, los modelos jina-embeddings-v5-text son de última generación o casi lo son en la mayoría de los idiomas del mundo.

Para obtener detalles sobre el rendimiento multilingüe, consulta el reporte técnico jina-embeddings-v5-text.

Jina en Elastic: IA nativa de última generación para búsqueda

Con los modelos jina-embeddings-v5-text en EIS, puedes ejecutar modelos de incrustación multilingüe de alto rendimiento de forma nativa en Elasticsearch, con inferencia totalmente gestionada y acelerada por GPU y sin infraestructura para aprovisionar o escalar. Los modelos jina-embeddings-v5-text amplían el creciente catálogo de modelos EIS con modelos compactos y multilingües impulsados por los últimos desarrollos en AI. Estos modelos tienen un rendimiento de última generación en recuperación de información y análisis de datos estándar, y ofrecen un soporte multilingüe inigualable que abarca todo el globo.

Con dos modelos de tamaños muy diferentes, los usuarios pueden determinar cuál es el más adecuado para sus aplicaciones y presupuestos. Además, con incrustaciones sólidas que siguen siendo eficientes cuando se truncan a tamaños más pequeños o se cuantifican con menor precisión, los modelos jina-embeddings-v5-text ofrecen oportunidades para ahorros concretos adicionales en costos de almacenamiento y computación, así como en latencia de procesamiento.

Con la familia jina-embeddings-v5-text , Jina Reranker y la rápida búsqueda vectorial y BM25 de Elastic, los usuarios ahora tienen acceso a la búsqueda híbrida de última generación de extremo a extremo de Elastic. Cuando necesitas los resultados más relevantes, ya sea para pipelines de Retrieval-Augmented Generation (RAG), aplicaciones de búsqueda o análisis de datos, Elastic con modelos de AI de búsqueda Jina ofrece una calidad estable y rentable.

Primeros pasos

Los modelos jina-embeddings-v5-text están completamente integrados en EIS y puedes usarlos al configurar el campotypeensemantic_text al crear tu índice y especificar el modelo (jina-embeddings-v5-text-small o jina-embeddings-v5-text-nano) en el campo inference_id, como en este ejemplo:

Elasticsearch selecciona automáticamente el adaptador de LoRA adecuado durante la indexación y la recuperación. Las dimensiones de incrustación (consulta la sección “Incrustaciones truncadas” anterior) se pueden establecer al crear un endpoint de inferencia personalizado.

Consulta la documentación de Elasticsearch para obtener más información sobre el uso de modelos jina-embeddings-v5-text .

Más información

Para obtener más información sobre los modelos jina-embeddings-v5-text, lee las notas de lanzamiento en el blog de Jina AI y el reporte técnico, con información técnica más detallada sobre el rendimiento y el nuevo procedimiento de entrenamiento innovador de Jina AI. Para obtener información sobre cómo descargar y ejecutar estos modelos localmente, visita la jina-embeddings-v5-text página de la colección en Hugging Face.

Los modelos de Jina AI están disponibles bajo una licencia CC-BY-NC-4.0, así que puedes descargarlos y probarlos libremente, pero para uso comercial, ponte en contacto con Ventas de Elastic.

Los modelos de Jina se dividen en tres amplias categorías diseñadas para apoyar el procesamiento, la organización y la recuperación de información:

• Modelos de incrustación semántica

• Modelos de reordenamiento

• Pequeños modelos de lenguaje generativo

Modelos de incrustación semántica

La idea detrás de las incrustaciones semánticas es que un modelo de IA puede aprender a representar aspectos del significado de sus entradas en términos de la geometría de espacios de alta dimensión.

Puedes pensar en una incrustación semántica como un punto (técnicamente un vector) en un espacio de alta dimensión. Un modelo de incrustación es una red neuronal que toma algunos datos digitales como entrada (potencialmente cualquier cosa, pero con mayor frecuencia un texto o una imagen) y genera la ubicación de un punto de alta dimensión correspondiente como un conjunto de coordenadas numéricas. Si el modelo funciona bien, la distancia entre dos incrustaciones semánticas es proporcional a la medida en que sus objetos digitales correspondientes significan lo mismo.

Para entender cómo esto es importante para las aplicaciones de búsqueda, imagina una incrustación para la palabra “perro” y una para la palabra “gato” como puntos en el espacio:

Un buen modelo de incrustación debe generar una para la palabra “felino” que esté mucho más cerca de “gato” que de “perro”, y “canino” debe tener una incrustación mucho más cercana a “perro” que de “gato”, porque esas palabras significan casi lo mismo:

Si un modelo es multilingüe, esperaríamos lo mismo para las traducciones de “gato” y “perro”:

Los modelos de incrustación traducen la similitud o diferencia en el significado entre las cosas en relaciones espaciales entre incrustaciones. Las imágenes anteriores solo tienen dos dimensiones para que puedas verlas en una pantalla, pero los modelos de incrustación producen vectores con docenas o miles de dimensiones. Esto les permite codificar sutilezas de significado para textos completos y asignar un punto en un espacio que tenga cientos o miles de dimensiones para documentos de miles de palabras o más.

Incrustaciones multimodales

Los modelos multimodales amplían el concepto de incrustaciones semánticas a otros elementos, además de los textos, especialmente a las imágenes. Esperaríamos que una incrustación para una imagen esté cerca de una incrustación de una descripción fiel de la imagen:

Las incrustaciones semánticas tienen muchos usos. Entre otras cosas, puedes utilizarlos para crear clasificadores eficientes, agrupar datos y llevar a cabo una variedad de tareas, como la deduplicación de datos y la investigación de la diversidad de datos, ambas importantes para aplicaciones de big data que implican trabajar con demasiados datos para gestionarlos manualmente.

El mayor uso directo de las incrustaciones es en la recuperación de información. Elasticsearch puede almacenar objetos de recuperación con incrustaciones como claves. Las consultas se convierten en vectores de incrustación y una búsqueda devuelve los objetos almacenados cuyas claves son las más cercanas a la incrustación de la consulta.

Donde la recuperación tradicional basada en vectores (a veces llamada recuperación de vectores dispersos) utiliza vectores basados en palabras o metadatos en documentos y búsquedas, la recuperación basada en incrustaciones (también conocida como recuperación de vectores densos) utiliza significados evaluados por la IA en lugar de palabras. Esto los hace, en general, mucho más flexibles y precisos que los métodos de búsqueda tradicionales.

Aprendizaje de representación de Matryoshka

El número de dimensiones que tiene una incrustación y la precisión de los números que contiene tienen un impacto significativo en el rendimiento. Los espacios de muy alta dimensión y los números extremadamente de alta precisión pueden representar información muy detallada y compleja, pero exigen modelos de IA más grandes que sean más caros de entrenar y de ejecutar. Los vectores que generan requieren más espacio de almacenamiento y se necesitan más ciclos de computación para calcular las distancias entre ellos. El uso de modelos de incrustación semántica implica hacer compensaciones importantes entre la precisión y el consumo de recursos.

Para maximizar la flexibilidad para los usuarios, los modelos de Jina se entrenan con una técnica llamada Aprendizaje de representación de Matryoshka. Esto hace que los modelos carguen las distinciones semánticas más importantes en las primeras dimensiones del vector de incrustación para que simplemente puedas cortar las dimensiones superiores y aún obtener un buen rendimiento.

En la práctica, esto significa que los usuarios de los modelos de Jina pueden elegir cuántas dimensiones desean que tengan sus incrustaciones. Elegir menos dimensiones reduce la precisión, pero la degradación en el rendimiento es menor. En la mayoría de las tareas, las métricas de rendimiento de los modelos de Jina disminuyen entre un 1 % y un 2 % cada vez que reduces el tamaño de la incrustación en un 50 %, hasta aproximadamente una reducción del 95 % en el tamaño.

Recuperación asimétrica

La similitud semántica usualmente se mide de manera simétrica. El valor que obtienes al comparar “gato” con “perro” es el mismo que el valor que obtendrías al comparar “perro” con “gato”. Pero cuando usas incrustaciones para la recuperación de información, funcionan mejor si rompes la simetría y codificas las búsquedas de manera diferente a como codificas los objetos de recuperación.

Esto se debe a la forma en que entrenamos los modelos de incrustación. Los datos de entrenamiento contienen ejemplos de los mismos elementos, como palabras, en muchos contextos diferentes, y los modelos aprenden semántica al comparar las similitudes y diferencias contextuales entre los elementos.

Entonces, por ejemplo, podríamos encontrar que la palabra “animal” no aparece en muchos de los mismos contextos que “gato” o “perro”, y por lo tanto, la incrustación para “animal” podría no estar particularmente cerca de “gato” o “perro”:

Esto hace que sea menos probable que una búsqueda de "animal" recupere documentos sobre gatos y perros, lo cual es lo opuesto a nuestro objetivo. Así que, en su lugar, codificamos "animal" de forma diferente cuando es una consulta que cuando es un objetivo para la recuperación:

La recuperación asimétrica significa usar un modelo diferente para las búsquedas o entrenar especialmente un modelo de incrustación para codificar cosas de una manera cuando se almacenan para su recuperación y para codificar consultas de otra manera.

Incrustaciones multivectoriales

Las incrustaciones únicas son buenas para la recuperación de información porque se ajustan al marco de trabajo básico de una base de datos indexada: almacenamos objetos para su recuperación con un único vector de incrustación como clave de recuperación. Cuando los usuarios consultan el almacén de documentos, sus búsquedas se traducen en vectores de incrustación y los documentos cuyas claves están más cercanas a la incrustación de búsquedas (en el espacio de incrustación de alta dimensión) se recuperan como posibles coincidencias.

Las incrustaciones multivectoriales funcionan un poco diferente. En lugar de generar un vector de longitud fija para representar una búsqueda y un objeto almacenado completo, producen una secuencia de incrustaciones que representan partes más pequeñas de ellos. Las partes suelen ser tokens o palabras para textos y son mosaicos de imagen para datos visuales. Estas incrustaciones reflejan el significado de la parte en su contexto.

Por ejemplo, considera estas oraciones:

• Ella tenía un corazón de oro.

• Ella cambió de opinión con el corazón.

• Ella tuvo un ataque al corazón.

Superficialmente, se ven muy similares, pero un modelo multivectorial probablemente generaría incrustaciones muy diferentes para cada instancia de "corazón", representando cómo cada una significa algo diferente en el contexto de la oración completa:

La comparación de dos objetos a través de sus incrustaciones multivectoriales a menudo implica medir su distancia de chaflán: comparar cada parte de una incrustación multivectorial con cada parte de otra y sumar las distancias mínimas entre ellas. Otros sistemas, incluidos los Jina Rerankers que se describen a continuación, los incluyen en un modelo de IA entrenado específicamente para evaluar su similitud. Ambos enfoques suelen tener mayor precisión que la simple comparación de incrustaciones de un solo vector, ya que las incrustaciones multivectoriales contienen información mucho más detallada que las de un solo vector.

Sin embargo, las incrustaciones multivectoriales no son adecuadas para indexar. A menudo se utilizan en tareas de reclasificación, como se describe para el modelo de jina-colbert-v2 en la siguiente sección.

Modelos de incrustación de Jina

Jina embeddings v4

jina-embeddings-v4 es un modelo de incrustación multilingüe y multimodal de 3.8 mil millones (3.8×10⁹) de parámetros que admite imágenes y textos en una variedad de idiomas ampliamente utilizados. Utiliza una arquitectura novedosa para aprovechar el conocimiento visual y el conocimiento del lenguaje para mejorar el rendimiento en ambas tareas, lo que le permite sobresalir en la recuperación de imágenes y especialmente en la recuperación visual de documentos. Esto significa que maneja imágenes como gráficos, diapositivas, mapas, capturas de pantalla, escaneos de páginas y diagramas, tipos comunes de imágenes que a menudo contienen texto importante incrustado y que quedan fuera del alcance de los modelos de visión artificial entrenados con imágenes de escenas del mundo real.

Hemos optimizado este modelo para varias tareas diferentes a través de adaptadores de Low-Rank Adaptation (LoRA) compactos. Esto nos permite entrenar un único modelo para que se especialice en varias tareas, sin comprometer el rendimiento en ninguna de ellas, con un costo adicional mínimo en memoria o procesamiento.

Las características principales incluyen las siguientes:

• Rendimiento de vanguardia en la recuperación visual de documentos, junto con texto multilingüe e imágenes regulares que superan significativamente a modelos mucho más grandes.

• El soporte para un gran tamaño de contexto de entrada: 32.768 tokens equivale aproximadamente a 80 páginas de texto en inglés a doble espacio, y 20 megapíxeles equivalen a una imagen de 4.500 x 4.500 píxeles.

• Tamaños de incrustación seleccionados por el usuario, desde un máximo de 2048 dimensiones hasta 128 dimensiones. Descubrimos empíricamente que el rendimiento se degrada significativamente por debajo de ese umbral.

• Soporte para ambas incrustaciones simples y multivector. En el caso de los textos, la salida multivectorial consiste en una incrustación de 128 dimensiones para cada token de entrada. Para las imágenes, produce una incrustación de 128 dimensiones para cada mosaico de 28x28 píxeles necesario para cubrir la imagen.

• Optimización para la recuperación asimétrica mediante un par de adaptadores LoRA entrenados específicamente para tal fin.

• Un adaptador LoRA optimizado para el cálculo de similitud semántica.

• Soporte especial para lenguajes de programación informática y marcos de trabajo de TI, también a través de un adaptador LoRA.

Desarrollamos jina-embeddings-v4 para servir como una herramienta general y multipropósito para una amplia variedad de tareas de búsqueda común, comprensión del lenguaje natural y análisis de IA. Es un modelo relativamente pequeño teniendo en cuenta sus capacidades, pero su despliegue requiere recursos considerables y es más adecuado para su uso a través de una API en la nube o en un entorno de gran volumen.

Jina embeddings v3

jina-embeddings-v3 es un modelo de incrustación compacto, de alto rendimiento, multilingüe y solo de texto con menos de 600 millones de parámetros. Admite hasta 8192 tokens de entrada de texto y genera incrustaciones de vector único con tamaños elegidos por el usuario, desde un valor predeterminado de 1024 dimensiones hasta 64.

Capacitamos a jina-embeddings-v3 para una variedad de tareas de texto. No solo para la recuperación de información y la similitud semántica, sino también para tareas de clasificación, como análisis de sentimiento y moderación de contenido, así como tareas de agrupar, como agregación de noticias y recomendaciones. Al igual que jina-embeddings-v4, este modelo proporciona adaptadores LoRA especializados para las siguientes categorías de uso:

• Recuperación asimétrica

• Similitud semántica

• Clasificación

• Agrupación

jina-embeddings-v3 es un modelo mucho más pequeño que jina-embeddings-v4 con un tamaño de contexto de entrada significativamente reducido, pero su funcionamiento cuesta menos. No obstante, tiene un rendimiento muy competitivo, aunque solo para textos, y es una mejor opción para muchos casos de uso.

Inmercaciones del código Jina

Los modelos especializados de incrustación de código de Jina, jina-code-embeddings (0.5b y 1.5b), admiten 15 esquemas y marcos de trabajo de programación, así como textos en inglés relacionados con la informática y la tecnología de la información. Son modelos compactos con quinientos millones (0.5x10⁹) y mil quinientos millones (1.5x10⁹) de parámetros, respectivamente. Ambos modelos admiten tamaños de contexto de entrada de hasta 32.768 tokens y permiten a los usuarios seleccionar los tamaños de su incrustación de salida, desde 896 hasta 64 dimensiones para el modelo más pequeño y 1536 hasta 128 para el modelo más grande.

Estos modelos admiten la recuperación asimétrica para cinco especializaciones específicas de tareas, mediante el ajuste de prefijos en lugar de adaptadores LoRA:

• Código a código. Recupera un código similar en todos los lenguajes de programación. Esto se utiliza para la alineación de códigos, deduplicación de códigos y soporte para la traslación y refactorización.

• Lenguaje natural para programar. Recupera códigos para hacer coincidir consultas, comentarios, descripciones y documentación en lenguaje natural.

• Código a lenguaje natural. Haz coincidir el código con la documentación u otros textos en lenguaje natural.

• Finalización de código a código. Sugiere un código relevante para completar o mejorar el código existente.

• Preguntas y respuestas técnicas. Identifica las respuestas en lenguaje natural a las preguntas sobre tecnologías de la información, que son ideales para casos de uso de soporte técnico.

Estos modelos ofrecen un rendimiento superior para tareas relacionadas con documentación informática y materiales de programación con un costo computacional relativamente bajo. Son muy adecuados para integrarse en entornos de desarrollo y asistentes de código.

Jina ColBERT v2

jina-colbert-v2 es un modelo de incrustación de texto multivectorial de 560 millones de parámetros. Es multilingüe, entrenado con materiales en 89 idiomas, y soporta tamaños de incrustación variables y recuperación asimétrica.

Como se ha señalado anteriormente, las incrustaciones multivectoriales no son adecuadas para la indexación, pero resultan muy útiles para aumentar la precisión de los resultados de otras estrategias de búsqueda. Mediante jina-colbert-v2, puedes calcular incrustaciones multivector de antemano y luego usarlas para reclasificar candidatos de recuperación al momento de la búsqueda. Este enfoque es menos preciso que usar uno de los modelos de reclasificación en la siguiente sección, pero es mucho más eficiente porque simplemente implica comparar incrustaciones multivectoriales almacenadas en lugar de invocar todo el modelo de IA para cada búsqueda y coincidencia posible. Es ideal para casos de uso en los que la latencia y la sobrecarga computacional que supone el uso de modelos de reclasificación son demasiado grandes, o cuando el número de candidatos que comparar es demasiado elevado para los modelos de reclasificación.

Este modelo genera una secuencia de incrustaciones, una por token de entrada, y los usuarios pueden seleccionar incrustaciones de token de 128, 96 o 64 dimensiones. Las coincidencias de texto de candidatos están limitadas a 8,192 tokens. Las búsquedas se codifican de manera asimétrica, por lo que los usuarios deben especificar si un texto es una búsqueda o una coincidencia candidata y deben limitar las búsquedas a 32 tokens.

Jina CLIP v2

Jina-Clip-V2 es un modelo de incrustación multimodal de 900 millones de parámetros, y está capacitado para que los textos e imágenes produzcan incrustaciones muy cercanas si el texto describe el contenido de la imagen. Su uso principal es para recuperar imágenes basadas en consultas de textura, pero también es un modelo de solo texto de alto rendimiento, lo que reduce los costos de usuario porque no necesitas modelos separados para la recuperación de texto a texto y de texto a imagen.

Este modelo admite un contexto de entrada de texto de 8,192 tokens, y las imágenes se escalan a 512x512 píxeles antes de generar incrustaciones.

Las arquitecturas de preentrenamiento de lenguaje-imagen contrastivo (CLIP) son fáciles de entrenar y operar y pueden producir modelos muy compactos, pero tienen algunas limitaciones fundamentales. No pueden utilizar los conocimientos adquiridos en un medio para mejorar su rendimiento en otro. No pueden usar un medio para mejorar su rendimiento en otro. Así que, aunque pueda saber que las palabras "perro" y "gato" están más cercanas en significado que a "auto", no necesariamente sabrá que una foto de un perro y una de un gato están más relacionadas que cualquiera de las dos con una foto de un auto.

También sufren de lo que se llama la brecha de modalidad: es probable que una incrustación de un texto sobre perros esté más cerca de una incrustación de un texto sobre gatos que de una incrustación de una imagen de perros. Debido a esta limitación, te recomendamos utilizar CLIP como modelo de recuperación de texto a imagen o como modelo de solo texto, pero sin mezclar los dos en una sola búsqueda.

Modelos de reordenamiento

Los modelos de reclasificación toman una o más coincidencias candidatas, junto con una consulta como entrada al modelo, y las comparan directamente, produciendo coincidencias de mucha mayor precisión.

En principio, podrías usar un reranker directamente para la recuperación de información al comparar cada búsqueda con cada documento almacenado, pero esto sería muy costoso desde el punto de vista computacional y no es práctico para cualquier colección excepto para las más pequeñas. Como resultado, los rerankers tienden a usarse para evaluar listas relativamente cortas de coincidencias de candidatos encontradas por otros medios, como la búsqueda basada en incrustaciones u otros algoritmos de recuperación. Los modelos de reclasificación son ideales para esquemas de búsqueda híbridos y federados, donde realizar una búsqueda puede significar que las consultas se envían a sistemas de búsqueda separadas con conjuntos de datos distintos, cada una devolviendo resultados distintos. Funcionan muy bien al combinar resultados diversos en un único resultado de alta calidad.

La búsqueda basada en incrustaciones puede ser un gran compromiso, ya que implica reindexar todos tus datos almacenados y cambiar las expectativas del usuario sobre los resultados. Agregar un reranker a un esquema de búsqueda existente puede sumar muchos de los beneficios de la IA sin necesidad de rediseñar toda tu solución de búsqueda.

Modelos de reordenación de Jina

Jina Reranker m0

jina-reranker-m0 es un reranker multimodal de 2.4 mil millones (2.4x10⁹) de parámetros que admite consultas textuales y coincidencias candidatas que consisten en textos y/o imágenes. Es el modelo líder en recuperación visual de documentos, lo que lo convierte en una solución ideal para almacenar archivos PDF, escaneos de texto, capturas de pantalla y otras imágenes generadas o modificadas por computadora que contengan texto u otra información semiestructurada, así como datos mixtos que consistan en documentos de texto e imágenes.

Este modelo toma una búsqueda única y una coincidencia candidata y devuelve una puntuación. Cuando la misma consulta se usa con diferentes candidatos, las puntuaciones son comparables y pueden usarse para clasificarlas. Soporta un tamaño total de entrada de hasta 10 240 tokens, incluido el texto de la consulta y el texto o imagen candidata. Cada mosaico de 28x28 píxeles necesario para cubrir una imagen cuenta como un token para calcular el tamaño de entrada.

Jina Reranker v3

jina-reranker-v3 es un reranker de texto de 600 millones de parámetros con rendimiento de vanguardia para modelos de tamaño comparable. A diferencia de jina-reranker-m0, toma una sola búsqueda y una lista de hasta 64 candidatos coincidentes y devuelve el orden de clasificación. Tiene un contexto de entrada de 131 000 tokens, incluida la consulta y todos los candidatos de texto.

Jina Reranker v2

jina-reranker-v2-base-multilingual es un reranker muy compacto y de uso general con características adicionales diseñadas para admitir llamadas a funciones y consultas SQL. Con un peso inferior a 300 millones de parámetros, proporciona una reclasificación de texto multilingüe rápido, eficiente y preciso, con soporte adicional para seleccionar tablas SQL y funciones externas que coincidan con consultas de texto, lo que lo hace adecuado para casos de uso de agentes.

Pequeños modelos de lenguaje generativo

Los modelos de lenguaje generativo son modelos como ChatGPT de OpenAI, Google Gemini y Claude de Anthropic que toman entradas de texto o multimedia y responden con salidas de texto. No existe una línea bien definida que separe los modelos de lenguaje grandes (LLM) de los modelos de lenguaje pequeños (SLM), pero los problemas prácticos de desarrollar, operar y utilizar LLM de primera línea son bien conocidos. Los más conocidos no se distribuyen públicamente, por lo que solo podemos estimar su tamaño, pero se espera que ChatGPT, Gemini y Claude estén en el rango de parámetros de 1 a 3 billones (1–3x10¹²).

Ejecutar estos modelos, incluso si están disponibles públicamente, está muy lejos del alcance del hardware convencional, que requiere los chips más avanzados dispuestos en grandes matrices paralelas. Puedes acceder a LLMs a través de API pagas, pero esto conlleva costos significativos, tiene una gran latencia y es difícil de alinear con las demandas de protección de datos, la soberanía digital y la repatriación en la nube. Además, los costos relacionados con la capacitación y la personalización de modelos de ese tamaño pueden ser considerables.

En consecuencia, se han realizado numerosas investigaciones para desarrollar modelos más pequeños que, aunque carecen de todas las capacidades de los LLM más grandes, pueden realizar determinados tipos de tareas con la misma eficacia y a un menor costo. Las empresas generalmente despliegan software para abordar problemas específicos, y el software de IA no es diferente, por lo que las soluciones basadas en SLM se suelen preferir a las de LLM. Por lo general, pueden ejecutarse en hardware básico, son más rápidos y consumen menos energía para ejecutarse, y son mucho más fáciles de personalizar.

Las ofertas de SLM de Jina están creciendo a medida que nos enfocamos en la mejor manera de llevar la IA a soluciones de búsqueda prácticas.

Jina SLM

ReaderLM v2

ReaderLM-v2 es un modelo de lenguaje generativo que convierte HTML en Markdown o JSON, según los esquemas JSON proporcionados por el usuario y las instrucciones en lenguaje natural.

El preprocesamiento y la normalización de datos son una parte esencial del desarrollo de buenas soluciones de búsqueda para datos digitales, pero los datos del mundo real, especialmente la información derivada de la web, suelen ser caóticos, y las estrategias de conversión simples a menudo resultan ser muy frágiles. En cambio, ReaderLM-v2 ofrece una solución de modelo de IA inteligente que puede entender el caos de un volcado de árbol DOM de una página web e identificar de manera segura elementos útiles.

Con 1500 millones (1,5 x 10⁹) de parámetros, es tres órdenes de magnitud más compacto que los LLM de última generación, pero su rendimiento es similar al de estos en esta tarea específica.

Jina VLM

jina-vlm es un modelo de lenguaje generativo con 2400 millones (2,4 x 10⁹) de parámetros que está entrenado para responder preguntas en lenguaje natural sobre imágenes. Tiene un fuerte soporte para el análisis visual de documentos, es decir, responder preguntas sobre escaneos, capturas de pantalla, diapositivas, diagramas y datos similares de imágenes no naturales.

Por ejemplo:

También es muy bueno para leer texto en imágenes:

Pero donde jina-vlm realmente se destaca es en entender el contenido de las imágenes informativas y creadas por el hombre:

O:

jina-vlm es adecuado para la generación automática de subtítulos, descripciones de productos, texto alternativo de imágenes y aplicaciones de accesibilidad para personas con discapacidad visual. También crea posibilidades para que los sistemas de generación aumentada por recuperación (RAG) utilicen información visual y para que los agentes de IA procesen imágenes sin ayuda humana.