Los modelos de IA más potentes se ejecutan en instalaciones remotas en la nube con acceso a través de una API web, lo que significa que debes confiar en tu proveedor de servicios de IA en cuanto a la seguridad, la disponibilidad del servicio y la estabilidad de los precios. No es fácil conciliar las exigencias razonables de confiabilidad, privacidad, costos manejables y buena gobernanza de datos con un uso de la IA cada vez más potente, sofisticado e intensivo en recursos.

Las regulaciones gubernamentales, los fallos judiciales y las consideraciones comerciales que responden a los intereses de terceros recientemente provocaron restricciones al acceso a servicios específicos. Y aunque puedas cambiar a otros servicios, los modelos de IA no son componentes que se puedan simplemente intercambiar cuando quieras. Las aplicaciones que usan incrustaciones semánticas dependen de tener acceso a los mismos modelos en el momento de la búsqueda que en el momento de la ingesta de datos. Perder el acceso a tu modelo de incrustación significa que tu sistema de búsqueda deja de funcionar.

Los modelos de precios de AI agravan ese riesgo. Las recientes divulgaciones financieras de los principales proveedores de IA dan a los clientes buenos motivos para preocuparse por posibles aumentos de precios. La dependencia de productos con costos impredecibles añade más riesgo a las inversiones en IA que requieren mucho capital que quizá no generen rendimientos claros.

Jina On-Prem es la respuesta de Elastic a estos desafíos.

¿Quién necesita IA local?

El alojamiento local y el control directo sobre tus modelos de IA satisfacen una variedad de demandas técnicas, requisitos de la industria e intereses comerciales.

La instalación local reduce lo que pagas a tus proveedores de servicios de AI, pero hace que tu organización asuma el costo del hardware y del acceso confiable. Según el volumen de uso, puede resultar simplemente más económico. Pero hay otras razones apremiantes para considerar correr tu propia AI. Si alguno de los problemas que se describen a continuación afecta a tu empresa, considera una solución de AI local como Jina On-Prem. Esta lista no es exhaustiva.

Caso de uso

Por qué local

Ejemplo

Aislado/de alta seguridad

Sin transmisión de datos salientes; aislamiento completo de la red

Defensa, inteligencia, investigación clasificada

Cumplimiento normativo

Soberanía de datos; sin transmisión transfronteriza ni exposición a terceros

Atención médica (Ley de Portabilidad y Responsabilidad de los Seguros Médicos [HIPAA]), finanzas, empresas de la UE (Reglamento General de Protección de Datos [RGPD])

De latencia crítica

Sin dependencia de la red; sin tolerancia a las fallas de conexión

Robótica, computación perimetral, vehículos, embarcaciones

Previsibilidad de costos

Costo fijo de infraestructura vs. precios por token con tarifas futuras inciertas

Cargas de trabajo de inferencia continua de gran volumen

Reducción de responsabilidad

Sin exposición de datos a terceros; mantiene el privilegio legal y el deber de cuidado

Firmas de abogados, agencias gubernamentales

Por qué los sistemas aislados y con firewall necesitan IA local

Los sistemas aislados y con firewall no pueden usar API de IA externas. Jina On-Prem se ejecuta completamente dentro de tu infraestructura sin conexiones salientes.

Para las organizaciones que gestionan datos especialmente confidenciales, las consideraciones de seguridad y privacidad son primordiales. De poco sirve invertir en proteger tus datos confidenciales si enseguida se los entregas a algún tercero remoto que quizá no cuente con medidas de seguridad suficientes o esté sujeto a las exigencias de un gobierno extranjero.

Los empleados de organizaciones que manejan datos confidenciales suelen recibir cierta capacitación sobre el manejo seguro de datos, pero esto no es muy eficaz cuando todos usan navegadores web que pueden tener acceso a cualquier página de Internet mientras manejan esos datos. El aislamiento es la medida de seguridad más eficaz disponible, ya sea mediante el aislamiento de la red o firewalls muy restrictivos, pero eso dificulta el uso de servicios externos de cualquier tipo.

AI local para sistemas sensibles a la latencia y de alta disponibilidad

El software como servicio y la computación en la nube representan un equilibrio entre el costo de ofrecer servicios muy accesibles y confiables en tus propias computadoras y delegar el problema en otra persona. Pero vienen acompañados de latencia variable, interrupciones y una pérdida total de control cuando algo sale mal. Los servicios de AI no son la excepción. Si tu sistema de búsqueda se desconecta cuando no puedes acceder a tu modelo de embeddings, quizá ya no parezca un buen punto medio.

Además, depender de una IA externa siempre implica riesgos que no puedes prever ni gestionar fácilmente. El acceso a Internet y la latencia de la red pueden degradarse sin previo aviso debido a acontecimientos políticos, condiciones meteorológicas adversas o embarcaciones que arrastran sus anclas sobre cables submarinos de fibra óptica. Los gobiernos pueden utilizar prohibiciones de exportación para bloquear repentinamente el acceso a modelos de IA, y de hecho lo han hecho recientemente. Los proveedores de servicios de IA a veces retiran modelos para inducirte a cambiar por otros más nuevos. La flexibilidad y los costos gestionados de los servicios externos deben sopesarse frente a los riesgos de dependencia.

IA local para el cumplimiento del RGPD, HIPAA y la soberanía de los datos

Las organizaciones que recopilan datos personales están sujetas a normativas cada vez más estrictas, que suelen variar según la jurisdicción y pueden tener requisitos contradictorios. Cabe destacar que las normas de HIPAA imponen protecciones de datos muy estrictas a los proveedores de atención médica de Estados Unidos, y las sólidas leyes generales de protección de datos de Canadá, la Unión Europea y muchas jurisdicciones de Asia exigen que todas las empresas que manejan información personal lo hagan de forma segura y limiten la transmisión de esos datos a terceros o a otras jurisdicciones. Estas normas incluso pueden imponer obligaciones a entidades extranjeras si tienen clientes en esas jurisdicciones. Las instituciones financieras suelen estar sujetas a normas aún más estrictas y asumen la misma responsabilidad directa por la seguridad de la información que deben proteger frente a otras formas de actividad delictiva.

El cumplimiento normativo puede ser incompatible con los servicios de IA de terceros, especialmente si usarlos implica la transferencia transfronteriza de datos.

Además, los acontecimientos recientes muestran que las normas que restringen la ubicación física de los almacenes de datos pueden no ser una fuente confiable de protección cuando los operadores internacionales de servicios en la nube están sujetos a presiones de gobiernos extranjeros. Las leyes locales pueden entrar en conflicto entre las distintas jurisdicciones, lo que exige el almacenamiento y procesamiento local de datos e imposibilita el uso de servicios de terceros. En algunos casos, la única solución es aplicar internamente todos tus procesos, incluidos tus sistemas de AI.

Riesgos de responsabilidad de la IA por la transmisión de datos de terceros

Las leyes de protección de datos y los deberes de cuidado reconocidos respecto de los datos confidenciales suelen tener consecuencias en materia de responsabilidad legal, a veces muy graves. Puedes ser responsable del tratamiento que los proveedores de servicios externos hagan de tus datos. Aunque los tribunales y los procedimientos legales podrían ofrecer cierta protección retroactiva frente a proveedores de servicios poco seguros, esos recursos no están disponibles ni suelen ser eficaces contra agentes de seguridad nacional, las fuerzas del orden o hackers criminales.

Para los gobiernos, ya ha habido casos en los que proveedores de servicios de nube transfronterizos divulgaron información estatal sensible a actores extranjeros.

Pero, aunque no te preocupen los gobiernos extranjeros ni los hackers, y aunque tus proveedores externos de servicios de IA sean seguros, el simple hecho de que sean externos puede generar riesgos.

Por ejemplo, en la mayoría de las jurisdicciones, las comunicaciones de los abogados con sus clientes gozan de protecciones legales especiales, y los bufetes de abogados tienen responsabilidades estrictas al registrar o almacenar esta información. En Estados Unidos, este “privilegio abogado-cliente” es tan famoso que ocupa un lugar central en las tramas de películas y series de televisión. Pero una de las formas de perder ese privilegio es comunicar información a alguien que no lo tiene, y los acontecimientos recientes sugieren que los proveedores externos de servicios de IA podrían considerarse como tales.

Es posible, al menos en Estados Unidos, que el simple hecho de usar servicios de IA de terceros a través de una API de internet, como modelos de incrustación que ofrecen servicios de indexación, pueda infringir normas fundamentales de confidencialidad. Un bufete de abogados podría ser demandado, sancionado o perder su licencia para ejercer solo por usar software hospedado externamente, incluso si no se produce ninguna brecha de seguridad.

AI local para sistemas offline, de borde y físicamente aislados

Los sistemas informáticos no solo se aíslan por motivos de seguridad. Por ejemplo, los vehículos en movimiento no pueden depender del acceso a Internet para ninguna función esencial. Las embarcaciones y las aeronaves cuentan con sistemas informáticos muy extensos a bordo que tienen que funcionar sin conexión a Internet y, por lo tanto, no pueden usar servicios de IA externos. Las plataformas marinas, las instalaciones remotas en áreas silvestres y los servicios informáticos en el Ártico, la Antártida y pequeñas islas sin conexiones físicas adecuadas a las redes globales son ejemplos de instalaciones que se benefician de alojar localmente todos los servicios que necesitan. A medida que crece el rol de la IA en la informática empresarial, abordar estas limitaciones se vuelve más importante.

Las aplicaciones emergentes de la IA en sistemas físicos (robótica y otros casos de uso limitados a espacios específicos o centrados en el mundo exterior, como los sistemas de gestión logística o incluso las cajas de supermercado) pueden estar conectadas a la internet global, pero no toleran fallas de conexión ni picos de latencia. Si dependen de un sistema de IA para funcionar, ese sistema de IA debe ser lo más local y confiable posible.

¿Quién no necesita IA local?

Los servicios de software remotos y la IA fuera de las instalaciones sí tienen beneficios. Ejecutar modelos de IA puede requerir procesadores costosos que consumen mucha energía y tienen una vida útil notoriamente corta. El acceso a hardware de alta calidad es particularmente difícil en este momento debido a factores del mercado y a impactos económicos externos. En estas circunstancias, puede tener sentido pagar por token para usar una API externa en lugar de asumir los elevados costos de capital de la IA local.

Las API externas tienen más sentido para los usuarios ocasionales. Si usas modelos de AI principalmente para procesar datos por lotes con fines de análisis, en lugar de ejecutar un sistema de búsqueda que deba estar siempre en línea, tiene poco sentido invertir en hardware que requiere una gran inversión de capital e instalaciones locales.

Además, cuando el procesamiento de tus datos ya se hace en la nube, por ejemplo, en un sitio web de comercio electrónico hospedado en la nube por motivos de confiabilidad y accesibilidad, usar servicios de IA ubicados en la misma infraestructura de nube puede ofrecer una mejor relación calidad-precio que implementar tu propio despliegue de un modelo de IA con licencia. Ya dependes de tu proveedor de servicios en la nube, así que depender de sus servicios de IA no agrega mucho riesgo.

Si tu caso de uso parece encajar con esa descripción, los modelos de Jina AI están disponibles en EIS, AWS Marketplace y Google Cloud Platform, específicamente para satisfacer tus necesidades.

La siguiente tabla resume los factores clave. Tu respuesta depende de tus datos, la infraestructura y tu patrón de uso.

Factor

Preferencia por lo local

API de cloud preferida

Patrón de uso

Inferencia continua o de gran volumen

Procesamiento intermitente o por batch

Sensibilidad de los datos

Regulados, soberanos o clasificados

Sin restricciones transfronterizas ni de terceros

Entorno de red

Aislados, con firewall o poco confiables

Internet estable y siempre disponible

Infraestructura existente

Tienes o puedes adquirir hardware de GPU

Ya hospedado en la nube con IA en el mismo entorno

Modelo de costos

Hardware fijo + licencia; predecible a escala

Por token; menor costo inicial, variable a largo plazo

Tolerancia a la latencia

Ninguno (robótica, edge, tiempo real)

La variabilidad de la red es aceptable

Responsabilidad operativa

Tu equipo gestiona el hardware y la disponibilidad

El proveedor gestiona el hardware y las actualizaciones; tú gestionas la integración

Tienes que considerar los costos y beneficios según tus circunstancias particulares y casos de uso, teniendo en cuenta los problemas destacados en la sección anterior que se aplican a ti. El análisis de costo-beneficio sin duda cambiará con el tiempo. No podemos predecir el futuro de la industria de la IA ni los precios del hardware, ni siquiera a corto plazo.

Presentamos Jina On-Prem

Para los usuarios que pueden beneficiarse de los servicios de IA locales, presentamos Jina On-Prem, una suite de instalación completamente autónoma para los modelos de alto rendimiento de Jina AI.

Los modelos de Jina AI igualan la precisión de los modelos de incrustación muchas veces más grandes, lo que reduce los costos de cómputo, el uso de memoria y los requisitos de hardware. Esto los convierte en una opción ideal para los usuarios que quieren o necesitan mantener su IA localmente. Hay licencias comerciales disponibles con soluciones escalables y precios proporcionales para casos de uso de todas las envergaduras.

¿Qué esquemas de API admite Jina On-Prem?

• Disponible como una colección completa de dependencias para instalación local o como un contenedor docker que puedes instalar y ejecutar en minutos.

• Las instalaciones locales de Jina no realizan llamadas a sistemas externos.

  • No se realiza ninguna llamada a Hugging Face Hub ni a ningún registro de modelos (HF_HUB_OFFLINE=1 y TRANSFORMERS_OFFLINE=1 vienen incorporados).

  • No hay un servidor de licencias.

  • No hay endpoints de telemetría ni de logging.

• Admite hardware tanto de CPU como de GPU, con detección automática de GPU.

• Los 28 modelos de Jina AI ya están disponibles, incluidos los modelos de incrustación multimodales más recientes jina-embeddings-v5-omni y jina-reranker-v3.

• Acceso a través de esquemas de API de IA estándar: Jina API, OpenAI, Cohere, Voyage AI y Gemini. Jina On-Prem es una solución inmediata para aplicaciones creadas a partir de esos esquemas.

• Reemplazo directo de los modelos que ofrece el EIS. Jina On-Prem se integra directamente con los despliegues de Elastic aislados de la red.

Requisitos de hardware para los modelos locales de Jina AI

Los requisitos de hardware varían según el modelo de Jina. La tabla de abajo muestra las recomendaciones para los modelos más recientes con la configuración de GPU. No necesitas nada más potente que una GPU NVIDIA L4, aunque se recomienda una A100 para los modelos de incrustación v5. Nuestro modelo de incrustación más reciente requiere actualmente un mínimo de 8 GB de VRAM.

Modelo

VRAM mínima

GPU recomendada

jina-embeddings-v5-text-nano

2 GB

T4 / L4

jina-embeddings-v5-text-small

3 GB

L4 / A10G

jina-embeddings-v5-omni-small

8 GB

L4 / A10G / A100

jina-reranker-v3

3 GB

L4

jina-clip-v2

4 GB

L4

jina-code-embeddings-1.5b

4 GB

L4

ReaderLM-v2

4 GB

L4

Si usas más de un modelo a la vez, aumentarán los requisitos de VRAM. Consulta la página de dimensionamiento y hardware para obtener más información.

Cómo instalar Jina On-Prem con Docker

La forma más rápida de comenzar es instalar Docker (si aún no lo has hecho) y seguir las instrucciones de la página Inicio rápido local de Jina.

Hay contenedores Docker preconfigurados para los 28 modelos de Jina. Descarga uno y transfiérelo al destino de instalación, y podrás tener los modelos de Jina AI en funcionamiento en menos de cinco minutos.

Para compilaciones multimodales o personalizadas, o para descargar el conjunto completo de dependencias para instalarlo fuera de un contenedor, sigue los pasos descritos en la guía de empaquetado.

Tu instalación de Jina On-Prem es compatible con todas las funcionalidades de la API de Jina y EIS, así como con la generación de incrustaciones mediante las API de OpenAI, Cohere, Voyage AI y Gemini, por lo que puede integrarse en aplicaciones preexistentes que usan interfaces estándar. Consulta la documentación de la API para obtener más información.

Los modelos de Jina, incluidos los instalados con Jina On-Prem, están disponibles bajo distintas condiciones de licencia. Los modelos más recientes se ofrecen sin costo para uso no comercial bajo una licencia CC BY-NC 4.0. Para obtener una licencia de Jina On-Prem para uso comercial, ponte en contacto con Ventas de Elastic.

Ahora puedes crear incrustaciones semánticas de alto rendimiento para texto, imágenes, videos y grabaciones de audio, que abarcan casi 100 idiomas, y utilizarlas para clasificar, agrupar, medir la similitud semántica e indexar para recuperar información. Si tus datos se encuentran en archivos PDF, grabaciones y videos junto al texto, ya no necesitas pipelines separados para cada uno.

La familia jina-embeddings-v5-omni es el modelo de incrustación más compacto actualmente en el mercado con soporte para imágenes, voz, impresión y video. Ofrece:

• jina-embeddings-v5-textincrustaciones de texto de clase vanguardia para recuperación, análisis y aplicaciones de agentes de IA.

• Incrustaciones líderes en su categoría de tamaño para similitud semántica visual, comprensión visual y recuperación de imágenes. jina-embeddings-v5-omni-small tiene el mejor rendimiento en benchmarks de imagen de cualquier modelo de la categoría de 1000 millones (10⁹) de parámetros y es superior a nuestro propio jina-clip-v2 anterior. Solo unos pocos modelos que poseen tres a 30 veces más parámetros pueden superarlo.

• Incrustaciones de vanguardia para la comprensión y recuperación visual multilingüe que superan modelos hasta 20 veces más grandes.

• Incrustaciones de audio de los mejores en su categoría de tamaño, con solo modelos que tienen el doble o más de parámetros que logran mejores resultados en las referencias estándar.

• Soporte para video, especialmente para localizar objetos y eventos en el metraje.

Esto tiene aplicaciones en todos los ámbitos de la recuperación de información, el procesamiento de documentos y el análisis de datos. jina-embeddings-v5-omni abre el acceso a la información encerrada en diferentes silos de medios y la pone a disposición para su recuperación, análisis y uso por parte de agentes de IA. La información contenida en grabaciones de audio y video, archivos PDF, escaneos de páginas impresas e infografías tiene el mismo valor que los textos digitalizados en tu ecosistema de datos.

Al igual que jina-embeddings-v5-text, estos modelos vienen en dos tamaños: small y nano. Ambos modelos amplían su equivalente textual con módulos adicionales que admiten entradas de audio y vídeo. Los usuarios pueden seleccionar módulos en el momento de la carga. Además, las extensiones específicas para cada tarea —como la similitud semántica, la clasificación, la agrupación y la recuperación de información— se han implementado como adaptadores compactos de rango bajo (LoRA) y están todas cargadas, así que los usuarios pueden seleccionarlas en el momento de la inferencia.

Ambos modelos son muy compactos. jina-embeddings-v5-omni-small puede ejecutarse en servidores convencionales equipados con GPU y jina-embeddings-v5-omni-nano es lo suficientemente pequeño como para ejecutarse en hardware estándar. Esto representa un gran ahorro potencial en costos de cómputo y hace posible la instalación local con licencia y el procesamiento perimetral, lo que reduce la latencia y aumenta tu control sobre tus propios datos.

La suite v5-omni utiliza técnicas innovadoras de diseño de modelos y machine learning para crear nuevos modelos de incrustación a partir de otros ya entrenados, sin necesidad de volver a entrenarlos. Usamos codificadores de modelos preentrenados y alineados con el lenguaje para medios de audio y video como preprocesadores de entrada para nuestro conjunto de modelos de jina-embeddings-v5-text existente. Los modelos resultantes generan incrustaciones para imágenes y grabaciones de audio que son semánticamente compatibles con las incrustaciones que genera para los textos.

Los modelos v5-omni producen incrustaciones de texto idénticas a las jina-embeddings-v5-text (es decir, jina-embeddings-v5-omni-small con jina-embeddings-v5-text-small; y jina-embeddings-v5-omni-nano con jina-embeddings-v5-text-nano), por lo que puedes extender los repositorios existentes de recuperación de texto a aplicaciones multimedia sin reconstruir tus índices.

Los codificadores integrados derivan de fuentes de código abierto. Para imágenes y video, hemos utilizado codificadores de los modelos Qwen3.5:

• Para jina-embeddings-v5-omni-nano, el codificador SigLIP2 Base ajustado de Qwen3.5-0.8B.

• Para jina-embeddings-v5-omni-small, el codificador SigLIP2 So400m ajustado específicamente a partir de Qwen3.5-2B.

• Para soporte de audio, agregamos el codificador de Whisper-large-v3, extraído de Qwen2.5-Omni-7B, tanto a la versión pequeña como a la nano.

Hemos conectado estos codificadores específicos para cada tipo de medio a la columna vertebral de procesamiento de texto mediante proyectores multimodales entrenados. Estos proyectores traducen sus salidas nativas a incrustaciones de entrada compatibles con jina-embeddings-v5-text. Las únicas partes recién entrenadas de los modelos jina-embeddings-v5-omni son los pesos en esos proyectores.

Esta arquitectura significa que solo necesitamos entrenar los proyectores entre modelos, aproximadamente 5.5 millones de parámetros para jina-embeddings-v5-omni-small y menos de 3.5 millones para jina-embeddings-v5-omni-nano, para cada uno de los cuatro adaptadores LoRA. Este enfoque reduce al mínimo el entrenamiento adicional necesario para conectar diferentes modelos de incrustación, y aprovecha el entrenamiento específico de cada uno de ellos para crear un conjunto de incrustaciones modular, extremadamente compacto y de alto rendimiento.

Propiedades del modelo seleccionado

Entrada/salida

Nombre del modelo

Tamaño de la ventana de contexto de entrada

Tamaño de incrustación

jina-embeddings-v5-omni-small

32,768 tókenes*

1024 dims (mínimo: 32)

jina-embeddings-v5-omni-nano

8,192 tókenes*

768 dims (mínimo: 32)

* Consulta Uso de jina-embeddings-v5-omni a continuación para obtener más información sobre cómo se tokenizan los medios que no son de texto.

Tamaño

Nombre del modelo

Tamaño total

jina-embeddings-v5-omni-small (modelo base de solo texto + 4 adaptadores LoRA)

700 millones de parámetros

Soporte de imagen/video (codificador SigLIP2 So400m extraído de Qwen3.5-2B)

1.006 millones de parámetros

soporte de audio (codificador Whisper-large-v3 extraído de Qwen2.5-Omni-7B)

1.354 millones de parámetros

ambos

1.660 millones de parámetros

Adaptadores LoRA (cada uno)

20M

jina-embeddings-v5-omni-nano (modelo base de solo texto + 4 adaptadores LoRa)

266M parámetros

soporte de imagen/video (codificador SigLIP2 Base extraído de Qwen3.5-0.8B)

354M parámetros

soporte de audio (codificador Whisper-large-v3 extraído de Qwen2.5-Omni-7B)

916M parámetros

ambos

1 004 millones de parámetros

Adaptadores LoRA (cada uno)

7M

* Consulta Uso de jina-embeddings-v5-omni a continuación para obtener más información sobre cómo se tokenizan los medios que no son de texto.

Capacitación específica por tarea

La familia de jina-embeddings-v5-omni admite los mismos adaptadores LoRA específicos para tareas que jina-embeddings-v5-text:

Tarea

Ejemplos de usos

Recuperación

Recuperación de información, por sí sola o en conjunto con otras técnicas de recuperación y evaluación de candidatos. Con los modelos v5-omni, puedes recuperar audio, video e imágenes en una sola búsqueda desde un solo índice.

Agrupación

Descubrimiento de temas y organización automática de temas en todos los medios.

Clasificación

Categorización, análisis de sentimiento y tareas relacionadas.

Similitud semántica

Deduplicación de datos en medios, sistemas de recomendación, medios relacionados, búsqueda de textos que coincidan con el discurso, identificación de traducciones y tareas similares.

Las representaciones de salida dependen de la categoría de tarea seleccionada. Por ejemplo, no deberías usar representaciones orientadas a recuperación para agrupar o representaciones de similitud semántica para clasificación.

Multimedia, multimodal, multilingüe, multifuncional

Para mostrar lo que jina-embeddings-v5-omni puede hacer, tomemos los famosos pasajes iniciales de dos novelas y midamos su similitud semántica:

A Tale of Two Cities (Charles Dickens)

Pride and Prejudice (Jane Austen)

Si se usa jina-embeddings-v5-omni-small, con su adaptador de similitud semántica, estos textos tienen una similitud de 0,5329.

Ese número no significa mucho sin algo con qué compararlo, así que comparemos estos dos textos con sus traducciones al francés usando el mismo modelo y adaptador:

Puntuaciones de similitud semántica para textos en diferentes idiomas

A Tale of Two Cities (inglés)

Pride and Prejudice (inglés)

Tale of Two Cities (francés) (París y Londres en 1783, tr. H. Loreau)

0.9095

0.5074

Orgullo y prejuicio (francés) (Orgueil et Préjugés, tr. Leconte et Pressoir)

0.4826

0.8784

Los dos textos se parecen mucho más a sus traducciones que a otros textos del mismo idioma o de otro idioma. Esto refleja el rendimiento muy alto de las incrustaciones semánticas multilingües de jina-embeddings-v5-text-small, incluidas sin cambios en jina-embeddings-v5-omni-small.

Si se agrega soporte multimedia a jina-embeddings-v5-omni significa que podemos extender este experimento a otros tipos de datos. Por ejemplo, obtuvimos escaneos de las primeras páginas de ambas novelas de ediciones impresas antiguas:

Figura 2: A Tale of Two Cities, edición no fechada del siglo XIX, y Pride and Prejudice, edición Macmillan de 1903.

Comparemos ambos textos con los escaneos, usando de nuevo el adaptador de similitud semántica:

Puntuaciones de similitud semántica entre textos e imágenes

Historia de dos ciudades (escaneo)

Pride and Prejudice (escaneo)

Tale of Two Cities (texto)

0.7336

0.4891

Orgullo y prejuicio (texto)

0.4804

0.7213

Observarás que las puntuaciones de similitud semántica favorecen fuertemente a los textos que coinciden con el contenido de las imágenes.

También podemos comparar los textos con una captura de pantalla de una publicación en redes sociales y un meme que hacen referencia a esos textos, usando la misma configuración:

Figura 3: Un tuit de Elon Musk haciendo referencia a A Tale of Two Cities y un meme haciendo referencia al famoso inicio de Pride and Prejudice.

Puntuaciones de similitud semántica entre textos e imágenes

A Tale of Two Cities

Pride and Prejudice

Tweet de Musk (imagen)

0.7156

0.4912

Meme «Keep calm» (imagen)

0.4555

0.6244

Podemos hacer lo mismo con la voz. Obtuvimos grabaciones de lecturas de ambos textos, en inglés y en francés:

• A Tale of Two Cities (audio en inglés de Librivox).

• Una historia de dos ciudades (audio en francés generado por OmniVoice AI).

• Orgullo y prejuicio (audio en inglés de Librivox).

• Pride and Prejudice (audio en francés generado por OmniVoice AI).

Puntuaciones de similitud semántica entre textos y audio en diferentes idiomas

A Tale of Two Cities (audio en inglés)

A Tale of Two Cities (audio en francés)

Pride and Prejudice (audio en inglés)

Pride and Prejudice (audio en francés)

A Tale of Two Cities (Texto en inglés)

0.3816

0.3106

0.1607

0.1774

A Tale of Two Cities (texto en francés)

0.3528

0.3253

0.1598

0.1721

Pride and Prejudice (texto en inglés)

0.1910

0.1682

0.3511

0.3398

Orgullo y prejuicio (texto en francés)

0.1667

0.1474

0.3018

0.3702

Esta capacidad multilingüe y multimedia se extiende a la recuperación de información.

Los adaptadores de recuperación de los modelos de jina-embeddings-v5-omni implementan recuperación asimétrica. Esto significa que generan incrustaciones de las búsquedas de forma distinta a las incrustaciones de los documentos objetivo de recuperación; por eso, las búsquedas multimodales siempre tienen una dirección, con búsquedas en un archivo multimedia y documentos en otra y la puntuación cambia si se invierten.

Las tablas a continuación muestran las puntuaciones de recuperación para texto, audio e imágenes de escaneo de página para A Tale of Two Cities y Pride and Prejudice, cuando el texto de A Tale of Two Cities (en inglés) se codifica como la búsqueda:

Texto a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en francés)

0.7597

Pride and Prejudice (fragmento del texto en inglés)

0.1482

Pride and Prejudice (extracto de texto en francés)

0.0523

Texto a imagen

Documento

Puntuación de recuperación

A Tale of Two Cities (Escaneo de página en inglés)

0.5517

A Tale of Two Cities (Escaneo de página en francés)

0.3576

Orgullo y prejuicio (escaneo de página en inglés)

0.1917

De texto a audio

Documento

Puntuación de recuperación

A Tale of Two Cities (audio en inglés)

0.3277

A Tale of Two Cities (audio en francés)

0.1980

Pride and Prejudice (audio en inglés)

0.1419

Pride and Prejudice (audio en francés)

0.1759

Los usuarios también pueden ejecutar la búsqueda al revés, es decir, realizar búsquedas de audio a texto y de imagen a texto.

A continuación se muestran las puntuaciones utilizando el audio en inglés de A Tale of Two Cities como búsqueda y varios textos como documentos:

De imagen a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en inglés)

0.3352

A Tale of Two Cities (extracto de texto en francés)

0.2650

Pride and Prejudice (fragmento del texto en inglés)

0.1626

Pride and Prejudice (extracto de texto en francés)

0.1385

Y las puntuaciones usando un escaneo de la página uno de A Tale of Two Cities (en inglés) como búsqueda:

De audio a texto

Documento

Puntuación de recuperación

A Tale of Two Cities (extracto de texto en inglés)

0.5304

A Tale of Two Cities (extracto de texto en francés)

0.4845

Pride and Prejudice (fragmento del texto en inglés)

0.1467

Pride and Prejudice (extracto de texto en francés)

0.0761

Búsqueda de vídeos

Las capacidades de jina-embeddings-v5-omnipara la indexación y la búsqueda de video aportan nuevas funcionalidades a las bases de datos de Elasticsearch, pero están sujetas a muchas de las mismas advertencias que aplican a los textos. Generar una única incrustación para una película larga es como incrustar una novela muy larga: la información detallada se verá inundada y la incrustación resultante será una buena coincidencia para muchas búsquedas irrelevantes.

Si incorporas el texto completo de "Lord of the Rings" (unas 500 000 palabras), es probable que sea una coincidencia buena para la mayoría de las búsquedas, sin importar lo que estés buscando. Del mismo modo, si indexas una película de Hollywood de dos horas, obtendrás muchas coincidencias irrelevantes y detalles que se pierden por completo. jina-embeddings-v5-omni es óptimo con clips cortos.

Para este ejemplo, descargamos el tráiler de la película de 1961 Breakfast At Tiffany’s, que dura solo 158 segundos y es de dominio público. Puedes ver el tráiler en Internet Archive.

Figura 4: El póster teatral para Breakfast at Tiffany’s.

Usamos PySceneDetect para dividir el tráiler en 28 escenas individuales, con duraciones que van desde los 1.877 segundos (45 fotogramas) hasta los 18.393 segundos (441 fotogramas). La detección de escenas no es perfecta, pero ofrece un mecanismo adecuado para dividir el video en fragmentos más pequeños que faciliten su búsqueda. Luego generamos representaciones de documentos para cada uno de los 28 segmentos, usando jina-embeddings-v5-omni-small, para poder comprobar si las búsquedas de texto servían para encontrar elementos específicos en el video.

Por ejemplo, la búsqueda de “gato” devolvió los siguientes clips como los tres resultados principales. La única escena con un gato está en la parte superior, con una puntuación de 0.1634:

Mira el clip uno.

La siguiente coincidencia más alta, con una puntuación de 0.1237, es mucho más baja:

Mira el clip 2.

También puedes hacer búsquedas de acciones. Si haces una búsqueda con el texto "beso", las cuatro primeras coincidencias contienen todas besos:

Mira el clip 3. Su puntuación es 0.2864.

Puntuaciones: Para la segunda coincidencia (0.2494), tercera coincidencia (0.2099) y cuarta coincidencia (0.2068), respectivamente

Y puedes buscar el texto que se muestra en los videos, como “Buddy Ebsen”, que solo aparece una vez. jina-embeddings-v5-omni-small lo identifica fácilmente como la mejor coincidencia con una puntuación de 0.3885, considerablemente más alta que la siguiente mejor coincidencia:

Clip de Buddy Ebsen.

Recuperación visual de documentos

Los modelos de incrustación multimodal de Jina AI son líderes en el procesamiento de documentos visuales y están a la vanguardia en el procesamiento de documentos visuales multilingües. Esto significa manejar datos de imágenes que contienen texto, figuras e información estructurada. Los datos importantes suelen estar en forma de escaneos impresos, archivos PDF, diagramas, dibujos técnicos, capturas de pantalla, imágenes, infografías y similares. Estos tipos de imágenes a menudo son compuestas mecánicamente o generadas por computadora. No suelen poder reducirse a texto sin pérdida de significado y son poco adecuados para los modelos de visión computacional diseñados para la fotografía de escenas naturales.

jina-embeddings-v5-omniLas incrustaciones abarcan información sobre las cosas en la imagen, el texto impreso en ellas y las relaciones entre ambos. La recuperación visual de documentos hace posible indexar imágenes enriquecida que contienen tanto objetos como texto relevante y hacerlo a través de diferentes idiomas.

A modo de ejemplo, vamos a usar cuatro imágenes de productos de diferentes sitios web de comercio electrónico:

Ahora, veamos qué tan bien jina-embeddings-v5-omni-small puntúa estas cuatro imágenes para la búsqueda «fideos ramen»:

Sopa de pollo con trozos de Campbell’s (envase canadiense)

Kraft Dinner (envase canadiense)

Ramen Maruchan fresco con sabor a miso (envase japonés)

Birkel Spaghetti (embalaje alemán)

0.0872

0.0711

0.1123

0.0886

Fácilmente encuentra la coincidencia japonesa.

Ahora, intentemos una búsqueda para «マカロニチーズ» (macarrones con queso en japonés):

Sopa de pollo con trozos de Campbell’s (envase canadiense)

Kraft Dinner (envase canadiense)

Ramen Maruchan fresco con sabor a miso (envase japonés)

Birkel Spaghetti (embalaje alemán)

0.2207

0.3487

0.2760

0.2674

Encuentra la coincidencia correcta con la misma facilidad que una búsqueda en inglés.

jina-embeddings-v5-omni también sobresale en la interpretación de imágenes con abundante información, como los gráficos. Para ver esto en acción, mira estos dos gráficos de barras:

Dos gráficos, Gráfico 1 a la izquierda, sobre la carga mundial de enfermedad, y Gráfico 2 a la derecha, sobre la esperanza de vida de las razas de perros.

Veamos qué tal se adaptan a dos posibles preguntas de texto, cada una de ellas relacionada con uno de los gráficos, pero no con ambos, utilizando jina-embeddings-v5-omni-small para la búsqueda:

Pregunta de texto

Gráfico 1

Gráfico 2

“¿Cuáles son algunos de los problemas médicos más comunes para las personas mayores?”

0.2787

0.1099

“¿Cuánto tiempo viven los perros?”

0.1350

0.3564

También puedes revertir la búsqueda, usando imágenes como búsquedas para encontrar textos. La tabla a continuación muestra los documentos objetivo extraídos de los resúmenes de artículos científicos relacionados con el tema y sus puntuaciones de recuperación, utilizando las imágenes del gráfico como búsquedas:

Texto 1

Texto 2

La salud de las poblaciones que viven en la pobreza extrema ha sido desde hace tiempo un tema central de los esfuerzos de desarrollo a nivel mundial, y sigue siendo una prioridad en la era de los Objetivos de Desarrollo Sostenible. Sin embargo, no ha habido un intento sistemático de cuantificar la magnitud y las causas de la carga en esta población específica por casi dos décadas. Hemos estimado las tasas de enfermedades por causa en los mil millones de personas más pobres del mundo y comparamos estas tasas con las de las poblaciones de ingresos altos.

El perro de compañía es una de las especies fenotípicamente más diversas. La variabilidad entre razas no solo se extiende a la morfología y a aspectos del comportamiento, sino también a la longevidad. A pesar de ello, pocos estudios se han dedicado a evaluar la variación en la esperanza de vida entre razas o el potencial de caracterización filogenética de la longevidad.

Gráfico 1

0.2377

0.1357

Gráfico 2

0.0673

0.3576

Características

Incrustaciones truncables

Entrenamos los modelos base jina-embeddings-v5-text que sustentan jina-embeddings-v5-omni con Aprendizaje de representación Matryoshka, para que puedas truncar tanto las incrustaciones de texto como las de multimedia de estos modelos.

De forma predeterminada, jina-embeddings-v5-omni-small genera incrustaciones con 1024 dimensiones, lo que toma 2 KB para almacenarse con una precisión de 16 bits. Las incrustaciones de jina-embeddings-v5-omni-nanotienen 768 dimensiones y ocupan aproximadamente 1.5KB. Puedes reducir el tamaño de estas incrustaciones a 32 dimensiones (64 bytes), lo que supone una cierta pérdida de precisión, pero a cambio obtienes una gran mejora en la velocidad de procesamiento y una reducción en los costos de recursos. En general, reducir el tamaño de las incrustaciones a la mitad disminuye la precisión en un 2 %, hasta llegar a 128 dimensiones; por debajo de ese nivel, la precisión cae mucho más rápido.

Las incrustaciones truncables permiten a los usuarios decidir el equilibrio óptimo entre precisión, velocidad y costo, según sus propios casos de uso.

Cuantificación

La familia de jina-embeddings-v5-omni también hereda un rendimiento sólido bajo cuantización de la base de jina-embeddings-v5-text. Esto aumenta aún más la velocidad y reduce los costos de cálculo y almacenamiento al almacenar números menos precisos. Los capacitamos para trabajar con Better BinaryQuantization(BBQ) de Elasticsearch para ofrecer un rendimiento casi idéntico a las incrustaciones no cuantizadas. En el conjunto de referencias de recuperación Massive Text Embedding Benchmark (MTEB), la binarización reduce el rendimiento en menos de un 3 % en comparación con los valores completos de 16 bits, a la vez que ahorra el 93 % del espacio y aumenta significativamente las velocidades de procesamiento y recuperación.

Rendimiento entre idiomas

jina-embeddings-v5-textEl extenso entrenamiento multilingüe se traslada a jina-embeddings-v5-omni, con casi 100 idiomas en el preentrenamiento de jina-embeddings-v5-text-smally 15 idiomas globales principales en el de jina-embeddings-v5-text-nano. Para medios de audio, el modelo Whisper-large-v3 cuenta con aproximadamente 100 idiomas en su entrenamiento, y los modelos de visión SigLip2 modificados por Qwen integrados en jina-embeddings-v5-omni-small y -nano fueron entrenados con datos de 201 lenguas y dialectos distintos.

Rendimiento de referencia

Texto

jina-embeddings-v5-omni los modelos son idénticos a los modelos de jina-embeddings-v5-text cuando se usan solo para texto. Son los de mejor rendimiento en el conjunto de referencias MMTEB en sus respectivas categorías de tamaño para incrustaciones de texto semánticas.

Figura 5: Tamaño y rendimiento de jina-embeddings-v5-omnien puntos en referencias de texto, en comparación con los modelos de la competencia. El tamaño citado no tiene extensiones de carga para otros medios.

Similitud semántica visual

En las referencias estándar de similitud semántica visual, jina-embeddings-v5-omni obtiene las mejores puntuaciones entre los modelos de tamaño comparable. Los modelos jina-embeddings-v5-omni muestran, con diferencia, el mejor rendimiento entre los modelos públicos de pesos abiertos de tamaño comparable. jina-embeddings-v5-omni-small solo es superado por un modelo tres veces más grande en tareas de similitud semántica visual, y jina-embeddings-v5-omni-nano solo es superado por jina-embeddings-v5-omni-small y por modelos entre 10 y 25 veces más grandes.

Figura 6: Puntuaciones promedio de referencia de similitud semántica visual para jina-embeddings-v5-omni-small, jina-embeddings-v5-omni-nano y modelos comparables, así como sus tamaños incluyendo extensiones de visión.

Recuperación visual de documentos

jina-embeddings-v5-omni-small es competitivo con modelos de tres y siete mil millones de parámetros, mientras se mantiene por debajo de mil millones de parámetros. jina-embeddings-v5-omni-nano destaca igualmente por su tamaño y supera a modelos diez a sesenta veces más grandes.

Figura 7: Puntuaciones medias de ViDoRe en la recuperación visual de documentos en seis referencia: DocVQA, InfoVQA, ShiftProj, SynAI, Tabfquad y TatDQA.

Recuperación de audio

En las referencias estándar de recuperación de audio MAEB (Massive Audio Embedding Benchmark), tanto jina-embeddings-v5-omni-small como jina-embeddings-v5-omni-nano se clasifican entre los mejores rendimientos. Solo modelos muy grandes —más de tres veces más grandes que jina-embeddings-v5-omni-small — superaban su puntuación.

Figura 8: Puntuación media para varios modelos en las referencias de recuperación de audio MAEB.

Aunque el modelo larger_clap_general de LAION mejora el puntaje de jina-embeddings-v5-omni-nano con menos parámetros, es un modelo solo de audio sin ninguna de las características multimodales adicionales de la suite v5-omni.

Video

En video, jina-embeddings-v5-omni-small sobresale en encontrar el lugar en un video que coincida con una búsqueda de texto. Las pruebas Charades-STA y MomentSeeker son las referencias estándar para esta tarea, y puedes ver en los gráficos a continuación que jina-embeddings-v5-omni-small es el que obtuvo la puntuación más alta entre los modelos de peso abierto comparables, a pesar de tener un tamaño mucho más pequeño.

Figura 9: puntuaciones de Charades-STA para varios modelos, junto con sus tamaños.

Figura 10: puntuaciones de MomentSeeker para varios modelos, junto con sus tamaños.

También comparamos jina-embeddings-v5-omni-small con Seed 1.6 de ByteDance, un modelo de peso cerrado con un número de parámetros no revelado. Nuestro modelo supera ampliamente a Seed 1.6 en la referencia de Charades-STA y casi lo iguala en MomentSeeker.

Modelo

Puntuación Charades-STA

Puntuación MomentSeeker

seed-1.6-embedding

29.30

59.30

jina-embeddings-v5-omni-small

55.57

58.93

Fortalezas y limitaciones

jina-embeddings-v5-omni los modelos amplían la capacidad de los usuarios para indexar, buscar y analizar información digitalizada de varias maneras, particularmente:

• Recuperación de voz multilingüe a partir de búsquedas de texto.

• PDF, escaneos y búsqueda visual de documentos.

• Localización temporal de videos, es decir, identificar partes de videos que coinciden con descripciones de texto en lenguaje natural.

• Clasificación de géneros de audio, incluyendo géneros musicales.

• Clasificación de imágenes basada en información de escena e identificación de objetos.

El rendimiento es más limitado en algunas otras áreas. Puede que sea posible usar jina-embeddings-v5-omni para realizar estas tareas, pero no nos capacitamos para ellas y los resultados pueden ser pobres.

Estamos trabajando activamente en mejorar nuestra tecnología en estas áreas:

• Encontrar videos específicos a partir de descripciones en lenguaje natural.

• Similitud semántica de imagen a imagen y recuperación.

• Clasificación de intención en la voz, como el reconocimiento de comandos verbales.

• Procesamiento de entradas de medios mixtos, es decir, imágenes y texto acompañantes, o audio, imágenes y textos combinados.

Usando jina-embeddings-v5-omni

Esta suite de modelos admite la entrada a través de tres puntos de entrada: texto, audio e imágenes y video juntos. jina-embeddings-v5-omni se ejecuta dentro de un marco de trabajo que convierte una amplia gama de formatos estándar y realiza otros preprocesamientos.

Procesamos imágenes usando el mismo enfoque de NaFlex de la versión inicial de Siglip2: si la entrada es menor que 262,144 píxeles (equivalente a 512x512), se ampliará hasta que sea mayor que ese mínimo; y si es mayor que 3,072,000 píxeles, entonces se reduce hasta que sea menor que ese máximo. El proceso de conversión garantiza que tanto la altura como el ancho de la imagen sean múltiplos de 14 píxeles, con la menor distorsión posible de la relación de aspecto para lograr ese objetivo. El resultado se divide en mosaicos de 28x28 píxeles, por lo que el número total de mosaicos es la cantidad de cuadrados de 28x28 necesarios para cubrir la imagen. Cada parche se trata como un solo token en el momento de la inferencia, y cada entrada de imagen va acompañada de tokens especiales de inicio y fin para delimitar una sola imagen.

Los modelos jina-embeddings-v5-omni modifican la resolución del video de la misma manera que se modifican las imágenes (ver arriba) y extraemos hasta 32 fotogramas del video. Si el video tiene más de 32 fotogramas (lo cual es probable, ya que los formatos estándar suelen ser de al menos 24 fotogramas por segundo), espaciamos uniformemente los fotogramas que extraemos. Luego, por cada dos fotogramas, el preprocesador de video genera un conjunto de tokens igual al número de cuadrados de 28x28 necesarios para cubrir el video.

Figura 11: jina-embeddings-v5-omni extrae 32 fotogramas equidistantes del video. Si tienes un video largo, esto significa que se perderá mucho.

Para obtener más detalles sobre el preprocesamiento de video, consulta la documentación técnica de SigLip2.

La tokenización de audio sigue el enfoque integrado en Qwen-2.5-Omni: Los archivos de audio se cortan en segmentos de 30 segundos; si duran más de 30 segundos, se remuestrean a 16 kHz y se transforman en un espectrograma Mel de 128 canales. Cada 40 ms se considera un solo token, así que cada segmento de 30 segundos se maneja como 750 tokens: un token por cada 40 ms de audio, más tokens especiales de inicio y fin para delimitar una sola muestra.

Para más detalles sobre el preprocesamiento de audio, consulta el reporte técnico de Qwen-2.5-Omni.

Disponibilidad

Tanto jina-embeddings-v5-omni-small como jina-embeddings-v5-omni-nano están disponibles en el Servicio de inferencia de Elastic (EIS), a través de la API de Jina y para instalación local mediante descarga (small y nano). Los pesos del modelo se distribuyen libremente para probar bajo una licencia no comercial. Ponte en contacto con Ventas de Elastic para uso comercial.

Primeros pasos

Para usar jina-embeddings-v5-omni para texto, puedes integrar usando el campo semantic_text igual que con jina-embeddings-v5-text. Solo tienes que poner la inference_id en .jina-embeddings-v5-omni-small o .jina-embeddings-v5-omni-nano. Consulta la Guía de referencia para las instrucciones.

Para incrustar otros medios con jina-embeddings-v5-omni, tienes que usar la API de inferencia. Por ejemplo:

Para jina-embeddings-v5-omni-nano, cambia el URI de POST a _inference/embedding/.jina-embeddings-v5-omni-nano.

Para codificar documentos en otros formatos o generar incrustaciones para la clasificación o el agrupamiento, debes crear un endpoint de inferencia con el servicio jinaai.

Para las búsquedas, usa el generador de búsquedas como en el ejemplo que aparece a continuación. Sustituye el valor inference_id por .jina-embeddings-v5-omni-nano para usar el modelo nano en lugar de small.

Consulta la documentación sobre el generador de búsquedas para obtener más información.

Para usar BBQ con jina-embeddings-v5-omni, sigue las instrucciones para la indexación de BBQ.

Más información

Para obtener más información sobre jina-embeddings-v5-omni, consulte el reporte técnico y la página del modelo en el sitio web de Jina AI. La página de la colección jina-embeddings-v5-omni en Hugging Face también contiene información técnica e instrucciones para descargar y ejecutar estos modelos localmente. Los modelos de jina-embeddings-v5-omni pueden descargarse con una licencia CC-BY-NC-4.0, por lo que puedes probarlos libremente, pero, para uso comercial, ponte en contacto con el departamento de ventas de Elastic.

Con esta integración, los usuarios de Elasticsearch obtienen una nueva opción de despliegue que mantiene los datos dentro de su perímetro de seguridad, ofrece costos previsibles de infraestructura y se ejecuta de forma nativa en Google Cloud. Al mismo tiempo, el ecosistema más amplio de Google Cloud obtiene acceso a los modelos de búsqueda y recuperación de última generación de Jina, diseñados específicamente para este fin.

Esta es la primera fase de una implementación más amplia. Junto con los modelos que vienen después, la selección formará una pila de recuperación completa: incrusta tus datos, incrusta búsquedas, recupera y reclasifica candidatos, y extiende la búsqueda a imágenes con incrustaciones multimodales, todo en la infraestructura que controles. Puedes empezar hoy mismo con jina-embeddings-v3, el modelo que ya impulsa las pipelines de búsqueda de producción en todo el ecosistema de Elasticsearch a través de Elastic Inference Service (EIS).

Modelo

Tipo

Parámetros

Capacidad clave

Estado en el Model Garden

`jina-embeddings-v3`

Incrustación de texto

572M

Un caballo de batalla multilingüe probado, con un contexto de 8000, una salida de 1024 dimensiones, truncable a 32

Disponible ahora

`jina-embeddings-v5-text-small`

Incrustación de texto

677M

Multilingüe sub-1B de última generación, contexto de 32 000, una salida de 1024 dimensiones, truncable a 32

Próximamente

`jina-embeddings-v5-text-nano`

Incrustación de texto

239M

El mejor de su categoría con menos de 500 millones de parámetros, contexto de 8000, una salida de 768 dimensiones, truncable a 32

Próximamente

`jina-reranker-v3`

Reclasificador

600M

Reclasificador por lista, contexto de 131K, hasta 64 documentos

Próximamente

`jina-clip-v2`

Incrustación multimodal

900 millones

Texto e imagen en un espacio compartido, 89 idiomas y un contexto de texto de 8000, imágenes de 512 × 512

Próximamente

Todos los modelos se ejecutan en una sola NVIDIA L4 (24 GB), el nivel de GPU más rentable de Google Cloud. La mayoría de los otros modelos de incrustación en Model Garden de Google Cloud requieren un A100 80 GB o H100, aproximadamente tres veces el costo de instancia por hora incluso antes de comenzar a contar tokens.

No se requiere licencia comercial adicional cuando se despliega a través de Vertex AI.

¿Por qué Model Garden?

¿Por qué desplegar a través de Model Garden en lugar de usar una API? Se reduce a tres cosas: control, costo y contexto.

Tus datos nunca salen de casa

Lo que más atrae a la mayoría de los desarrolladores es la arquitectura de autodespliegue. Cuando despliegas un modelo de Jina a través de Model Garden, los pesos se ejecutan en instancias de GPU dentro de tu propio proyecto de Google Cloud y tu propia VPC. Esto supone un cambio revolucionario para cualquiera que trabaje en sectores donde la seguridad de los datos es una preocupación, como las finanzas o la salud. Como no hay llamadas externas a API, tus datos confidenciales permanecen dentro de tu perímetro de seguridad.

Escalado con predicción

En lugar de pagar cada vez que incrustas una oración o reclasificas un documento, pagas un costo fijo por hora de instancia. Y dado que todos los modelos de Jina pueden ejecutarse en una sola NVIDIA L4, el nivel de GPU más asequible de Google Cloud, la barrera de entrada es baja. Tanto si procesas mil solicitudes como mil millones, tu factura de infraestructura se mantiene previsible. Este sistema te recompensa por aumentar tu tráfico en lugar de cobrarte impuestos por ello.

Todo bajo un mismo techo

Si tus datos ya están en Elasticsearch en Google Cloud, BigQuery o almacenamiento en el cloud, tiene sentido mantener tus motores de inferencia cerca. Al desplegar a través de Model Garden, los modelos de búsqueda de Jina heredan todas las características empresariales que ya estás utilizando: gestión de identidad y acceso (IAM) para el control de acceso, facturación unificada en tu factura existente de Google Cloud, y la capacidad de conectarse a las pipelines de Vertex AI para flujos de trabajo de operaciones de machine learning (MLOps).

Si bien la API de Jina AI Cloud y Elastic Cloud permiten escalar rápidamente ante picos de tráfico o integrarse con flujos de búsqueda ya existentes, Model Garden resulta la mejor opción para aplicaciones empresariales que exigen altos estándares de seguridad de datos y costos predecibles a gran escala. Elastic quiere adaptarse a tus necesidades.

Modelos de Jina AI

jina-embeddings-v3

Nuestro probado modelo de incrustación multilingüe con 572 millones de parámetros y 8000 de contexto de tokens. Obtiene una puntuación de 65,5 en el Massive Text Embedding Benchmark (MTEB) en inglés. Admite cinco adaptadores de adaptación de rango bajo (LoRA) específicos de la tarea (consulta de recuperación/pasaje, coincidencia de texto, clasificación, agrupar) y truncamiento de Matryoshka de 1024 a 64 dimensiones. Ya está ampliamente adoptado en todo el ecosistema de Elasticsearch a través de EIS.

Estamos liderando con la v3 porque muchos sistemas de producción ya dependen de ella. Si estás migrando una pipeline basado en la v3 a Google Cloud, ahora puedes ejecutar el mismo modelo de forma nativa sin tener que cambiar las dimensiones de incrustación ni volver a indexar.

jina-embeddings-v5-text (pequeño y nano)

Nuestros modelos de incrustación de texto de quinta generación, lanzados en febrero de 2026, logran un rendimiento de primer nivel, y compiten con modelos muchas veces más grandes.

v5-text-small (677 millones) obtiene una puntuación de 67,0 en el conjunto de pruebas MTEB multilingües (MMTEB), que abarca 131 tareas de nueve tipos de tareas, y 71,7 en el MTEB en inglés. Es el modelo de incrustación multilingüe sub-1B más potente en la tabla de clasificación de MTEB.

v5-text-nano (239 millones) obtiene una puntuación de 65,5 en MMTEB. Ningún otro modelo con menos de 500 millones de parámetros alcanza este nivel. Con menos de la mitad del tamaño que la mayoría de modelos comparables, es la elección natural para despliegues en el edge y sensibles a la latencia.

Ambos modelos son compatibles con:

• Cuatro adaptadores LoRA específicos para cada tarea: recuperación, coincidencia de texto, clasificación, agrupación. Se selecciona un adaptador apropiado a través del parámetro task en el momento de la inferencia.

• Truncamiento de dimensiones de Matryoshka: reduce las dimensiones de incrustación de 1024 (o 768 para nano) a 32. La pérdida de calidad es mínima con un truncamiento moderado (p. ej., 256 dimensiones). Reducir las dimensiones a la mitad supone, aproximadamente, reducir el espacio de almacenamiento a la mitad.

• Cuantización binaria: comprime incrustaciones de 1024 dimensiones de 2 KB a 128 bytes mediante binarización. Un entrenamiento especial hace que esta compresión tenga pérdidas mínimas.

• Multilingüe: 119 idiomas (pequeño) y 93 (nano).

jina-reranker-v3

Un reclasificador multilingüe de listas de 0,6 mil millones de parámetros construido con una arquitectura de interacción de vanguardia. La consulta y hasta 64 coincidencias candidatas se ingresan en una única ventana de contexto de 131 000 tokens, y el modelo realiza una comparación entre documentos antes de la puntuación. El reclasificador v3 de Jina alcanza un nDCG@10 de 61,94 en BEIR, lo que supera al modelo que tiene un tamaño seis veces menor. Esto difiere fundamentalmente de los reclasificadores puntuales, que puntúan cada documento de forma aislada, lo que produce mejores resultados, especialmente para la recuperación de pasajes de documentos individuales.

jina-clip-v2

Un modelo de incrustación multimodal y multilingüe de 0,9 mil millones que mapea texto e imágenes en un espacio compartido de 1024 dimensiones. Es compatible con:

• 89 idiomas para la recuperación de imágenes de texto.

• Resolución de imagen de 512 × 512.

• Entrada de texto de 8000 tokens.

• Truncamiento Matryoshka de 1024 a 64 dimensiones para ambas modalidades.

Altamente competitivo en pruebas comparativas de conversión de imagen a texto, incluidas las tareas multilingües.

Primeros pasos

Jina Embeddings v3 está disponible en Model Garden hoy. Aquí te explicamos cómo ponerlo en marcha.

Necesitas un proyecto de Google Cloud con la API de Vertex AI habilitada y suficiente cuota de GPU para al menos una instancia g2-standard-8 (NVIDIA L4). Si eres nuevo en Google Cloud, empieza por la guía de configuración.

La página Model Garden para las incrustaciones v3 de Jina te guía por todo el flujo: sube el modelo, crea un endpoint, elige el tipo de máquina y despliega. Ábrela en tu propio proyecto y sigue los pasos guiados. Las máquinas A100 y H100 también están disponibles donde la región y la cuota lo permitan, pero L4 es todo lo que necesitas para comenzar.

Desde el clic hasta la primera incrustación, todo el proceso toma unos minutos.

Lo que viene después

Las incrustaciones v3 de Jina son el punto de partida. En las próximas semanas, llevaremos el resto de la pila de recuperación de Jina a Model Garden: incrustaciones de texto v5 (pequeñas y nano), jina-reranker-v3 y jina-clip-v2 para búsqueda multimodal. Todos se ejecutarán en una sola GPU L4 con el mismo modelo de autodespliegue.

Las organizaciones acumulan grandes colecciones de documentos, como tickets de soporte, presentaciones legales, feeds de noticias y trabajos de investigación, pero para poder hacer las preguntas correctas, primero necesitan entender lo que contienen. Sin etiquetas o datos de entrenamiento, revisar manualmente miles de documentos es poco práctico. La búsqueda tradicional no es útil cuando no sabes qué buscar.

Esta publicación describe un enfoque nativo de Elasticsearch para la agrupación no supervisada de documentos y el seguimiento temporal de temas que aborda este problema de descubrimiento. Después de leerla, podrás seguir la evolución de distintos temas a lo largo de varios días:

Lo que descubrirás:

• Por qué las incrustaciones de agrupación (y no las incrustaciones de recuperación) son fundamentales para descubrir temas sin una consulta.

• Cómo la clasificación de centroides con sonda de densidad agrupa documentos por tema usando Elasticsearch k vecinos más cercanos (kNN) y lotes de msearch.

• ¿Cómo puede significant_text autoetiquetar clústeres para que los temas sean legibles sin entrenar un modelo?

• De qué forma las cadenas temporales de temas conectan los clústeres de datos diarios para mostrar la evolución de los temas día a día.

El pipeline utiliza unos 8500 artículos de febrero de 2025 de BBC News y The Guardian como corpus de prueba. Si bien las noticias son convenientes porque tienen un comportamiento temporal claro, el patrón es aplicable si el descubrimiento de documentos es importante: revisión legal, monitoreo del cumplimiento normativo, síntesis de investigación, triage de atención al cliente.

Stack:

• Jina v5 incrustaciones de agrupación: adaptadores específicos de Low-Rank Adaptation (LoRA) para la agrupación de temas. Jina se unió a Elastic, y sus modelos están disponibles de forma nativa a través del Elastic Inference Service (EIS).

• Elasticsearch: kNN escalable, etiquetado significant_text y almacenamiento de vectores.

• DiskBBQ: un formato de índice vectorial basado en disco que combina Better Binary Quantization (BBQ) con una partición jerárquica k-medios para la aceleración aproximada de los vecinos más cercanos (ANN). Esta partición de índice es interna a la búsqueda vectorial y separada del algoritmo de agrupación con sonda de densidad utilizado en esta publicación. bbq_disk almacena vectores cuantificados en el disco y mantiene solo los metadatos de partición en el heap, lo que reduce drásticamente los requisitos de recursos en comparación con bbq_hnsw, mientras mantiene un alto nivel de recuperación.

• Agrupación global + vinculación temporal diaria: descubrimiento y evolución del tema.

Lo que necesitarás:

• Un despliegue de Elasticsearch (Elastic Cloud, Elasticsearch Serverless o Elastic Self-Managed 8.18+/9.0+): bbq_disk requiere la versión 8.18 o posterior. La sección opcional de recuperación diversificada requiere 9.3+ o sin servidor.

• Una clave de API de Jina: la capa gratuita incluye 10 millones de tokens, lo que cubre la pipeline de agrupación del núcleo (~4.25 millones de tokens). La comparación opcional entre recuperación y agrupación usa una segunda pasada de incrustación.

• Una clave API de Guardian (gratis).

Configuración

Instala los paquetes requeridos:

Opcional (solo si ejecutas los asistentes de raspado desde este repositorio):

Luego configura las claves API en un archivo .env en la raíz del proyecto:

Este cuaderno llama a load_dotenv(override=True), por lo que los valores locales .env tienen prioridad.

Parte 1: agrupación de descubrimiento - ¿Por qué agrupar incrustaciones?

La mayoría de las búsquedas vectoriales usan incrustaciones de recuperación entrenadas para hacer coincidir una consulta con documentos relevantes. Eso es ideal para la búsqueda, pero no para el descubrimiento. Cuando quieras encontrar qué temas existen en un corpus sin ninguna consulta, necesitas incrustaciones que agrupen documentos similares.

Jina v5 resuelve esto con adaptadores de Low-Rank Adaptation (LoRA) específicos para cada tarea. LoRA agrega pequeñas actualizaciones de bajo rango a las capas internas específicas mientras mantiene la mayoría de los pesos del modelo base congelados, por lo que el comportamiento del modelo se desplaza hacia una tarea específica sin repetir el entrenamiento completo. El mismo modelo base produce diferentes incrustaciones según el parámetro task:

Tarea

Capacitado para

Caso de uso

retrieval.passage

Coincidencia búsqueda-documento

Búsqueda, Retrieval-Augmented Generation (RAG)

agrupación

Agrupación de temas (optimizada para clústeres estrechos)

Descubrimiento, categorización

El adaptador de agrupación está entrenado para hacer que los documentos sobre el mismo tema estén más cerca en el espacio de incrustaciones y que los documentos sobre temas diferentes estén más separados. La comparación visual a continuación muestra la diferencia de forma concreta.

Recuperación frente a agrupación: una comparación visual

Para ver la diferencia, se incrusta una muestra de documentos con ambos tipos de tareas. La agrupación se realiza en el espacio de incrustación original de 1024 dimensiones; Uniform Manifold Approximation and Projection (UMAP) se usa solo para proyectar esas incrustaciones en 2D para su visualización. UMAP preserva la estructura de vecindad local, por lo cual es útil para comparar la separación entre clústeres.

A continuación, se muestra la misma muestra de 480 documentos con ambos tipos de tareas y proyectada en 2D con UMAP. Busca grupos de colores más compactos y mejor diferenciados en el panel de agrupación.

Las incrustaciones de recuperación (izquierda) distribuyen los temas ampliamente; las incrustaciones de agrupación (derecha) producen grupos más ajustados y separados de los mismos documentos.

Las incrustaciones de agrupación producen grupos más compactos y visualmente más distintivos. Las incrustaciones de recuperación distribuyen los temas de manera más uniforme, ideales para la búsqueda (similitud de grano fino); pero para el descubrimiento, los clústeres temáticos compactos son lo que importa.

Esta es la razón por la que task="clustering" se usa para el resto de este recorrido.

Carga de los sets de datos

El corpus combina dos fuentes de noticias para febrero de 2025:

• BBC News a través del set de datos RealTimeData/BBC_News_AllTime HuggingFace.

• The Guardian a través de la API de Guardian Open Platform.

Tener varias fuentes permite validar que la agrupación encuentra temas en lugar de estilo específico de la fuente.

Incrustar con la tarea de agrupación

La API de Jina v5 se llama con task="clustering" para todos los documentos. Las incrustaciones se almacenan en caché en disco, por lo que las ejecuciones posteriores se saltan la API por completo.

La llamada a la API es muy sencilla. El parámetro task es la diferencia clave con respecto al uso típico de incrustación:

El tiempo que se muestra a continuación refleja un acierto de caché. La primera ejecución contra la API lleva más tiempo, según el tamaño del corpus.

Indexar un índice único de Elasticsearch

Para la agrupación por descubrimiento, el mes completo se destina a un índice (docs-clustering-all). La partición diaria se realiza más tarde para la vinculación temporal de temas.

El mapeo de índices emplea bbq_disk para el campo vectorial:

Un vector float32 de 1024 dimensiones es de 4 KB. bbq_disk usa k-medios jerárquicos para particionar vectores en pequeños clústeres, los cuantifica en binario y almacena los vectores de precisión completa en el disco para volver a guardarlos. Solo los metadatos de partición permanecen en el heap, por lo que los requisitos de memoria permanecen bajos incluso para corpus grandes. Para las cargas de trabajo que pueden permitirse más memoria dinámica, bbq_hnsw crea un grafo HNSW (Hierarchical Navigable Small World) para agilizar las búsquedas, aunque a costa de un mayor consumo de recursos.

El tipo de campo dense_vector brinda soporte para múltiples estrategias de cuantización: bbq_disk y bbq_hnsw son las más adecuadas para embeddings de alta dimensión, como los vectores de 1024 dimensiones usados aquí.

Agrupación: clasificación del centroide sondeada por densidad

Los algoritmos de agrupación tradicionales como HDBSCAN asumen que puedes mantener la matriz de vectores N × d completa en memoria y ejecutar actualizaciones de pasada completa repetidas. Para 8495 documentos con 1024 dimensiones, esto es manejable (~35 MB), pero el enfoque no escala a millones de documentos sin infraestructura adicional.

Este algoritmo es conceptualmente similar a la inicialización de KMedios++ con asignación de Voronoi y un nivel de ruido, pero emplea la búsqueda kNN de Elasticsearch como primitiva de cálculo, manteniendo casi todo el trabajo en el servidor:

1. Muestrea el 5 % de los documentos como sondas de densidad (muestra aleatoria, mínimo 50).

2. Densidad de sondas vía lotes de msearch kNN. Cada sonda dispara una búsqueda kNN y registra la similitud media de sus vecinos. Alta similitud media = región densa del espacio de incrustación. msearch envía múltiples solicitudes de búsqueda en una sola llamada HTTP, lo cual es fundamental en este caso: el sondeo de densidad genera cientos de consultas kNN, y agruparlas evita la sobrecarga por solicitud.

3. Seleccione semillas de alta densidad con diversificación: los candidatos por encima de la densidad mediana se ordenan por densidad descendente y se aceptan de manera ávida solo cuando su similitud del coseno con cada semilla existente está por debajo de un umbral de separación. Este es el único cómputo del lado del cliente (~0.01s para 8k docs).

4. Clasifica todos los documentos frente a los centroides mediante msearch kNN: cada semilla actúa como un centroide; una búsqueda kNN recupera documentos cercanos por encima de un umbral de similitud. Cada documento se asigna al centroide que lo devolvió con la puntuación más alta. Los clústeres pequeños se disuelven en ruido.

Elasticsearch se encarga del trabajo pesado: msearch para sondas de densidad, msearch para clasificación y significant_text para etiquetado. Para este corpus (8495 documentos), la muestra del 5 % de sondeo de densidad lanza 425 consultas kNN de sondeo, que msearch agrupa en nueve llamadas HTTP (con lotes de 50), lo que evita la sobrecarga de una solicitud por sondeo. Combinado con la búsqueda ANN de bbq_disk, esto mantiene la etapa de agrupación rápida y escalable. Las consultas kNN usan un valor mínimo de num_candidates para mayor velocidad durante la pasada de agrupación; las consultas de búsqueda de producción deben usar valores más altos de num_candidates para mejorar la recuperación a costa de la latencia.

Los clústeres tienen tamaños naturales determinados por la densidad del espacio de incrustación alrededor de cada centroide, no por un límite rígido de k. Las regiones temáticas densas producen clústeres más grandes; los temas de nicho producen clústeres más pequeños.

¿Por qué no KMeans o HDBSCAN?

KMedios asume clústeres esféricos y requiere la matriz N×d completa en memoria. Para corpus que caben en memoria, HDBSCAN es una alternativa estable. Maneja formas arbitrarias de clústeres y tiene una semántica de densidad bien entendida.

El enfoque de centroides con sondeo de densidad apunta a un nicho diferente: corpus con almacenamiento, recuperación y agrupación en un solo sistema, o en los que la escala hace que las operaciones matriciales del lado del cliente sean poco prácticas. Usa Elasticsearch kNN como primitiva de cómputo, maneja tamaños de clúster arbitrarios y mantiene casi todo el procesamiento del lado del servidor.

Comprender la tasa de ruido

La tasa de ruido de ~28 % es intencional, no un modo de falla. Los documentos que no encajan en ningún clúster denso en el similarity_threshold configurado quedan sin asignar en vez de ser forzados a una coincidencia deficiente. Esto actúa como un control de calidad: las columnas de opinión, los artículos cortos y las historias aisladas resisten naturalmente la acción de agrupar porque carecen de la densidad temática que define un grupo coherente.

El umbral es ajustable: reducir similarity_threshold produce una agrupación más agresiva (más documentos asignados, pero clústeres más dispersos), mientras que aumentarlo ajusta los clústeres e incrementa la fracción de ruido. Para este corpus de contenido de noticias mixtas, ~30 % de ruido es un punto de operación razonable. Los despliegues de producción deben ajustar el umbral según criterios de calidad específicos del dominio.

Etiquetas automáticas con significant_text

Ahora cada clúster necesita una etiqueta legible para humanos. La agregación significant_text de Elasticsearch encuentra términos que aparecen inusualmente a menudo en un conjunto en primer plano (el clúster) en comparación con un conjunto de fondo (el corpus completo).

En el fondo, utiliza una heurística estadística (puntuación JLH de forma predeterminada) que equilibra los cambios de frecuencia absoluta y relativa, sin machine learning, sin llamadas a modelos de lenguaje grandes (LLM). Un clúster sobre política del Reino Unido podría mostrar términos como starmer, labour, downing porque esos términos son desproporcionadamente comunes en ese clúster en comparación con el corpus de noticias general.

Para esta pasada global, las etiquetas se calculan directamente con respecto a docs-clustering-all, por lo que tanto el primer plano como el fondo se extraen del mes completo. En la parte 2, el etiquetado usa el patrón de índice diario (docs-clustering-*), un comodín que permite que las búsquedas abarquen todos los índices coincidentes simultáneamente, para darle a significant_text un fondo más amplio y lograr un mejor contraste.

Una forma mínima de consulta se ve así:

significant_text también sirve como control de calidad: los clústeres que no producen términos importantes no tienen vocabulario distintivo. Son agrupaciones incoherentes que deberían disolverse de nuevo en ruido en lugar de recibir una etiqueta engañosa.

Un paso de limpieza determinista y ligero elimina los términos de etiqueta ruidosos (tokens numéricos, palabras genéricas) y recurre a un titular representativo cuando es necesario. Esto mantiene las etiquetas nativas de Elasticsearch y, al mismo tiempo, mejora la legibilidad.

Visualizar los clústeres

Las visualizaciones a continuación muestran lo que descubrió la pasada global de agrupación: un desglose por fecha de los documentos agrupados frente a los documentos de ruido, una proyección UMAP del mes completo y un gráfico de combinación de fuentes que confirma que los clústeres reflejan temas en lugar de fuentes.

Distribución diaria de documentos agrupados frente a documentos de ruido a lo largo de febrero de 2025.

Cada isla coloreada en el UMAP representa un clúster: un grupo de artículos sobre el mismo tema descubiertos únicamente a partir de la similitud de incrustación. Los puntos de ruido gris son artículos que no encajaban perfectamente en ningún clúster (a menudo artículos cortos, artículos de opinión o historias únicas).

El gráfico de desglose de fuentes confirma que los clústeres contienen artículos de ambas BBC News y The Guardian. La agrupación está encontrando temas, no fuentes: exactamente lo que el descubrimiento no supervisado debería arrojar.

Explorar la amplitud del clúster con el recuperador diversificado

El kNN simple devuelve los documentos más similares al centroide de un clúster (el núcleo compacto). Pero los clústeres reales cubren subtemas. El recuperador diversificado utiliza Maximal Marginal Relevance (MMR) para mostrar documentos que son relevantes para el centroide pero también diferentes entre sí.

El parámetro clave es λ (lambda):

• λ = 1.0 → pura relevancia (igual que kNN simple).

• λ = 0.0 → diversidad pura (resultados de máxima distribución).

• λ = 0.5 → equilibrado: es relevante para el tema, pero cubre diferentes ángulos.

Una solicitud mínima de recuperador tiene el siguiente aspecto:

Los parámetros type, field y query_vector son necesarios a nivel de diversificación: field indica al MMR qué campo dense_vector usar para la similitud entre resultados, y query_vector proporciona el punto de referencia para el puntaje de relevancia.

Esto te permite responder: “¿Qué abarca realmente este clúster?” en vez de solo “¿Qué hay en su centro?”

Los resultados simples de kNN se agrupan en torno a un ángulo del tema: los documentos más similares al centroide y entre sí. El recuperador diversificado muestra diferentes facetas del mismo clúster: subtemas, fuentes diferentes y perspectivas variadas.

La métrica de diversidad confirma esto cuantitativamente: la similitud promedio por pares es menor en los resultados del recuperador diversificado, lo que significa que los documentos arrojados tienen mayor alcance.

Esto es útil para:

• Comprender el alcance real de un clúster: no solo su centro, sino también sus bordes.

• Generar resúmenes. Los documentos diversos y representativos le dan a un LLM mejor material.

• Encontrar ejemplos representativos para revisión humana o etiquetado posterior.

• Controles de calidad. Si los diversos resultados parecen incoherentes, es posible que el clúster deba dividirse.

Parte 2: cadenas temáticas temporales

Seguimiento de temas con el paso de los días

La parte 1 agrupó todo el mes a nivel global para el descubrimiento de temas. Para el flujo temporal, la misma clasificación de centroides con sonda de densidad se ejecuta independientemente por día en los índices diarios, y luego los clústeres se vinculan en días adyacentes. Tenga en cuenta que los clústeres diarios son independientes de los clústeres globales de la parte 1; cada día produce sus propias asignaciones y etiquetas de clúster ajustadas al contenido de ese día.

El enfoque de enlazado: muestra y consulta

Para cada clúster el día A:

1. Muestra algunos documentos representativos.

2. Ejecuta kNN contra el índice del día B.

3. Cuenta cuántas coincidencias se registran en cada clúster del día B.

4. Si la fracción de aciertos excede un umbral (fracción kNN ≥ 0.4), registra un enlace.

Esto es rápido (solo se consultan unos pocos documentos por clúster, no todos) y usa el kNN nativo de Elasticsearch, sin necesidad de herramientas externas.

Una fracción kNN del 100 % significa que cada documento muestreado del clúster de origen llegó al mismo clúster de destino, el vínculo entre días más fuerte posible. La mayoría de los vínculos anteriores están relacionados con el fútbol, lo que tiene sentido: la cobertura de la Premier League se ejecuta a diario con alta consistencia temática.

El enlace score | operator | gedling → league | striker | season es un ejemplo de un clúster de fútbol local de nicho (Gedling es un club de liga no profesional) que se integra en el clúster más amplio de la Premier League al día siguiente, una consecuencia natural de la reagrupación diaria a diferentes niveles de granularidad.

Construyendo cadenas de historias

Una cadena de temas es una secuencia de agrupaciones vinculadas en días consecutivos.

Los enlaces individuales por pares indican que el clúster "Política del Reino Unido" del lunes se conecta con el del martes. Las cadenas revelan la evolución completa: una historia que comienza el lunes, evoluciona a lo largo de la semana y se desvanece el viernes.

Las cadenas se construyen de forma voraz a partir de enlaces con una fracción kNN ≥ 0.4, lo que significa que al menos el 40 % de los documentos muestreados del clúster de origen terminaron en un único clúster de destino. Comenzando desde el clúster más antiguo, el algoritmo siempre sigue el enlace saliente más fuerte.

La cadena más larga rastrea la cobertura Ucrania-Rusia durante 19 días consecutivos, lo cual no es sorprendente dado el sostenido nivel de intensidad geopolítica en febrero de 2025. El segundo más largo sigue al fútbol de la Premier League durante 19 días del mes. Las cadenas más cortas capturan la temporada de premios (cine/premios, seis días), el rugby de las Seis Naciones (10 días) y la cobertura del liderazgo político del Reino Unido (siete días). Cada cadena representa una evolución temática que el algoritmo descubrió puramente a partir de la similitud de incrustaciones a través de índices diarios.

Sankey: visualizando el flujo de la historia

Un diagrama de Sankey es una visualización de un flujo en la que el grosor de los enlaces indica la intensidad de la conexión. Aquí, cada banda vertical es un día, cada nodo es un clúster diario (dimensionado por el recuento de documentos) y cada ruta de color traza una cadena de temas a lo largo del tiempo. El ancho del enlace codifica la fuerza de superposición de kNN: los enlaces más gruesos significan que más documentos muestreados llegaron al clúster de destino. Los colores son consistentes por cadena, así que una sola ruta de color de izquierda a derecha se lee como la progresión de un tema.

Por ejemplo, la cadena Ucrania-Rusia (que se ve como una de las rutas más largas) fluye de manera continua desde principios de febrero hasta la tercera semana, con enlaces que se mantienen gruesos, lo que indica una fuerte continuidad temática a lo largo de los días.

Cadenas temporales de temas que se desarrollan a lo largo de febrero de 2025. Cada camino coloreado es un tema que persiste a lo largo de los días; el ancho del enlace indica la fuerza de superposición kNN.

Qué ofrece este enfoque

Esta guía cubrió una pipeline completa de agrupación de documentos sin supervisión desarrollada sobre Elasticsearch:

1. Agrupar incrustaciones: los adaptadores específicos de la tarea de Jina v5 producen incrustaciones optimizadas para la agrupación por temas, no solo para la coincidencia entre consulta y documento.

2. Agrupación de descubrimiento global: agrupar el mes completo en un índice maximiza el descubrimiento de temas entre días.

3. Clasificación de centroides con densidad probada: muestrea el 5 %, sondea densidad vía msearch kNN, selecciona semillas diversas de alta densidad, clasifica todos los documentos contra los centroides. Elasticsearch maneja el cómputo pesado; solo la selección de semillas se ejecuta del lado del cliente (~0.01 s).

4. significant_text etiquetado: las pruebas de significancia producen etiquetas de clúster significativas sin ningún modelo de ML o anotación manual. Los clústeres que no producen términos significativos son incoherentes y se degradan a ruido: una barrera de calidad integrada.

5. Vinculación temporal de temas: los índices diarios y el rastreo de muestras y consultas de kNN entre índices permiten rastrear cómo evolucionan los temas a lo largo del tiempo.

Conclusiones clave:

• El tipo de tarea de incrustación es importante: las incrustaciones de agrupación producen grupos temáticos notablemente más compactos.

• Elasticsearch puede funcionar tanto como capa de almacenamiento como motor de agrupación mediante búsqueda kNN.

• La clasificación de centroides con sonda de densidad mantiene casi todos los datos del lado del servidor y produce clústeres con tamaños naturales determinados por la densidad de espacio de incrustaciones.

• significant_text es rápido, interpretable y efectivo tanto para el etiquetado automático como para el control de calidad.

Este enfoque es útil en los siguientes casos:

• Tienes texto con fecha y quieres descubrir un tema sin datos de entrenamiento etiquetados.

• Deseas una pila para almacenamiento, búsqueda de vectores, etiquetado y vinculación temporal.

Extensiones para explorar:

• Agrupación de varios períodos (resúmenes semanales y mensuales).

• Ingesta en tiempo real con asignación incremental de clúster.

• Resúmenes de clústeres generados por LLM usando los términos de significant_text como semillas.

• A mayor escala, los centroides de K-Medios obtenidos mediante muestreo pueden servir como semillas de inicio rápido para la agrupación basada en densidad, lo que reduce el costo de la fase de exploración.

Pruébalo tú mismo

Sustituye el corpus de documentos con marcas de tiempo por el tuyo; cualquier colección de texto con fechas funciona con este pipeline. El cuaderno completo y el código de soporte están disponibles en el repositorio complementario.

• Activa una prueba gratuita de Elastic Cloud: crea un clúster administrado con soporte para bbq_disk en cuestión de minutos.

• Prueba Elasticsearch Serverless: sin gestión de clústeres, escala automáticamente y brinda soporte para todo en este tutorial.

La familia incluye dos modelos:

• jina-embeddings-v5-text-small

• jina-embeddings-v5-text-nano

Estos modelos son el resultado exitoso de una receta de entrenamiento innovadora para modelos de incrustación. Ambos superan a modelos varias veces más grandes, lo que genera ahorros en memoria y recursos informáticos y responde más rápido a las solicitudes.

El modelo jina-embeddings-v5-text-small tiene 677 millones de parámetros, admite una ventana de contexto de entrada de 32 768 tokens y produce incrustaciones de 1024 dimensiones por defecto.

jina-embeddings-v5-text-nano Pesa aproximadamente un tercio del tamaño de su hermano, con 239 millones de parámetros y una ventana de contexto de entrada de 8192 tokens, lo que produce incrustaciones compactas de 768 dimensiones.

Nombre del modelo

Tamaño total

Tamaño de la ventana de contexto de entrada

Tamaño de incrustación

jina-v5-text-small

677M parámetros

32768 tokens

1024 dimensiones

jina-v5-text-nano

239M parámetros

8192 tokens

768 dimensiones

Estos dos modelos son los mejores en su categoría en cuanto al rendimiento general en la evaluación comparativa MMTEB (MTEB multilingüe). Entre los modelos con menos de 500 millones de parámetros, jina-embeddings-v5-text-nano es el de mejor rendimiento, a pesar de tener menos de 250 millones de parámetros, y el modelo jina-embeddings-v5-text-small es el líder entre los modelos de incrustación multilingüe con menos de 750 millones de parámetros.

Estos modelos están disponibles a través del Elastic Inference Service (EIS), mediante una API en línea y están disponibles para alojamiento local. Para obtener instrucciones sobre cómo acceder a los modelos jina-embeddings-v5-text, consulta la sección “Primeros pasos” a continuación.

Los modelos de incrustación y la indexación semántica aumentan considerablemente la precisión de los algoritmos de búsqueda, pero también tienen otros usos para tareas relacionadas con la similitud semántica y la extracción de significado, por ejemplo:

• Búsqueda de textos duplicados.

• Reconocimiento de paráfrasis y traducciones.

• Descubrimiento de temas.

• Motores de recomendación.

• Análisis de sentimiento e intención.

• Filtrado de spam.

• Y muchos otros.

Características

Esta nueva familia de modelos cuenta con varias características diseñadas para mejorar la relevancia y reducir costos.

Optimización de tareas

Optimizamos los modelos jina-embeddings-v5-text para cuatro tipos generales de tareas:

Tarea

Ejemplos de casos de uso

Recuperación

Buscar con consultas en lenguaje natural y recuperar las coincidencias más relevantes en una colección de documentos.

Coincidencia de texto

Similitud semántica, deduplicación, paráfrasis y alineación de traducciones, y mucho más.

Agrupación

Descubrimiento de temas, organización automática de colecciones de documentos.

Clasificación

Categorización de documentos, detección de sentimientos e intenciones, tareas similares.

La optimización para una tarea suele implicar tener que renunciar a otra, por lo que la mayoría de los modelos de incrustación solo tienen un rendimiento competitivo para un tipo de tarea. Pero los modelos jina-embeddings-v5-text pueden especializarse en las cuatro áreas sin comprometer el entrenamiento de adaptadores de Low-Rank Adaptation (LoRA) específicos para cada tarea.

Los adaptadores de LoRA son un tipo de plugin para un modelo de AI que cambia drásticamente su comportamiento y solo aumenta ligeramente el tamaño total. En lugar de tener un modelo completo para cada tarea, cada uno con cientos de millones de parámetros, la familia de modelos jina-embeddings-v5-text te permite usar solo un modelo con un adaptador de LoRA compacto para cada tarea. Esto ahorra memoria, espacio de almacenamiento y costos de inferencia.

Incrustaciones truncadas

Entrenamos los modelos jina-embeddings-v5-text utilizando Aprendizaje de representación de Matryoshka, que te permite reducir tus incrustaciones a tamaños más pequeños con un costo mínimo para su calidad.

Por defecto, jina-embeddings-v5-text-small genera vectores de incrustación de 1024 dimensiones, cada uno representado por un número de 16 bits, lo que hace que cada incrustación tenga 2 KB de tamaño. En el caso de una gran colección de documentos, esto puede suponer una gran cantidad de datos que almacenar, y la búsqueda en una base de datos vectorial llena de incrustaciones es proporcional tanto al tamaño de la base de datos como al número de dimensiones que tiene cada vector almacenado.

Pero puedes simplemente reducir a la mitad el tamaño de las incrustaciones (desechar 512 de las 1024 dimensiones) y ocupar la mitad del espacio mientras duplicas las velocidades de búsqueda. Esto tiene un impacto en el rendimiento. Eliminar parte de la información reduce la precisión. Sin embargo, como muestra el grafo siguiente, incluso al eliminar la mitad de la incrustación, el rendimiento solo se reduce ligeramente:

Siempre y cuando tus incrustaciones tengan al menos 256 dimensiones, la pérdida de precisión debería ser bastante pequeña. Sin embargo, por debajo de ese nivel, la relevancia y la precisión se deterioran rápidamente.

Las incrustaciones truncadas como esta permiten a los usuarios gestionar sus propias compensaciones entre precisión y costos de computación. Te dan las herramientas para obtener grandes ganancias de eficiencia y grandes ahorros de costos de tu AI de búsqueda.

Cuantización robusta

La cuantización es otra forma de reducir el tamaño de las incrustaciones. En lugar de desechar parte de cada incrustación, la cuantización reduce la precisión de los números en la incrustación. Los modelos jina-embeddings-v5-text generan incrustaciones con números de 16 bits, pero podemos redondear esos números, reduciendo su precisión y la cantidad de bits necesarios para almacenarlos. En el caso más extremo, podemos reducir cada número a un bit (0 o 1), comprimiendo las incrustaciones predeterminadas de 1024 dimensiones jina-embeddings-v5-textde 2 kilobytes a 128 bytes, una reducción del 94 % solo por cuantización binaria. Al igual que para el truncamiento, esto produce grandes ahorros en memoria y costos de computación. Sin embargo, al igual que el truncamiento, la cuantización reduce la precisión de las incrustaciones.

Entrenamos los modelos de jina-embeddings-v5-text para que funcionen con Better Binary Quantization de Elasticsearch al minimizar esa pérdida de precisión, y las pruebas de evaluación comparativa de incrustaciones binarizadas de estos modelos muestran un rendimiento casi igual al de sus equivalentes no binarizados. Consulta el reporte técnico para obtener estudios detallados sobre el rendimiento de la binarización.

Rendimiento multilingüe

Muchos modelos de incrustación son multilingües porque se entrenaron con materiales que incluyen un gran número de idiomas. Pero eso no significa que todos funcionen igual de bien en todos los idiomas compatibles.

Identificamos 211 idiomas en la evaluación comparativa multilingüe MMTEB y los separamos para poder comparar nuestros modelos con modelos similares idioma por idioma. La imagen de abajo resume nuestros resultados como un mapa de calor. Cada parche es un idioma (identificado por su código ISO-639), y cuanto más verde sea, mejor rendimiento tuvo el modelo en comparación con el promedio de modelos similares:

Aunque la precisión varía entre idiomas, los modelos jina-embeddings-v5-text son de última generación o casi lo son en la mayoría de los idiomas del mundo.

Para obtener detalles sobre el rendimiento multilingüe, consulta el reporte técnico jina-embeddings-v5-text.

Jina en Elastic: IA nativa de última generación para búsqueda

Con los modelos jina-embeddings-v5-text en EIS, puedes ejecutar modelos de incrustación multilingüe de alto rendimiento de forma nativa en Elasticsearch, con inferencia totalmente gestionada y acelerada por GPU y sin infraestructura para aprovisionar o escalar. Los modelos jina-embeddings-v5-text amplían el creciente catálogo de modelos EIS con modelos compactos y multilingües impulsados por los últimos desarrollos en AI. Estos modelos tienen un rendimiento de última generación en recuperación de información y análisis de datos estándar, y ofrecen un soporte multilingüe inigualable que abarca todo el globo.

Con dos modelos de tamaños muy diferentes, los usuarios pueden determinar cuál es el más adecuado para sus aplicaciones y presupuestos. Además, con incrustaciones sólidas que siguen siendo eficientes cuando se truncan a tamaños más pequeños o se cuantifican con menor precisión, los modelos jina-embeddings-v5-text ofrecen oportunidades para ahorros concretos adicionales en costos de almacenamiento y computación, así como en latencia de procesamiento.

Con la familia jina-embeddings-v5-text , Jina Reranker y la rápida búsqueda vectorial y BM25 de Elastic, los usuarios ahora tienen acceso a la búsqueda híbrida de última generación de extremo a extremo de Elastic. Cuando necesitas los resultados más relevantes, ya sea para pipelines de Retrieval-Augmented Generation (RAG), aplicaciones de búsqueda o análisis de datos, Elastic con modelos de AI de búsqueda Jina ofrece una calidad estable y rentable.

Primeros pasos

Los modelos jina-embeddings-v5-text están completamente integrados en EIS y puedes usarlos al configurar el campotypeensemantic_text al crear tu índice y especificar el modelo (jina-embeddings-v5-text-small o jina-embeddings-v5-text-nano) en el campo inference_id, como en este ejemplo:

Elasticsearch selecciona automáticamente el adaptador de LoRA adecuado durante la indexación y la recuperación. Las dimensiones de incrustación (consulta la sección “Incrustaciones truncadas” anterior) se pueden establecer al crear un endpoint de inferencia personalizado.

Consulta la documentación de Elasticsearch para obtener más información sobre el uso de modelos jina-embeddings-v5-text .

Más información

Para obtener más información sobre los modelos jina-embeddings-v5-text, lee las notas de lanzamiento en el blog de Jina AI y el reporte técnico, con información técnica más detallada sobre el rendimiento y el nuevo procedimiento de entrenamiento innovador de Jina AI. Para obtener información sobre cómo descargar y ejecutar estos modelos localmente, visita la jina-embeddings-v5-text página de la colección en Hugging Face.

Los modelos de Jina AI están disponibles bajo una licencia CC-BY-NC-4.0, así que puedes descargarlos y probarlos libremente, pero para uso comercial, ponte en contacto con Ventas de Elastic.

Los modelos de Jina se dividen en tres amplias categorías diseñadas para apoyar el procesamiento, la organización y la recuperación de información:

• Modelos de incrustación semántica

• Modelos de reordenamiento

• Pequeños modelos de lenguaje generativo

Modelos de incrustación semántica

La idea detrás de las incrustaciones semánticas es que un modelo de IA puede aprender a representar aspectos del significado de sus entradas en términos de la geometría de espacios de alta dimensión.

Puedes pensar en una incrustación semántica como un punto (técnicamente un vector) en un espacio de alta dimensión. Un modelo de incrustación es una red neuronal que toma algunos datos digitales como entrada (potencialmente cualquier cosa, pero con mayor frecuencia un texto o una imagen) y genera la ubicación de un punto de alta dimensión correspondiente como un conjunto de coordenadas numéricas. Si el modelo funciona bien, la distancia entre dos incrustaciones semánticas es proporcional a la medida en que sus objetos digitales correspondientes significan lo mismo.

Para entender cómo esto es importante para las aplicaciones de búsqueda, imagina una incrustación para la palabra “perro” y una para la palabra “gato” como puntos en el espacio:

Un buen modelo de incrustación debe generar una para la palabra “felino” que esté mucho más cerca de “gato” que de “perro”, y “canino” debe tener una incrustación mucho más cercana a “perro” que de “gato”, porque esas palabras significan casi lo mismo:

Si un modelo es multilingüe, esperaríamos lo mismo para las traducciones de “gato” y “perro”:

Los modelos de incrustación traducen la similitud o diferencia en el significado entre las cosas en relaciones espaciales entre incrustaciones. Las imágenes anteriores solo tienen dos dimensiones para que puedas verlas en una pantalla, pero los modelos de incrustación producen vectores con docenas o miles de dimensiones. Esto les permite codificar sutilezas de significado para textos completos y asignar un punto en un espacio que tenga cientos o miles de dimensiones para documentos de miles de palabras o más.

Incrustaciones multimodales

Los modelos multimodales amplían el concepto de incrustaciones semánticas a otros elementos, además de los textos, especialmente a las imágenes. Esperaríamos que una incrustación para una imagen esté cerca de una incrustación de una descripción fiel de la imagen:

Las incrustaciones semánticas tienen muchos usos. Entre otras cosas, puedes utilizarlos para crear clasificadores eficientes, agrupar datos y llevar a cabo una variedad de tareas, como la deduplicación de datos y la investigación de la diversidad de datos, ambas importantes para aplicaciones de big data que implican trabajar con demasiados datos para gestionarlos manualmente.

El mayor uso directo de las incrustaciones es en la recuperación de información. Elasticsearch puede almacenar objetos de recuperación con incrustaciones como claves. Las consultas se convierten en vectores de incrustación y una búsqueda devuelve los objetos almacenados cuyas claves son las más cercanas a la incrustación de la consulta.

Donde la recuperación tradicional basada en vectores (a veces llamada recuperación de vectores dispersos) utiliza vectores basados en palabras o metadatos en documentos y búsquedas, la recuperación basada en incrustaciones (también conocida como recuperación de vectores densos) utiliza significados evaluados por la IA en lugar de palabras. Esto los hace, en general, mucho más flexibles y precisos que los métodos de búsqueda tradicionales.

Aprendizaje de representación de Matryoshka

El número de dimensiones que tiene una incrustación y la precisión de los números que contiene tienen un impacto significativo en el rendimiento. Los espacios de muy alta dimensión y los números extremadamente de alta precisión pueden representar información muy detallada y compleja, pero exigen modelos de IA más grandes que sean más caros de entrenar y de ejecutar. Los vectores que generan requieren más espacio de almacenamiento y se necesitan más ciclos de computación para calcular las distancias entre ellos. El uso de modelos de incrustación semántica implica hacer compensaciones importantes entre la precisión y el consumo de recursos.

Para maximizar la flexibilidad para los usuarios, los modelos de Jina se entrenan con una técnica llamada Aprendizaje de representación de Matryoshka. Esto hace que los modelos carguen las distinciones semánticas más importantes en las primeras dimensiones del vector de incrustación para que simplemente puedas cortar las dimensiones superiores y aún obtener un buen rendimiento.

En la práctica, esto significa que los usuarios de los modelos de Jina pueden elegir cuántas dimensiones desean que tengan sus incrustaciones. Elegir menos dimensiones reduce la precisión, pero la degradación en el rendimiento es menor. En la mayoría de las tareas, las métricas de rendimiento de los modelos de Jina disminuyen entre un 1 % y un 2 % cada vez que reduces el tamaño de la incrustación en un 50 %, hasta aproximadamente una reducción del 95 % en el tamaño.

Recuperación asimétrica

La similitud semántica usualmente se mide de manera simétrica. El valor que obtienes al comparar “gato” con “perro” es el mismo que el valor que obtendrías al comparar “perro” con “gato”. Pero cuando usas incrustaciones para la recuperación de información, funcionan mejor si rompes la simetría y codificas las búsquedas de manera diferente a como codificas los objetos de recuperación.

Esto se debe a la forma en que entrenamos los modelos de incrustación. Los datos de entrenamiento contienen ejemplos de los mismos elementos, como palabras, en muchos contextos diferentes, y los modelos aprenden semántica al comparar las similitudes y diferencias contextuales entre los elementos.

Entonces, por ejemplo, podríamos encontrar que la palabra “animal” no aparece en muchos de los mismos contextos que “gato” o “perro”, y por lo tanto, la incrustación para “animal” podría no estar particularmente cerca de “gato” o “perro”:

Esto hace que sea menos probable que una búsqueda de "animal" recupere documentos sobre gatos y perros, lo cual es lo opuesto a nuestro objetivo. Así que, en su lugar, codificamos "animal" de forma diferente cuando es una consulta que cuando es un objetivo para la recuperación:

La recuperación asimétrica significa usar un modelo diferente para las búsquedas o entrenar especialmente un modelo de incrustación para codificar cosas de una manera cuando se almacenan para su recuperación y para codificar consultas de otra manera.

Incrustaciones multivectoriales

Las incrustaciones únicas son buenas para la recuperación de información porque se ajustan al marco de trabajo básico de una base de datos indexada: almacenamos objetos para su recuperación con un único vector de incrustación como clave de recuperación. Cuando los usuarios consultan el almacén de documentos, sus búsquedas se traducen en vectores de incrustación y los documentos cuyas claves están más cercanas a la incrustación de búsquedas (en el espacio de incrustación de alta dimensión) se recuperan como posibles coincidencias.

Las incrustaciones multivectoriales funcionan un poco diferente. En lugar de generar un vector de longitud fija para representar una búsqueda y un objeto almacenado completo, producen una secuencia de incrustaciones que representan partes más pequeñas de ellos. Las partes suelen ser tokens o palabras para textos y son mosaicos de imagen para datos visuales. Estas incrustaciones reflejan el significado de la parte en su contexto.

Por ejemplo, considera estas oraciones:

• Ella tenía un corazón de oro.

• Ella cambió de opinión con el corazón.

• Ella tuvo un ataque al corazón.

Superficialmente, se ven muy similares, pero un modelo multivectorial probablemente generaría incrustaciones muy diferentes para cada instancia de "corazón", representando cómo cada una significa algo diferente en el contexto de la oración completa:

La comparación de dos objetos a través de sus incrustaciones multivectoriales a menudo implica medir su distancia de chaflán: comparar cada parte de una incrustación multivectorial con cada parte de otra y sumar las distancias mínimas entre ellas. Otros sistemas, incluidos los Jina Rerankers que se describen a continuación, los incluyen en un modelo de IA entrenado específicamente para evaluar su similitud. Ambos enfoques suelen tener mayor precisión que la simple comparación de incrustaciones de un solo vector, ya que las incrustaciones multivectoriales contienen información mucho más detallada que las de un solo vector.

Sin embargo, las incrustaciones multivectoriales no son adecuadas para indexar. A menudo se utilizan en tareas de reclasificación, como se describe para el modelo de jina-colbert-v2 en la siguiente sección.

Modelos de incrustación de Jina

Jina embeddings v4

jina-embeddings-v4 es un modelo de incrustación multilingüe y multimodal de 3.8 mil millones (3.8×10⁹) de parámetros que admite imágenes y textos en una variedad de idiomas ampliamente utilizados. Utiliza una arquitectura novedosa para aprovechar el conocimiento visual y el conocimiento del lenguaje para mejorar el rendimiento en ambas tareas, lo que le permite sobresalir en la recuperación de imágenes y especialmente en la recuperación visual de documentos. Esto significa que maneja imágenes como gráficos, diapositivas, mapas, capturas de pantalla, escaneos de páginas y diagramas, tipos comunes de imágenes que a menudo contienen texto importante incrustado y que quedan fuera del alcance de los modelos de visión artificial entrenados con imágenes de escenas del mundo real.

Hemos optimizado este modelo para varias tareas diferentes a través de adaptadores de Low-Rank Adaptation (LoRA) compactos. Esto nos permite entrenar un único modelo para que se especialice en varias tareas, sin comprometer el rendimiento en ninguna de ellas, con un costo adicional mínimo en memoria o procesamiento.

Las características principales incluyen las siguientes:

• Rendimiento de vanguardia en la recuperación visual de documentos, junto con texto multilingüe e imágenes regulares que superan significativamente a modelos mucho más grandes.

• El soporte para un gran tamaño de contexto de entrada: 32.768 tokens equivale aproximadamente a 80 páginas de texto en inglés a doble espacio, y 20 megapíxeles equivalen a una imagen de 4.500 x 4.500 píxeles.

• Tamaños de incrustación seleccionados por el usuario, desde un máximo de 2048 dimensiones hasta 128 dimensiones. Descubrimos empíricamente que el rendimiento se degrada significativamente por debajo de ese umbral.

• Soporte para ambas incrustaciones simples y multivector. En el caso de los textos, la salida multivectorial consiste en una incrustación de 128 dimensiones para cada token de entrada. Para las imágenes, produce una incrustación de 128 dimensiones para cada mosaico de 28x28 píxeles necesario para cubrir la imagen.

• Optimización para la recuperación asimétrica mediante un par de adaptadores LoRA entrenados específicamente para tal fin.

• Un adaptador LoRA optimizado para el cálculo de similitud semántica.

• Soporte especial para lenguajes de programación informática y marcos de trabajo de TI, también a través de un adaptador LoRA.

Desarrollamos jina-embeddings-v4 para servir como una herramienta general y multipropósito para una amplia variedad de tareas de búsqueda común, comprensión del lenguaje natural y análisis de IA. Es un modelo relativamente pequeño teniendo en cuenta sus capacidades, pero su despliegue requiere recursos considerables y es más adecuado para su uso a través de una API en la nube o en un entorno de gran volumen.

Jina embeddings v3

jina-embeddings-v3 es un modelo de incrustación compacto, de alto rendimiento, multilingüe y solo de texto con menos de 600 millones de parámetros. Admite hasta 8192 tokens de entrada de texto y genera incrustaciones de vector único con tamaños elegidos por el usuario, desde un valor predeterminado de 1024 dimensiones hasta 64.

Capacitamos a jina-embeddings-v3 para una variedad de tareas de texto. No solo para la recuperación de información y la similitud semántica, sino también para tareas de clasificación, como análisis de sentimiento y moderación de contenido, así como tareas de agrupar, como agregación de noticias y recomendaciones. Al igual que jina-embeddings-v4, este modelo proporciona adaptadores LoRA especializados para las siguientes categorías de uso:

• Recuperación asimétrica

• Similitud semántica

• Clasificación

• Agrupación

jina-embeddings-v3 es un modelo mucho más pequeño que jina-embeddings-v4 con un tamaño de contexto de entrada significativamente reducido, pero su funcionamiento cuesta menos. No obstante, tiene un rendimiento muy competitivo, aunque solo para textos, y es una mejor opción para muchos casos de uso.

Inmercaciones del código Jina

Los modelos especializados de incrustación de código de Jina, jina-code-embeddings (0.5b y 1.5b), admiten 15 esquemas y marcos de trabajo de programación, así como textos en inglés relacionados con la informática y la tecnología de la información. Son modelos compactos con quinientos millones (0.5x10⁹) y mil quinientos millones (1.5x10⁹) de parámetros, respectivamente. Ambos modelos admiten tamaños de contexto de entrada de hasta 32.768 tokens y permiten a los usuarios seleccionar los tamaños de su incrustación de salida, desde 896 hasta 64 dimensiones para el modelo más pequeño y 1536 hasta 128 para el modelo más grande.

Estos modelos admiten la recuperación asimétrica para cinco especializaciones específicas de tareas, mediante el ajuste de prefijos en lugar de adaptadores LoRA:

• Código a código. Recupera un código similar en todos los lenguajes de programación. Esto se utiliza para la alineación de códigos, deduplicación de códigos y soporte para la traslación y refactorización.

• Lenguaje natural para programar. Recupera códigos para hacer coincidir consultas, comentarios, descripciones y documentación en lenguaje natural.

• Código a lenguaje natural. Haz coincidir el código con la documentación u otros textos en lenguaje natural.

• Finalización de código a código. Sugiere un código relevante para completar o mejorar el código existente.

• Preguntas y respuestas técnicas. Identifica las respuestas en lenguaje natural a las preguntas sobre tecnologías de la información, que son ideales para casos de uso de soporte técnico.

Estos modelos ofrecen un rendimiento superior para tareas relacionadas con documentación informática y materiales de programación con un costo computacional relativamente bajo. Son muy adecuados para integrarse en entornos de desarrollo y asistentes de código.

Jina ColBERT v2

jina-colbert-v2 es un modelo de incrustación de texto multivectorial de 560 millones de parámetros. Es multilingüe, entrenado con materiales en 89 idiomas, y soporta tamaños de incrustación variables y recuperación asimétrica.

Como se ha señalado anteriormente, las incrustaciones multivectoriales no son adecuadas para la indexación, pero resultan muy útiles para aumentar la precisión de los resultados de otras estrategias de búsqueda. Mediante jina-colbert-v2, puedes calcular incrustaciones multivector de antemano y luego usarlas para reclasificar candidatos de recuperación al momento de la búsqueda. Este enfoque es menos preciso que usar uno de los modelos de reclasificación en la siguiente sección, pero es mucho más eficiente porque simplemente implica comparar incrustaciones multivectoriales almacenadas en lugar de invocar todo el modelo de IA para cada búsqueda y coincidencia posible. Es ideal para casos de uso en los que la latencia y la sobrecarga computacional que supone el uso de modelos de reclasificación son demasiado grandes, o cuando el número de candidatos que comparar es demasiado elevado para los modelos de reclasificación.

Este modelo genera una secuencia de incrustaciones, una por token de entrada, y los usuarios pueden seleccionar incrustaciones de token de 128, 96 o 64 dimensiones. Las coincidencias de texto de candidatos están limitadas a 8,192 tokens. Las búsquedas se codifican de manera asimétrica, por lo que los usuarios deben especificar si un texto es una búsqueda o una coincidencia candidata y deben limitar las búsquedas a 32 tokens.

Jina CLIP v2

Jina-Clip-V2 es un modelo de incrustación multimodal de 900 millones de parámetros, y está capacitado para que los textos e imágenes produzcan incrustaciones muy cercanas si el texto describe el contenido de la imagen. Su uso principal es para recuperar imágenes basadas en consultas de textura, pero también es un modelo de solo texto de alto rendimiento, lo que reduce los costos de usuario porque no necesitas modelos separados para la recuperación de texto a texto y de texto a imagen.

Este modelo admite un contexto de entrada de texto de 8,192 tokens, y las imágenes se escalan a 512x512 píxeles antes de generar incrustaciones.

Las arquitecturas de preentrenamiento de lenguaje-imagen contrastivo (CLIP) son fáciles de entrenar y operar y pueden producir modelos muy compactos, pero tienen algunas limitaciones fundamentales. No pueden utilizar los conocimientos adquiridos en un medio para mejorar su rendimiento en otro. No pueden usar un medio para mejorar su rendimiento en otro. Así que, aunque pueda saber que las palabras "perro" y "gato" están más cercanas en significado que a "auto", no necesariamente sabrá que una foto de un perro y una de un gato están más relacionadas que cualquiera de las dos con una foto de un auto.

También sufren de lo que se llama la brecha de modalidad: es probable que una incrustación de un texto sobre perros esté más cerca de una incrustación de un texto sobre gatos que de una incrustación de una imagen de perros. Debido a esta limitación, te recomendamos utilizar CLIP como modelo de recuperación de texto a imagen o como modelo de solo texto, pero sin mezclar los dos en una sola búsqueda.

Modelos de reordenamiento

Los modelos de reclasificación toman una o más coincidencias candidatas, junto con una consulta como entrada al modelo, y las comparan directamente, produciendo coincidencias de mucha mayor precisión.

En principio, podrías usar un reranker directamente para la recuperación de información al comparar cada búsqueda con cada documento almacenado, pero esto sería muy costoso desde el punto de vista computacional y no es práctico para cualquier colección excepto para las más pequeñas. Como resultado, los rerankers tienden a usarse para evaluar listas relativamente cortas de coincidencias de candidatos encontradas por otros medios, como la búsqueda basada en incrustaciones u otros algoritmos de recuperación. Los modelos de reclasificación son ideales para esquemas de búsqueda híbridos y federados, donde realizar una búsqueda puede significar que las consultas se envían a sistemas de búsqueda separadas con conjuntos de datos distintos, cada una devolviendo resultados distintos. Funcionan muy bien al combinar resultados diversos en un único resultado de alta calidad.

La búsqueda basada en incrustaciones puede ser un gran compromiso, ya que implica reindexar todos tus datos almacenados y cambiar las expectativas del usuario sobre los resultados. Agregar un reranker a un esquema de búsqueda existente puede sumar muchos de los beneficios de la IA sin necesidad de rediseñar toda tu solución de búsqueda.

Modelos de reordenación de Jina

Jina Reranker m0

jina-reranker-m0 es un reranker multimodal de 2.4 mil millones (2.4x10⁹) de parámetros que admite consultas textuales y coincidencias candidatas que consisten en textos y/o imágenes. Es el modelo líder en recuperación visual de documentos, lo que lo convierte en una solución ideal para almacenar archivos PDF, escaneos de texto, capturas de pantalla y otras imágenes generadas o modificadas por computadora que contengan texto u otra información semiestructurada, así como datos mixtos que consistan en documentos de texto e imágenes.

Este modelo toma una búsqueda única y una coincidencia candidata y devuelve una puntuación. Cuando la misma consulta se usa con diferentes candidatos, las puntuaciones son comparables y pueden usarse para clasificarlas. Soporta un tamaño total de entrada de hasta 10 240 tokens, incluido el texto de la consulta y el texto o imagen candidata. Cada mosaico de 28x28 píxeles necesario para cubrir una imagen cuenta como un token para calcular el tamaño de entrada.

Jina Reranker v3

jina-reranker-v3 es un reranker de texto de 600 millones de parámetros con rendimiento de vanguardia para modelos de tamaño comparable. A diferencia de jina-reranker-m0, toma una sola búsqueda y una lista de hasta 64 candidatos coincidentes y devuelve el orden de clasificación. Tiene un contexto de entrada de 131 000 tokens, incluida la consulta y todos los candidatos de texto.

Jina Reranker v2

jina-reranker-v2-base-multilingual es un reranker muy compacto y de uso general con características adicionales diseñadas para admitir llamadas a funciones y consultas SQL. Con un peso inferior a 300 millones de parámetros, proporciona una reclasificación de texto multilingüe rápido, eficiente y preciso, con soporte adicional para seleccionar tablas SQL y funciones externas que coincidan con consultas de texto, lo que lo hace adecuado para casos de uso de agentes.

Pequeños modelos de lenguaje generativo

Los modelos de lenguaje generativo son modelos como ChatGPT de OpenAI, Google Gemini y Claude de Anthropic que toman entradas de texto o multimedia y responden con salidas de texto. No existe una línea bien definida que separe los modelos de lenguaje grandes (LLM) de los modelos de lenguaje pequeños (SLM), pero los problemas prácticos de desarrollar, operar y utilizar LLM de primera línea son bien conocidos. Los más conocidos no se distribuyen públicamente, por lo que solo podemos estimar su tamaño, pero se espera que ChatGPT, Gemini y Claude estén en el rango de parámetros de 1 a 3 billones (1–3x10¹²).

Ejecutar estos modelos, incluso si están disponibles públicamente, está muy lejos del alcance del hardware convencional, que requiere los chips más avanzados dispuestos en grandes matrices paralelas. Puedes acceder a LLMs a través de API pagas, pero esto conlleva costos significativos, tiene una gran latencia y es difícil de alinear con las demandas de protección de datos, la soberanía digital y la repatriación en la nube. Además, los costos relacionados con la capacitación y la personalización de modelos de ese tamaño pueden ser considerables.

En consecuencia, se han realizado numerosas investigaciones para desarrollar modelos más pequeños que, aunque carecen de todas las capacidades de los LLM más grandes, pueden realizar determinados tipos de tareas con la misma eficacia y a un menor costo. Las empresas generalmente despliegan software para abordar problemas específicos, y el software de IA no es diferente, por lo que las soluciones basadas en SLM se suelen preferir a las de LLM. Por lo general, pueden ejecutarse en hardware básico, son más rápidos y consumen menos energía para ejecutarse, y son mucho más fáciles de personalizar.

Las ofertas de SLM de Jina están creciendo a medida que nos enfocamos en la mejor manera de llevar la IA a soluciones de búsqueda prácticas.

Jina SLM

ReaderLM v2

ReaderLM-v2 es un modelo de lenguaje generativo que convierte HTML en Markdown o JSON, según los esquemas JSON proporcionados por el usuario y las instrucciones en lenguaje natural.

El preprocesamiento y la normalización de datos son una parte esencial del desarrollo de buenas soluciones de búsqueda para datos digitales, pero los datos del mundo real, especialmente la información derivada de la web, suelen ser caóticos, y las estrategias de conversión simples a menudo resultan ser muy frágiles. En cambio, ReaderLM-v2 ofrece una solución de modelo de IA inteligente que puede entender el caos de un volcado de árbol DOM de una página web e identificar de manera segura elementos útiles.

Con 1500 millones (1,5 x 10⁹) de parámetros, es tres órdenes de magnitud más compacto que los LLM de última generación, pero su rendimiento es similar al de estos en esta tarea específica.

Jina VLM

jina-vlm es un modelo de lenguaje generativo con 2400 millones (2,4 x 10⁹) de parámetros que está entrenado para responder preguntas en lenguaje natural sobre imágenes. Tiene un fuerte soporte para el análisis visual de documentos, es decir, responder preguntas sobre escaneos, capturas de pantalla, diapositivas, diagramas y datos similares de imágenes no naturales.

Por ejemplo:

También es muy bueno para leer texto en imágenes:

Pero donde jina-vlm realmente se destaca es en entender el contenido de las imágenes informativas y creadas por el hombre:

O:

jina-vlm es adecuado para la generación automática de subtítulos, descripciones de productos, texto alternativo de imágenes y aplicaciones de accesibilidad para personas con discapacidad visual. También crea posibilidades para que los sistemas de generación aumentada por recuperación (RAG) utilicen información visual y para que los agentes de IA procesen imágenes sin ayuda humana.