가장 강력한 AI 모델이 웹 API를 통한 액세스로 원격 클라우드 설치 환경에서 실행되면 보안, 서비스 가용성 및 가격 안정성을 AI 서비스 제공업체에 맡겨야 합니다. 점점 더 강력하고 정교해지며 리소스 집약적인 AI 사용에 맞춰 신뢰성, 프라이버시, 관리 가능한 비용 및 우수한 데이터 거버넌스에 대한 타당한 요구사항을 조화시키기가 어렵습니다.

정부 규제, 법원 판결 및 타인의 이익을 고려한 비즈니스 결정으로 인해 최근 특정 서비스에 대한 액세스가 제한되는 결과가 발생했습니다. 다른 서비스로 전환할 수 있다 해도, AI 모델은 원하는 때에 언제든지 교체할 수 있는 구성 요소가 아닙니다. 시맨틱 임베딩을 사용하는 애플리케이션은 쿼리 작업 시점에도 데이터 수집 시점과 동일한 모델에 액세스할 수 있어야 합니다. 임베딩 모델에 액세스하지 못하면 검색 시스템이 중단됩니다.

AI 가격 모델은 이러한 위험을 가중시킵니다. 주요 AI 공급업체의 최근 재무 공시를 보면, 고객이 향후 가격 인상 가능성을 우려할 만한 충분한 이유가 있습니다. 예측할 수 없는 비용이 발생하는 제품에 대한 의존은 명확한 수익을 창출하지 못할 수 있는 자본 집약적인 AI 투자에 더 많은 위험을 더합니다.

Jina 온프레미스는 이러한 당면 과제에 대한 Elastic의 해답입니다.

온프레미스 AI가 필요한 대상

AI 모델의 로컬 호스팅 및 직접 제어는 다양한 기술적 요구 사항, 업계 요구 사항, 비즈니스 이해관계를 지원합니다.

로컬 설치는 AI 서비스 제공업체에 지불하는 비용을 줄여 주지만, 조직에 하드웨어 및 안정적인 액세스 비용 부담을 줍니다. 사용량에 따라 단순히 비용이 더 저렴할 수도 있습니다. 하지만 자체 AI 운영을 고려해야 하는 시급한 이유가 더 있습니다. 아래에 설명된 문제 중 하나라도 해당한다면 Jina 온프레미스와 같은 로컬 AI 솔루션을 고려해 보세요. 이 목록은 일부만 정리한 것입니다.

사용 사례

온프레미스를 선택해야 하는 이유

예

에어갭 / 높은 보안성

아웃바운드 데이터 전송 없음, 완전한 네트워크 격리

국방, 정보, 기밀 연구

규제 준수

데이터 주권, 국경 간 전송 또는 제3자 노출 없음

의료(건강보험의 양도 및 책임에 관한 법률[HIPAA]), 금융, EU 기업(일반 개인정보 보호법[GDPR])

지연 시간에 민감

네트워크 의존성 없음, 연결 실패를 허용하지 않음

로봇공학, 엣지 컴퓨팅, 차량, 선박

비용 예측 가능성

고정 인프라 비용 vs. 향후 요금이 불확실한 토큰당 요금제

대용량 연속 추론 워크로드

책임 감소

제3자 데이터 노출 없음, 법적 권한과 주의 의무 유지관리

법무법인, 정부 기관

에어갭 및 방화벽 시스템에 온프레미스 AI가 필요한 이유

에어갭 및 방화벽으로 보호된 시스템은 외부 AI API를 사용할 수 없습니다. Jina 온프레미스는 아웃바운드 연결 없이 전적으로 자체 인프라 내에서 실행됩니다.

특히 민감한 데이터를 관리하는 조직의 경우, 보안 및 프라이버시 고려 사항이 무엇보다 중요합니다. 보안 조치가 불충분하거나 외국 정부의 요구를 받을 수 있는 원격 제3자에게 민감한 데이터를 즉시 넘겨준다면, 해당 데이터를 보호하기 위해 투자해도 거의 소용이 없습니다.

민감한 데이터를 처리하는 조직의 직원은 안전한 데이터 처리에 대한 교육을 받는 경우가 많지만, 이들 모두 해당 데이터를 처리하는 동안 인터넷의 모든 페이지를 열 수 있는 웹 브라우저를 사용하고 있다면 이는 그다지 효과적이지 않습니다. 격리는 에어갭이나 매우 제한적인 방화벽을 통해 사용할 수 있는 가장 효과적인 보안 조치이지만, 이로 인해 어떤 종류의 외부 서비스든 사용하기가 어려워집니다.

지연 시간에 민감한 고가용성 시스템을 위한 온프레미스 AI

서비스형 소프트웨어와 클라우드 컴퓨팅은 자체 컴퓨터에서 접근성이 높고 신뢰할 수 있는 서비스를 제공하는 비용과 타인에게 문제를 아웃소싱하는 비용을 절충한 방식입니다. 하지만 가변적인 지연 시간, 중단, 그리고 문제가 발생했을 때 제어력을 완전히 상실하는 문제가 동반됩니다. AI 서비스도 예외는 아닙니다. 임베딩 모델에 액세스할 수 없을 때 검색 시스템이 오프라인 상태가 된다면, 더 이상 좋은 절충안으로 여겨지지 않을 것입니다.

또한, 외부 AI에 의존하는 것은 쉽게 예견하거나 관리할 수 없는 위험을 항상 수반합니다. 정치적 사건, 악천후 또는 해저 광케이블 위로 닻을 끄는 선박의 여파로 예고 없이 인터넷 액세스 및 네트워크 대기 시간이 저하될 수 있습니다. 정부는 수출 금지 조치를 활용하여 AI 모델에 대한 접근을 갑자기 차단할 수 있으며, 최근 실제로 그러한 사례가 발생했습니다. AI 서비스 제공업체는 최신 모델로의 전환을 유도하기 위해 때때로 기존 모델을 철수하기도 합니다. 외부 서비스의 유연성 및 관리 가능한 비용은 의존성에 따른 위험과 균형을 이루어야 합니다.

GDPR, HIPAA 및 데이터 주권 규정 준수를 위한 온프레미스 AI

개인 데이터를 수집하는 조직에는 점점 더 엄격한 규정이 적용되며, 관할권에 따라 종종 다르기도 하고 모순된 요구 사항이 있을 수도 있습니다. 특히, HIPAA 규칙은 미국 의료 제공자에게 매우 엄격한 데이터 보호를 부과하며, 캐나다, 유럽 연합 및 많은 아시아 관할권의 강력한 일반 데이터 보호법은 개인정보를 다루는 모든 기업이 이를 안전하게 처리하고 다른 당사자 또는 다른 관할권으로 해당 데이터를 전송하는 것을 제한하도록 요구합니다. 이러한 규칙은 해당 관할권에 고객이 있는 경우 외국 기관에도 의무를 부과할 수 있습니다. 금융 기관은 한층 더 엄격한 규칙을 적용받는 경우가 많으며, 다른 형태의 범죄 활동으로부터 보호해야 하는 것과 마찬가지로 정보 보안에 대해 동일한 직접적 책임을 집니다.

규정 준수는 제3자 AI 서비스와 양립이 불가능할 수 있으며, 특히 해당 서비스를 사용할 때 국경 간 데이터 전송이 수반되는 경우 더욱 그러합니다.

또한 최근 사례에서 드러났듯이, 국제 클라우드 운영업체가 해외 정부의 압력을 받을 때 데이터 저장소의 물리적 위치를 제한하는 규칙은 신뢰할 수 있는 보호 출처가 되지 않을 수 있습니다. 현지 법률은 관할권 간에 충돌할 수 있으며, 이에 따라 현지 데이터 저장 및 처리가 필요하게 되어 제3자 서비스를 사용할 수 없게 될 수 있습니다. 어떤 경우에는 AI 시스템을 포함하여 프로세스의 모든 부분을 사내로 가져오는 것만이 유일한 솔루션입니다.

제3자 데이터 전송으로 인한 AI 책임 위험

데이터 보호법과 민감한 데이터에 대해 인정되는 주의 의무는 일상적으로 법적 책임에 영향을 미치며, 때로는 매우 심각한 영향을 미치기도 합니다. 여러분이 제3자 서비스 제공업체에서 데이터를 처리하는 데 대한 법적 책임을 질 수 있습니다. 법원과 법적 절차는 안전하지 않은 서비스 제공업체로부터 사후에 일부 보호 조치를 제공할 수 있지만, 그러한 구제책은 국가 안보 주체, 법 집행 기관 또는 범죄 해커를 대상으로는 이용 가능하지 않거나 일반적으로 효과적이지 않습니다.

정부와 관련해, 국경을 넘는 클라우드 서비스 제공업체가 민감한 국가 정보를 국외 행위자에게 공개한 사례가 이미 있습니다.

하지만 외국 정부나 해커에 대한 걱정이 없고 외부 AI 서비스 제공업체 자체가 안전하다고 하더라도, 단지 외부에 있다는 사실만으로도 법적 책임이 발생할 수 있습니다.

예를 들어 대부분의 관할권에서 변호사와 의뢰인의 의사소통은 특별한 법적 보호를 받으며, 법률 사무소는 이러한 정보를 기록하거나 저장할 때 엄격한 책임을 집니다. 미국에서 이러한 “변호사-의뢰인 특권”은 매우 유명하여 영화 및 TV 줄거리의 핵심 요소로 등장합니다. 그러나 이러한 특권을 상실하게 되는 원인 중 하나는 특권 대상이 아닌 사람과 정보를 주고받는 것이며, 최근 동향에 따르면 외부 AI 서비스 제공업체가 이에 해당할 수 있습니다.

적어도 미국에서는 인덱싱 서비스를 제공하는 임베딩 모델과 같이 인터넷 API를 통해 제3자 AI 서비스를 사용하는 것만으로도 중요한 기밀 유지 규정을 위반할 가능성이 있습니다. 법률 사무소는 보안 침해가 발생하지 않더라도 외부에 호스팅된 소프트웨어를 사용하는 것만으로도 소송을 당하거나, 징계를 받거나, 변호사 자격을 박탈당할 수 있습니다.

오프라인, 엣지, 물리적으로 격리된 시스템을 위한 온프레미스 AI

컴퓨터 시스템을 보안상의 이유로만 격리하는 것은 아닙니다. 예를 들어, 이동 중인 차량은 필수 기능을 위해 인터넷 액세스를 이용할 수 없습니다. 선박과 항공기에 있는 광범위한 온보드 컴퓨터 시스템은 인터넷 연결 없이 작동해야 하므로 외부 AI 서비스를 사용할 수 없습니다. 해상 플랫폼, 오지의 원격 시설, 북극, 남극, 글로벌 네트워크에 대한 적절한 물리적 연결이 없는 작은 섬의 컴퓨터 서비스는 모두 필요한 모든 서비스를 로컬에서 호스팅함으로써 이점을 얻는 설치 사례입니다. 엔터프라이즈 컴퓨팅에서 AI의 역할이 커짐에 따라 이러한 한계를 해결하는 것이 더욱 중요해집니다.

로봇 공학 및 기타 공간 제약적이거나 외부 세계에 초점을 맞춘 사용 사례(예: 물류 관리 시스템 또는 슈퍼마켓 계산대 등)와 같은 물리적 시스템에 AI를 새롭게 적용하는 경우 글로벌 인터넷에 연결될 수 있지만 연결 실패나 지연 시간 급증이 허용되지 않습니다. 작동을 위해 AI 시스템이 필요한 경우, 이 AI 시스템은 가능한 한 로컬 환경에서 작동하며 신뢰할 수 있어야 합니다.

온프레미스 AI가 필요하지 않은 경우

원격 소프트웨어 서비스와 오프사이트 AI에는 분명 이점이 있습니다. AI 모델을 실행하려면 악명 높게 수명이 짧고 전력 소비가 심한 고가의 프로세서가 필요할 수 있습니다. 시장 요인과 외부 경제 충격으로 인해 현재 고품질 하드웨어에 대한 접근이 특히 어렵습니다. 이러한 상황에서는 로컬 AI의 막대한 자본 비용을 지원하기보다 토큰 단위로 비용을 지불하여 외부 API를 사용하는 것이 합리적일 수 있습니다.

외부 API는 간헐적인 사용자에게 가장 적합합니다. 항상 온라인 상태를 유지해야 하는 검색 시스템을 운영하기보다 주로 분석을 위해 데이터를 배치 처리하는 데 AI 모델을 사용하는 경우, 자본 집약적인 하드웨어 및 로컬 설치에 투자하는 것은 거의 의미가 없습니다.

또한, 신뢰성과 접근성을 위해 클라우드에 호스팅된 전자상거래 웹사이트와 같이 데이터 처리가 이미 클라우드 기반으로 이루어지는 경우, 동일한 클라우드 인프라에 위치한 AI 서비스를 사용하는 것이 자체 라이선스 AI 모델 배포를 도입하는 것보다 비용 대비 더 뛰어난 가치를 제공할 수 있습니다. 이미 클라우드 서비스 제공업체에 의존하고 있으므로 해당 업체의 AI 서비스에 의존한다고 해서 위험이 크게 증가하지는 않습니다.

사용 사례가 이러한 설명에 부합하는 경우, 요구 사항에 맞춰 EIS, AWS Marketplace 및 Google Cloud Platform에서 Jina AI 모델을 이용할 수 있습니다.

아래 표는 주요 고려 요소를 요약한 것입니다. 해답은 데이터, 인프라 및 사용 패턴에 따라 달라집니다.

요소

온프레미스 권장

클라우드 API 권장

사용 패턴

지속적 또는 대용량 추론

간헐적 또는 배치 처리

데이터 민감도

규제 대상, 주권 또는 기밀

국경 간 또는 제3자 제한 없음

네트워크 환경

에어갭, 방화벽 또는 불안정

안정적인 상시 접속 인터넷

기존 인프라

GPU 하드웨어를 소유하고 있거나 조달할 수 있음

이미 동일 위치에 배치된 AI와 함께 클라우드에 호스팅됨

비용 모델

고정 하드웨어 + 라이선스, 확장 시 예측 가능

토큰당, 낮은 초기 비용, 가변적인 장기 비용

지연 시간 허용 범위

없음(로보틱스, 엣지, 실시간)

네트워크 변동성 허용

운영 책임

팀에서 하드웨어 및 가용성 관리

제공업체가 하드웨어 및 업데이트를 관리, 사용자는 통합 관리

이전 섹션에서 강조된 문제 중 해당하는 사항을 고려하여, 특정 상황과 사용 사례에 비추어 비용과 이점을 고려해야 합니다. 비용 편익 분석은 시간이 지남에 따라 분명 변화할 것입니다. 단기적으로도 AI 산업의 미래나 하드웨어 가격은 예측할 수 없습니다.

Jina 온프레미스 소개

로컬 AI 서비스를 활용할 수 있는 사용자를 대상으로 Jina AI의 고성능 모델을 위한 완전한 독립형 설치 제품군인 Jina 온프레미스를 출시합니다.

Jina AI의 모델은 크기가 몇 배나 큰 임베딩 모델의 정확도에 비견되며, 컴퓨팅 비용, 메모리 공간 및 하드웨어 요구 사항을 줄여줍니다. 따라서 AI를 온프레미스에 유지하고자 하거나 유지해야 하는 사용자에게 이상적인 선택입니다. 상업용 라이선스는 모든 규모의 사용 사례에 맞게 확장 가능하고 비례하여 가격이 책정된 솔루션과 함께 제공됩니다.

Jina 온프레미스가 지원하는 API 스키마

• 로컬 설치를 위한 전체 종속성 컬렉션으로 제공되거나 몇 분 만에 설치하고 실행할 수 있는 Docker 컨테이너로 제공됩니다.

• Jina 온프레미스 설치 환경에서는 외부 시스템을 호출하지 않습니다.

  • Hugging Face Hub나 어떠한 모델 레지스트리도 호출하지 않습니다(HF_HUB_OFFLINE=1 및 TRANSFORMERS_OFFLINE=1이 기본으로 포함됨).

  • 라이선스 서버가 없습니다.

  • 텔레메트리 또는 로깅 엔드포인트가 없습니다.

• CPU 및 GPU 하드웨어를 모두 지원하며, GPU 자동 감지 기능을 제공합니다.

• 최신 jina-embeddings-v5-omni 멀티모달 임베딩 모델 및 jina-reranker-v3를 포함하여 28개의 모든 Jina AI 모델을 사용할 수 있습니다.

• Jina API, OpenAI, Cohere, Voyage AI, Gemini 등 표준 AI API 스키마를 통한 액세스가 제공됩니다. Jina 온프레미스는 이러한 스키마를 기반으로 구축된 애플리케이션을 위한 드롭인 솔루션입니다.

• EIS에서 제공하는 모델을 드롭인 방식으로 대체할 수 있습니다. Jina 온프레미스는 에어갭 Elastic 배포와 직접 통합됩니다.

Jina AI 온프레미스 모델의 하드웨어 요구 사항

하드웨어 요구 사항은 Jina 모델마다 다릅니다. 아래 표는 GPU 설정을 사용하는 최신 모델에 대한 권장 사항을 보여줍니다. v5 임베딩 모델에는 A100이 권장되지만, NVIDIA L4 GPU보다 강력한 GPU는 필요하지 않습니다. 당사의 최신 임베딩 모델에는 현재 최소 8GB의 VRAM이 필요합니다.

모델

최소 VRAM

권장 GPU

jina-embeddings-v5-text-nano

2GB

T4 / L4

jina-embeddings-v5-text-small

3GB

L4 / A10G

jina-embeddings-v5-omni-small

8GB

L4 / A10G / A100

jina-reranker-v3

3GB

L4

jina-clip-v2

4GB

L4

jina-code-embeddings-1.5b

4GB

L4

ReaderLM-v2

4GB

L4

한 번에 둘 이상의 모델을 사용하는 경우 VRAM 요구 사항이 증가합니다. 자세한 내용은 사이징 및 하드웨어 페이지를 참조하세요.

Docker를 사용하여 Jina 온프레미스를 설치하는 방법

가장 빠르게 시작하는 방법은 Docker를 설치하고(아직 설치하지 않은 경우) Jina 온프레미스 빠른 시작 페이지의 지침을 따르는 것입니다.

28개의 모든 Jina 모델을 위한 사전 구성된 Docker 컨테이너가 있습니다. 하나를 다운로드하여 설치 대상에 전송하면 5분 이내에 Jina AI 모델을 실행할 수 있습니다.

멀티모달 또는 사용자 지정 빌드를 사용하거나 컨테이너 외부 설치를 위한 전체 의존성 세트를 다운로드하려면 번들링 가이드에 설명된 단계를 따르세요.

Jina 온프레미스 설치는 모든 Jina API 및 EIS 기능과 OpenAI, Cohere, Voyage AI 및 Gemini API를 통한 임베딩 생성을 지원하므로 표준 인터페이스를 사용하여 기존 애플리케이션에 통합할 수 있습니다. 자세한 내용은 API 문서를 참조하세요.

Jina 온프레미스와 함께 설치된 모델을 포함한 Jina 모델은 다양한 라이선스 조건으로 제공되며, 최신 모델은 CC BY-NC 4.0 라이선스에 따라 비상업적 용도로 무료로 사용할 수 있습니다. 상업적 용도로 Jina 온프레미스 라이선스를 이용하려면 Elastic 영업팀에 문의해 주시기 바랍니다.

이제 거의 100개 언어에 걸쳐 텍스트, 이미지, 동영상, 오디오 녹음에 대해 고성능 시맨틱 임베딩을 생성할 수 있습니다. 이러한 임베딩은 분류, 클러스터링, 의미적 유사도 측정, 검색을 위한 색인에 사용할 수 있습니다. 데이터가 텍스트와 함께 PDF, 녹음, 동영상에 포함된 경우, 더 이상 각각에 대해 별도의 파이프라인을 사용하지 않아도 됩니다.

jina-embeddings-v5-omni 제품군은 사진, 음성, 인쇄, 동영상을 지원하는 현재 시중에서 가장 소형의 임베딩 모델입니다. 제공 내용:

• jina-embeddings-v5-text검색, 분석 및 AI 에이전트 애플리케이션을 위한 프론티어급 텍스트 임베딩

• 시각적 의미론적 유사도, 시각적 이해 및 이미지 검색을 위한 동급 최강의 임베딩 jina-embeddings-v5-omni-small은 매개변수 10억 개를 가진 모델 중 이미지 벤치마크에서 가장 우수한 성능을 보이며, 이전 모델인 jina-clip-v2보다 우수합니다. 매개변수가 3배~30배 더 많은 몇몇 모델만이 이를 능가할 수 있습니다.

• 다국어 시각적 이해 및 검색을 위한 최첨단 임베딩으로, 최대 20배 더 큰 모델을 능가합니다.

• 동급 최고의 오디오 임베딩, 표준 벤치마크에서 더 나은 성능을 보이는 모델은 매개변수 수가 두 배 이상인 모델뿐입니다.

• 동영상 지원, 특히 동영상에서 물체와 이벤트를 찾는 데 사용됩니다.

이 기술은 정보 검색, 문서 처리 및 데이터 분석의 모든 분야에 적용될 수 있습니다. jina-embeddings-v5-omni를 사용하면 다양한 미디어 사일로에 잠겨 있는 정보에 접근해 AI 에이전트가 검색, 분석 및 사용하게 할 수 있습니다. 오디오 및 동영상 녹음, PDF, 인쇄된 페이지 스캔, 인포그래픽에 담긴 정보는 데이터 생태계에서 디지털화된 텍스트와 동등한 위치를 차지합니다.

jina-embeddings-v5-text와 마찬가지로 이 모델들도 small 및 nano 두 가지 크기로 제공됩니다. 두 모델 모두 해당 텍스트 버전에 오디오 및 시각적 입력을 지원하는 추가 모듈을 더하여 확장합니다. 로드 시 사용자가 모듈을 선택할 수 있습니다. 또한 의미적 유사도, 분류, 클러스터링, 정보 검색을 위한 작업별 확장 기능이 소형 로우랭크 어댑터(LoRA)로 구현되어 모두 로드되므로 사용자가 추론 시점에 선택할 수 있습니다.

두 모델 모두 매우 컴팩트합니다. jina-embeddings-v5-omni-small은 일반적인 GPU가 장착된 서버에서 실행될 수 있고, jina-embeddings-v5-omni-nano는 일반 하드웨어에서 실행될 만큼 충분히 작습니다. 이는 컴퓨팅 비용을 크게 절감할 수 있는 잠재력을 제공하며, 라이선스 기반의 로컬 설치 및 엣지 프로세싱을 지원하므로 지연 시간을 줄이고 데이터에 대한 제어권을 강화할 수 있습니다.

v5-omni 제품군은 혁신적인 모델 설계와 Machine Learning 기술을 사용하여 이전에 훈련된 모델에서 새로운 임베딩 모델을 구성하므로 다시 훈련할 필요가 없습니다. 사전 학습되고 언어에 맞춘 임베딩 모델의 인코더를 기존 jina-embeddings-v5-text 모델군의 입력 전처리기로 사용합니다. 결과로 생성된 모델은 텍스트에 생성하는 임베딩과 의미적으로 호환되는 이미지와 음성 녹음에 임베딩을 생성합니다.

v5-omni 모델은 jina-embeddings-v5-text와 동일한 텍스트 임베딩(즉, jina-embeddings-v5-omni-small과 jina-embeddings-v5-text-small, jina-embeddings-v5-omni-nano와 jina-embeddings-v5-text-nano)을 생성하여 인덱스를 재구축하지 않고도 기존 텍스트 검색 저장소를 멀티미디어 애플리케이션으로 확장할 수 있습니다.

통합 인코더는 모두 오픈 가중치 소스에서 파생되었습니다. 이미지 및 동영상의 경우 Qwen3.5 모델의 인코더를 사용했습니다.

• jina-embeddings-v5-omni-nano의 경우, Qwen3.5-0.8B의 미세 조정된 SigLIP2 Base 인코더를 사용합니다.

• jina-embeddings-v5-omni-small의 경우, Qwen3.5-0.8B의 미세 조정된 SigLIP2 Base 인코더를 사용합니다.

• 오디오 지원을 위해 Whisper-large-v3 인코더를 Qwen2.5-Omni-7B에서 추출하여 small 및 nano 버전에 추가했습니다.

이러한 미디어별 인코더를 숙련된 크로스 모달 프로젝터를 통해 텍스트 처리 백본에 연결했습니다. 이 프로젝터는 고유 출력을 jina-embeddings-v5-text와 호환되는 입력 임베딩으로 변환합니다. jina-embeddings-v5-omni 모델에서 유일하게 새롭게 학습한 부분은 해당 프로젝터의 가중치 뿐입니다.

이 아키텍처를 사용하면 네 개의 LoRA 어댑터 각각에 대해 교차 모델 프로젝터(jina-embeddings-v5-omni-small의 경우 약 550만 개, jina-embeddings-v5-omni-nano의 경우 350만 개 미만의 매개변수)만 학습하면 됩니다. 이 접근 방식은 서로 다른 임베딩 모델을 연결하는 데 필요한 추가 학습을 최소화하면서, 각 모델의 특화된 학습을 활용하여 극도로 컴팩트하고 고성능의 모듈형 임베딩 제품군을 구현합니다.

선택된 모델 속성

입력/출력

모델 이름

입력 컨텍스트 창 크기

임베딩 크기

jina-embeddings-v5-omni-small

32,768개의 토큰*

1024차원(최소: 32)

jina-embeddings-v5-omni-nano

8,192 토큰*

768차원(최소: 32)

* 텍스트가 아닌 미디어를 토큰화하는 방법에 대한 자세한 내용은 아래 jina-embeddings-v5-omni 사용하기를 참조하세요.

크기

모델 이름

전체 크기

jina-embeddings-v5-omni-small(텍스트 전용 기본 모델 + LoRA 어댑터 4개)

700M 파라미터

이미지/동영상 지원(Qwen3.5-2B에서 추출된 SigLIP2 So400m 인코더)

1.006B 매개변수

오디오 지원(Qwen2.5-Omni-7B에서 추출된 Whisper-large-v3 인코더)

매개변수 13억 5400만 개

모두

1.660B 매개변수

LoRA 어댑터(각)

20M

jina-embeddings-v5-omni-nano(텍스트 전용 기본 모델 + 4개의 LoRA 어댑터)

매개변수 2억 6600만 개

이미지/동영상 지원(Qwen3.5-0.8B에서 추출된 SigLIP2 기본 인코더)

매개변수 3억 5400만 개

오디오 지원(Qwen2.5-Omni-7B에서 추출된 Whisper-large-v3 인코더)

매개변수 9억 1,600만 개

모두

매개변수 10억 400만 개

LoRA 어댑터(각)

7M

* 텍스트가 아닌 미디어를 토큰화하는 방법에 대한 자세한 내용은 아래 jina-embeddings-v5-omni 사용하기를 참조하세요.

작업별 훈련

jina-embeddings-v5-omni 제품군은 jina-embeddings-v5-text와 동일한 작업별 LoRA 어댑터를 지원합니다.

작업

사용 예시

검색

정보 검색은 단독으로 또는 다른 검색 및 후보 평가 기술과 함께 수행됩니다. v5-omni 모델을 사용하면 하나의 인덱스에서 하나의 쿼리로 오디오, 비디오, 이미지를 검색할 수 있습니다.

클러스터링

어느 미디어에서나 토픽 검색 및 자동 토픽 정리 가능

분류

분류, 감정 분석 및 관련 작업

의미적 유사성

데이터 중복 제거, 추천 시스템, 관련 미디어, 음성에 맞는 텍스트 찾기, 번역 식별 및 유사한 작업을 미디어 전반에 걸쳐 수행

출력 임베딩은 선택한 작업 범주에 따라 달라집니다. 예를 들어, 클러스터링에 검색 지향 임베딩을 사용하거나, 분류 작업에 의미적 유사도 임베딩을 사용하지 않는 것이 좋습니다.

멀티미디어, 멀티모달, 다국어, 다기능

jina-embeddings-v5-omni의 기능을 확인하기 위해 두 소설의 유명한 첫 구절을 가져와 의미적 유사도를 측정해 보겠습니다.

두 도시 이야기(찰스 디킨스)

오만과 편견(제인 오스틴)

jina-embeddings-v5-omni-small의 의미적 유사도 어댑터를 사용하면 이 텍스트의 유사도는 0.5329입니다.

그 숫자는 비교할 대상이 없으면 별 의미가 없으므로, 동일한 모델과 어댑터를 사용하여 이 두 텍스트를 프랑스어 번역과 비교해 보겠습니다:

언어 간 텍스트의 의미적 유사도 점수

두 도시 이야기(영어)

오만과 편견(영어)

두 도시 이야기 (프랑스어)(Paris et Londres en 1783, 번역: H. Loreau)

0.9095

0.5074

오만과 편견(프랑스어)(Orgueil et Préjugés, Leconte et Pressoir 번역)

0.4826

0.8784

두 텍스트는 같은 언어 또는 다른 언어로 작성된 다른 텍스트보다 자신의 번역본과 훨씬 더 높은 유사도를 보입니다. 이는 jina-embeddings-v5-text-small에 변경 없이 포함된 jina-embeddings-v5-omni-small의 고성능 다국어 시맨틱 임베딩을 반영한 것입니다.

jina-embeddings-v5-omni에 멀티미디어 지원을 추가하면 이 실험을 다른 유형의 데이터로 확장할 수 있습니다. 예를 들어, 오래 전에 출판된 인쇄본에서 두 소설의 첫 페이지 스캔본을 가져왔습니다.

그림 2: 두 도시 이야기, 19세기 연도 미상 판본. 오만과 편견, 1903년 맥밀런 판본.

의미적 유사도 어댑터를 사용하여 두 텍스트를 다시 스캔한 결과와 비교해 보겠습니다.

텍스트와 이미지 간의 의미적 유사도 점수

두 도시 이야기(스캔본)

오만과 편견(스캔본)

두 도시 이야기(원문)

0.7336

0.4891

오만과 편견(원문)

0.4804

0.7213

의미적 유사도 점수가 이미지 내용과 일치하는 텍스트에 높게 나타나는 것을 확인할 수 있습니다.

동일한 방식으로 해당 텍스트를 참조하는 소셜 미디어 게시물 스크린샷 및 밈과도 비교해 볼 수 있습니다.

그림 3: 두 도시 이야기를 언급한 일론 머스크의 트윗, 오만과 편견의 유명한 첫 문장을 언급한 밈.

텍스트와 이미지 간의 의미적 유사도 점수

두 도시 이야기

오만과 편견

머스크 트윗(이미지)

0.7156

0.4912

Keep calm 밈(이미지)

0.4555

0.6244

발화에 대해서도 동일한 작업을 할 수 있습니다. 영어와 프랑스어로 된 두 텍스트의 낭독 녹음을 확보했습니다.

• 두 도시 이야기(Librivox의 영어 오디오).

• 두 도시 이야기(OmniVoice AI가 생성한 프랑스어 오디오).

• 오만과 편견(Librivox의 영어 오디오).

• 오만과 편견(OmniVoice AI가 생성한 프랑스어 오디오).

언어 간 텍스트와 오디오 간의 의미적 유사도 점수

두 도시 이야기 (영어 오디오)

A Tale of Two Cities(프랑스어 오디오)

오만과 편견(영어 오디오)

오만과 편견 (프랑스어 오디오)

A Tale of Two Cities(영어 텍스트)

0.3816

0.3106

0.1607

0.1774

A Tale of Two Cities(프랑스어 텍스트)

0.3528

0.3253

0.1598

0.1721

Pride and Prejudice(영문)

0.1910

0.1682

0.3511

0.3398

오만과 편견(프랑스어 원문)

0.1667

0.1474

0.3018

0.3702

이러한 다국어 및 멀티미디어 기능은 정보 검색까지 확장됩니다.

jina-embeddings-v5-omni 모델의 검색 어댑터는 비대칭 검색을 구현합니다. 이는 쿼리와 검색 대상 문서를 서로 다른 방식으로 임베딩함을 의미합니다. 따라서 크로스 모달 쿼리는 항상 방향성을 가지며, 한쪽 미디어의 쿼리와 다른 미디어의 문서가 결합될 때 순서가 바뀌는 경우와 다른 점수가 산출됩니다.

아래 표는 두 도시 이야기(영어) 텍스트를 쿼리로 인코딩했을 때 두 도시 이야기와 오만과 편견의 텍스트, 오디오, 페이지 스캔 이미지에 대한 검색 점수를 보여줍니다.

텍스트 간 변환

문서

검색 점수

두 도시 이야기(프랑스어 원문 발췌)

0.7597

오만과 편견(영어 원문 발췌)

0.1482

오만과 편견 (프랑스어 텍스트 발췌)

0.0523

텍스트를 이미지로 변환

문서

검색 점수

두 도시 이야기(영문 페이지 스캔)

0.5517

두 도시 이야기(프랑스어 페이지 스캔)

0.3576

오만과 편견(영문 페이지 스캔)

0.1917

텍스트에서 오디오

문서

검색 점수

두 도시 이야기 (영어 오디오)

0.3277

A Tale of Two Cities(프랑스어 오디오)

0.1980

오만과 편견(영어 오디오)

0.1419

오만과 편견 (프랑스어 오디오)

0.1759

또한 쿼리를 반대로 실행하여 오디오-텍스트 및 이미지-텍스트 검색을 수행할 수도 있습니다.

아래는 두 도시 이야기 영어 오디오를 쿼리로 사용하고, 다양한 텍스트를 문서로 사용한 점수입니다:

이미지를 텍스트로 변환

문서

검색 점수

두 도시 이야기(영어 원문 발췌)

0.3352

두 도시 이야기(프랑스어 원문 발췌)

0.2650

오만과 편견(영어 원문 발췌)

0.1626

오만과 편견 (프랑스어 텍스트 발췌)

0.1385

그리고 점수는 두 도시 이야기(영어)의 첫 페이지 스캔을 쿼리로 사용하여 계산됩니다.

오디오를 텍스트로 변환

문서

검색 점수

두 도시 이야기(영어 원문 발췌)

0.5304

두 도시 이야기(프랑스어 원문 발췌)

0.4845

오만과 편견(영어 원문 발췌)

0.1467

오만과 편견 (프랑스어 텍스트 발췌)

0.0761

동영상 검색

jina-embeddings-v5-omni의 동영상 색인 및 검색 기능은 Elasticsearch 데이터베이스에 새로운 기능을 제공하지만, 텍스트에 적용되는 것과 동일한 주의사항이 많이 적용됩니다. 장편 영화 전체를 단일 임베딩으로 생성하는 것은 매우 긴 소설을 임베딩하는 것과 같습니다. 세부 정보가 희석되어 결과 임베딩이 다수의 엉뚱한 쿼리에도 높은 유사도를 보일 수 있습니다.

반지의 제왕 전체 텍스트(약 50만 단어)를 하나의 임베딩으로 처리하면 검색 내용과 무관하게 대부분의 쿼리에 높은 유사도를 보일 가능성이 높습니다. 마찬가지로, 2시간 분량의 영화를 인덱싱하면 엉뚱한 매칭이 많이 발생하고 세부 정보가 누락될 수 있습니다. jina-embeddings-v5-omni는 짧은 클립에 최적화되어 있습니다.

이 예시에서는 1961년 영화 티파니에서 아침을의 저작권이 적용되지 않는 예고편(158초 분량)을 다운로드하여 활용했습니다. 인터넷 아카이브에서 예고편을 볼 수 있습니다.

그림 4: 티파니에서 아침을의 극장용 포스터.

먼저 PySceneDetect를 사용하여 예고편을 1.877초(45프레임)에서 18.393초(441프레임)까지 다양한 길이의 28개의 개별 장면으로 분할했습니다. 장면 감지는 완벽하지 않지만, 동영상을 작은 크기로 나누어 검색할 수 있는 적절한 메커니즘을 제공합니다. 그런 다음 jina-embeddings-v5-omni-small를 사용하여 28개 세그먼트 각각에 대한 문서 임베딩을 생성했습니다. 이를 통해 동영상에서 특정 요소를 찾는 데 텍스트 쿼리의 효과를 테스트할 수 있었습니다.

예를 들어, '고양이'를 쿼리하면 다음 클립이 상위 3개 결과로 반환됩니다. 고양이가 등장하는 장면이 0.1634점으로 1위에 올랐습니다.

클립 1 보기.

그 다음 매칭은 0.1237점으로 훨씬 점수가 낮았습니다.

클립 2 보기.

또한 동작을 조회할 수도 있습니다. “kiss”라는 문자열로 쿼리하면 상위 4개의 일치 항목에 모두 키스가 포함됩니다.

클립 3 보기. 점수는 0.2864점입니다.

점수: 2위 매칭(0.2494), 3위 매칭(0.2099), 4위 매칭(0.2068)입니다.

그리고 "Buddy Ebsen"과 같이 동영상에서 한 번만 표시되는 텍스트를 검색할 수 있습니다. jina-embeddings-v5-omni-small은 2위보다 훨씬 높은 0.3885점으로 최고의 매칭임을 쉽게 알 수 있습니다.

Buddy Ebsen 클립.

Visual document retrieval

Jina AI의 멀티모달 임베딩 모델은 시각적 문서 처리 분야의 최고 성능 모델이자 다국어 시각적 문서 처리 분야의 최첨단 솔루션입니다. 이는 텍스트, 도형, 구조화된 정보가 포함된 이미지 데이터를 처리할 수 있다는 뜻입니다. 중요한 데이터는 종종 인쇄 스캔본, PDF 파일, 다이어그램, 기술 도면, 스크린샷, 사진, 인포그래픽 등의 형태로 제공됩니다. 이러한 종류의 이미지는 기계적으로 구성되거나 컴퓨터로 생성되는 경우가 많습니다. 일반적으로 이러한 이미지는 의미 손실 없이 텍스트로 변환하기가 어렵고, 실제 장면의 사진으로 설계된 컴퓨터 비전 모델에 적합하지 않습니다.

jina-embeddings-v5-omni임베딩은 이미지 내 물체, 그 위에 인쇄된 텍스트 및 둘 사이의 관계에 대한 정보를 포함합니다. 시각적 문서 검색을 통해 사물과 관련 텍스트가 모두 포함된 풍부한 이미지를 색인화하고, 이를 다국어로 처리할 수 있습니다.

예를 들어 다양한 전자상거래 웹사이트의 제품 이미지 4개를 사용하겠습니다.

이제 jina-embeddings-v5-omni-small 이 '라면 면' 쿼리에 대해 이 네 개의 이미지에 얼마나 정확하게 점수를 매기는지 알아보겠습니다.

캠벨 청키 치킨 누들(캐나다용 포장)

Kraft Dinner(캐나다 포장)

마루짱 된장맛 생라면(일본용 포장)

비르켈 스파게티(독일용 포장)

0.0872

0.0711

0.1123

0.0886

쉽게 일본어 매치를 찾습니다.

이제 “マカロニチーズ”(일본어로 마카로니 앤 치즈)에 대해 쿼리를 실행해 보겠습니다:

캠벨 청키 치킨 누들(캐나다용 포장)

Kraft Dinner(캐나다 포장)

마루짱 된장맛 생라면(일본용 포장)

비르켈 스파게티(독일용 포장)

0.2207

0.3487

0.2760

0.2674

영어 쿼리와 마찬가지로 손쉽게 정확히 일치하는 항목을 찾습니다.

jina-embeddings-v5-omni 또한 차트처럼 정보가 풍부한 이미지를 해석하는 데도 탁월합니다. 다음 두 개의 막대형 차트를 통해 실제로 확인해보겠습니다.

왼쪽에 있는 차트 1은 전 세계 질병 부담에 관한 내용이고, 오른쪽의 차트 2는 개 품종별 수명에 관한 내용입니다.

두 가지 잠재적 텍스트 질문이 각각 하나의 차트에만 해당하며 두 차트 모두에 해당하지 않는 경우, jina-embeddings-v5-omni-small 검색을 통해 얼마나 잘 일치하는지 확인해 보겠습니다.

텍스트 질문

차트 1

차트 2

"노인에게 흔히 발생하는 의학적 문제는 뭐야?"

0.2787

0.1099

“개는 얼마나 오래 살아?”

0.1350

0.3564

이미지를 검색어로 사용하여 텍스트를 찾는 역검색도 가능합니다. 아래 표는 주제별 관련 과학 논문의 초록에서 추출한 대상 문서와 그 검색 점수를 차트 이미지를 쿼리로 사용하여 보여줍니다.

텍스트 1

텍스트 2

극심한 빈곤 속에서 살아가는 인구의 건강은 글로벌 개발 노력의 오랜 핵심 과제였으며, 지속가능발전목표(SDG) 시대에도 여전히 최우선 과제로 남아 있습니다. 그러나 이 특정 인구 집단의 질병 부담 규모와 원인을 체계적으로 정량화하려는 시도는 거의 20년간 이루어지지 않았습니다. 세계 최빈곤층 10억 명을 대상으로 원인별 질병 발생률을 추정하고, 이를 고소득 인구의 발생률과 비교했습니다.

반려견은 표현형적으로 가장 다양한 종 중 하나입니다. 품종 간 차이는 형태학적 특성과 행동적 측면뿐만 아니라 수명에까지 나타납니다. 이러한 사실에도 불구하고, 품종 간 기대 수명의 차이를 평가하거나 수명의 계통발생학적 특성화 가능성을 검토하는 연구는 거의 이루어지지 않았습니다.

차트 1

0.2377

0.1357

차트 2

0.0673

0.3576

기능

잘라낼 수 있는 임베딩

jina-embeddings-v5-omni를 뒷받침하는 백본 jina-embeddings-v5-text 모델은 Matryoshka 표현 학습으로 학습되었기 때문에 이러한 모델에서 텍스트와 멀티미디어 임베딩을 모두 잘라낼 수 있습니다.

기본적으로 jina-embeddings-v5-omni-small은 1,024차원의 임베딩을 생성하며, 16비트 정밀도로 저장하는 데 2KB가 소요됩니다. jina-embeddings-v5-omni-nano의 임베딩은 768차원이며, 약 1.5KB를 차지합니다. 이러한 임베딩의 크기를 32차원(64바이트)까지 줄일 수 있으며, 이 경우 정확도는 다소 저하되지만 처리 속도가 크게 향상되고 리소스 비용이 절감됩니다. 일반적으로 임베딩 크기를 절반으로 줄이면 정확도가 약 2% 낮아지며, 128차원까지 내려가면 정확도가 훨씬 더 빠르게 떨어집니다.

잘라낼 수 있는 임베딩을 통해 사용자는 자신의 사용 사례에 맞춰 정확성, 속도 및 비용 간의 최적의 균형을 결정할 수 있습니다.

양자화

jina-embeddings-v5-omni 제품군은 또한 jina-embeddings-v5-text 백본의 강력한 양자화 성능을 그대로 이어받습니다. 이는 더 낮은 정밀도의 숫자를 저장함으로써 처리 속도를 더욱 높이고 컴퓨팅 및 스토리지 비용을 절감합니다. 이 모델들은 Elasticsearch의 Better Binary Quantization(BBQ)과 함께 작동하도록 학습되어, 양자화되지 않은 임베딩과 거의 동일한 성능을 제공합니다. Massive Text Embedding Benchmark(MTEB) 검색 벤치마크 제품군에서 이진화는 전체 16비트 값 대비 성능을 3% 미만으로 저하시키면서 저장 공간을 93% 절감하고 처리 및 검색 속도를 크게 향상시킵니다.

다국어 성능

jina-embeddings-v5-text의 광범위한 다국어 학습은 jina-embeddings-v5-omni에도 적용되며, jina-embeddings-v5-text-small의 사전 학습에는 약 100개 언어가, jina-embeddings-v5-text-nano의 사전 학습에는 15개의 주요 글로벌 언어가 포함되어 있습니다. 오디오 미디어의 경우, Whisper-large-v3 모델은 약 100개의 언어로 학습되었으며, jina-embeddings-v5-omni-small 및 -nano에 통합된 Qwen 수정 SigLip2 비전 모델은 201개의 서로 다른 언어 및 방언의 데이터로 학습되었습니다.

벤치마크 성능

텍스트

jina-embeddings-v5-omni 모델은 텍스트에만 사용할 경우 jina-embeddings-v5-text 모델과 동일합니다. 이들은 MMTEB 벤치마크 제품군에서 의미적 텍스트 임베딩 크기 카테고리에서 최고의 성능을 자랑합니다.

그림 5: jina-embeddings-v5-omni의 텍스트 벤치마크에서의 크기와 성능을 경쟁 모델과 비교한 결과. 인용된 크기는 다른 미디어의 확장자를 로드하지 않은 크기입니다.

시각적 의미적 유사도

표준 시각적 의미 유사도 벤치마크에서 jina-embeddings-v5-omni는 비슷한 크기의 모델 중 가장 높은 점수를 기록했습니다. jina-embeddings-v5-omni 모델은 비슷한 크기의 공개 오픈 가중치 모델 중 단연 최고의 성능을 보여줍니다. jina-embeddings-v5-omni-small은 시각적 의미 유사도 작업에서 3배 크기의 모델에만 뒤지며, jina-embeddings-v5-omni-nano는 jina-embeddings-v5-omni-small 및 10~25배 더 큰 모델에만 뒤집니다.

그림 6: 시각적 의미 유사도 벤치마크 평균 점수(jina-embeddings-v5-omni-small, jina-embeddings-v5-omni-nano, 및 비교 가능한 모델)와 시각 확장을 포함한 크기.

Visual document retrieval

jina-embeddings-v5-omni-small 30억 및 70억 개의 매개변수를 가진 모델과 경쟁력을 갖추면서도 10억 개 미만의 매개변수를 유지합니다. jina-embeddings-v5-omni-nano도 마찬가지로 10~60배 더 큰 모델을 제치고 크기 면에서 두각을 나타냈습니다.

그림 7: DocVQA, InfoVQA, ShiftProj, SynAI, Tabfquad, TatDQA 6개 벤치마크에서의 평균 ViDoRe 시각 문서 검색 점수.

오디오 검색

표준 MAEB(대규모 오디오 임베딩 벤치마크) 오디오 검색 벤치마크에서 jina-embeddings-v5-omni-small 및 jina-embeddings-v5-omni-nano 모두 상위권에 속합니다. jina-embeddings-v5-omni-small의 3배가 넘는 초대형 모델만이 이 점수를 넘어섰습니다.

그림 8: MAEB 오디오 검색 벤치마크에서 다양한 모델의 평균 점수.

비록 LAION의 larger_clap_general 모델이 더 적은 매개변수로 jina-embeddings-v5-omni-nano의 점수를 개선하지만, 이는 v5-omni 제품군의 추가적인 멀티모달 기능이 없는 오디오 전용 모델입니다.

동영상

jina-embeddings-v5-omni-small은 동영상에서 텍스트 검색어와 일치하는 동영상의 특정 위치를 찾는 데 탁월한 역량을 보입니다. 이 작업의 표준 벤치마크인 Charades-STA와 MomentSeeker 테스트 결과, 아래 차트에서 볼 수 있듯이 jina-embeddings-v5-omni-small은 크기가 훨씬 작음에도 불구하고 동급 오픈 가중치 모델 중 최고 점수를 기록했습니다.

그림 9: 다양한 모델의 Charades-STA 점수와 그 크기.

그림 10: 다양한 모델의 MomentSeeker 점수와 각 크기.

또한 jina-embeddings-v5-omni-small을 매개변수 수가 공개되지 않은 폐쇄 가중치 모델인 ByteDance의 Seed 1.6과도 비교했습니다. 저희 모델은 Charades-STA 벤치마크에서 Seed 1.6을 큰 차이로 앞섰고, MomentSeeker에서는 거의 동일합니다.

모델

Charades-STA 점수

MomentSeeker 점수

seed-1.6-embedding

29.30

59.30

jina-embeddings-v5-omni-small

55.57

58.93

장점과 한계

jina-embeddings-v5-omni 모델은 특히 다양한 방식으로 디지털화된 정보를 색인, 검색, 분석할 수 있는 사용자의 능력을 확장합니다.

• 텍스트 쿼리 기반 다국어 음성 검색.

• PDF, 스캔 및 시각적 문서 검색.

• 동영상 시간적 그라운딩(동영상에서 자연어 텍스트 설명과 일치하는 부분 식별).

• 음악 장르를 포함한 오디오 장르 분류.

• 장면 정보 및 객체 식별을 기반으로 이미지를 분류합니다.

일부 다른 영역에서는 성능이 더 제한적일 수 있습니다. jina-embeddings-v5-omni를 사용하여 이러한 작업을 수행할 수도 있지만, 이에 대해 학습되지 않았으므로 결과가 좋지 않을 수 있습니다.

저희는 다음과 같은 분야의 기술을 개선하기 위해 적극적으로 노력하고 있습니다.

• 자연어 설명에서 특정 동영상을 찾습니다.

• 이미지 간 의미적 유사도와 검색 기능.

• 음성 명령 인식과 같은 음성 의도 분류.

• 이미지와 텍스트, 또는 오디오, 이미지, 텍스트가 결합된 혼합 미디어 입력 처리.

jina-embeddings-v5-omni 사용하기

이 모델 제품군은 텍스트, 오디오, 이미지 및 동영상을 함께 입력하는 세 가지 입력 방식을 지원합니다. jina-embeddings-v5-omni는 광범위한 표준 형식을 변환하고 기타 전처리 작업을 수행하는 프레임워크 내에서 실행됩니다.

초기 SigLip2 릴리스에서 제공된 것과 같은 NaFlex 방식을 사용해 이미지를 처리합니다. 입력이 262,144픽셀(512x512에 해당)보다 작으면 그 최소 크기보다 커질 때까지 업스케일되고, 3,072,000픽셀보다 크면 그 최대 크기보다 작아질 때까지 축소됩니다. 변환 프로세스는 가능한 한 종횡비 왜곡을 최소화하면서 이미지의 높이와 너비가 모두 14픽셀의 배수가 되도록 합니다. 결과물은 28x28픽셀의 패치로 분할되며, 전체 패치 수는 이미지를 커버하는 데 필요한 28x28 정사각형의 수에 따라 결정됩니다. 각 패치는 추론 시 단일 토큰으로 처리되며, 각 이미지 입력에는 단일 이미지의 경계를 구분하기 위한 특수 시작 및 종료 토큰이 함께 제공됩니다.

jina-embeddings-v5-omni 모델은 이미지 수정과 마찬가지로 동영상 해상도를 수정하며(위 참조), 동영상에서 최대 32프레임까지 추출합니다. 동영상이 32프레임을 초과하는 경우(표준 형식은 보통 초당 최소 24프레임이므로 대부분 해당), 추출할 프레임을 균등한 간격으로 선택합니다. 그런 다음, 동영상 전처리기는 영상을 커버하기 위한 필요한 28x28 정사각형의 수에 해당하는 하나의 토큰 세트를 이후 매 2프레임마다 생성합니다.

그림 11: jina-embeddings-v5-omni가 동영상에서 동일한 간격으로 32개의 프레임 추출. 동영상이 길면 손실되는 양이 많다는 뜻입니다.

동영상 전처리에 대한 자세한 내용은 SigLip2 기술 문서를 참조하세요.

오디오 토큰화는 Qwen-2.5-Omni에 내장된 접근 방식을 따릅니다. 사운드 파일은 30초 세그먼트로 잘리고, 30초를 초과하는 경우 16kHz로 리샘플링되어 128채널 멜-스펙트로그램으로 변환됩니다. 40ms마다 하나의 토큰으로 처리되어 30초 분량의 세그먼트는 750개의 토큰(오디오 40ms당 1개의 토큰)으로 구성되며, 단일 샘플의 경계를 구분하기 위해 특수 시작 및 종료 토큰이 추가됩니다.

오디오 전처리에 대한 자세한 내용은 Qwen-2.5-Omni 기술 보고서를 참조하세요.

가용성

jina-embeddings-v5-omni-small과 jina-embeddings-v5-omni-nano는 모두 Elastic Inference Service(EIS)에서 Jina API를 통해 이용하거나, 다운로드를 통해 로컬에 설치(small 및 nano)할 수 있습니다. 모델 가중치는 비상업적 라이선스로 무료로 배포되어 사용해 보실 수 있습니다. 상업적 사용에 관해서는 Elastic 영업팀에 문의하세요.

시작하기

텍스트에 jina-embeddings-v5-omni를 사용하려면 jina-embeddings-v5-text와 마찬가지로 semantic_text 필드를 사용하여 통합할 수 있습니다. inference_id 를 .jina-embeddings-v5-omni-small 또는 .jina-embeddings-v5-omni-nano로 설정하세요. 지침은 참조 안내서를 참고하시기 바랍니다.

jina-embeddings-v5-omni로 다른 미디어를 임베드하려면 추론 API를 사용해야 합니다. 그 예는 다음과 같습니다.

jina-embeddings-v5-omni-nano의 경우, POST URI를 _inference/embedding/.jina-embeddings-v5-omni-nano로 변경하세요.

다른 미디어의 문서를 인코딩하거나 분류 또는 클러스터링을 위한 임베딩을 생성하려면 jinaai 서비스를 사용하여 추론 엔드포인트를 만들어야 합니다.

쿼리의 경우, 아래 예시와 같이 쿼리 빌더를 사용하세요. inference_id 값을 .jina-embeddings-v5-omni-nano 로 대체하여 nano 모델을 small대신 사용하세요.

자세한 내용은 쿼리 빌더 문서를 참조하세요.

jina-embeddings-v5-omni와 BBQ를 함께 사용하려면 BBQ 색인 지침을 따르세요.

추가 정보

jina-embeddings-v5-omni에 대한 자세한 내용은 모델의 기술 보고서 및 Jina AI 웹사이트의 해당 페이지를 참조하세요. Hugging Face의 jina-embeddings-v5-omni 컬렉션 페이지에는 이러한 모델을 로컬에 다운로드하고 실행하는 방법에 대한 기술 정보와 안내가 포함되어 있습니다. jina-embeddings-v5-omni 모델은 CC-BY-NC-4.0 라이선스에 따라 다운로드할 수 있으며, 자유롭게 사용해 볼 수 있습니다. 그러나 상업적 용도로 사용하려면 Elastic 영업팀에 문의해 주시기 바랍니다.

이 통합을 통해 Elasticsearch 사용자는 데이터를 보안 경계 내에 유지하고, 예측 가능한 인프라 비용을 제공하며, Google Cloud에서 기본적으로 실행되는 새로운 배포 옵션을 얻게 됩니다. 동시에 더 광범위한 Google Cloud 에코시스템은 Jina의 특수 목적에 맞게 구축된 최첨단 검색 및 검색 모델에 액세스할 수 있습니다.

이것은 더 광범위한 출시의 첫 번째 단계입니다. 다음에 출시될 모델과 함께 완벽한 검색 스택을 구성하게 될 것입니다. 데이터를 임베드하고, 쿼리를 임베드하고, 후보를 검색하고 순위를 재조정하고, 멀티모달 임베딩을 통해 이미지로 검색을 확장하는 모든 작업을 사용자가 제어하는 인프라에서 수행할 수 있습니다. 지금 바로 jina-embeddings-v3 모델로 시작할 수 있습니다. 이 모델은 이미 Elastic Inference Service(EIS)를 통해 Elasticsearch 에코시스템 전반의 프로덕션 검색 파이프라인을 지원하고 있습니다.

모델

유형

매개변수

핵심 역량

Model Garden의 상태

`jina-embeddings-v3`

텍스트 임베딩

572M

검증된 다국어 작업 도구, 8K 컨텍스트, 1,024차원 출력, 32까지 축소 가능

사용 가능

`jina-embeddings-v5-text-small`

텍스트 임베딩

677M

최첨단 10억 미만 다국어 지원, 32K 컨텍스트, 1024차원 출력, 32까지 축소 가능

곧 출시 예정

`jina-embeddings-v5-text-nano`

텍스트 임베딩

239M

동급 최고의 500M 미만 매개변수, 8K 컨텍스트, 768차원 출력, 32까지 축소 가능

곧 출시 예정

`jina-reranker-v3`

순위 재지정기

600M

목록별 순위 재조정기, 131K 컨텍스트, 최대 64개 문서

곧 출시 예정

`jina-clip-v2`

멀티모달 임베딩

900M

공유 공간의 텍스트 + 이미지, 89개 언어, 8K 텍스트 컨텍스트, 512×512 이미지

곧 출시 예정

모든 모델은 Google Cloud에서 가장 비용 효율적인 GPU 계층인 단일 NVIDIA L4(24GB)로 실행됩니다. Google Cloud Model Garden의 다른 대부분의 임베딩 모델은 A100 80GB 또는 H100을 필요로 하는데, 이는 토큰 계산을 시작하기도 전에 시간당 인스턴스 비용의 약 3배에 달합니다.

Vertex AI를 통해 배포할 경우 추가적인 상업용 라이선스가 필요하지 않습니다.

Model Garden인 이유는 무엇인가요?

API를 직접 호출하는 대신 Model Garden을 통해 배포해야 하는 이유는 무엇일까요? 제어, 비용, 컨텍스트 세 가지로 요약할 수 있습니다.

데이터는 절대 외부로 유출되지 않습니다

대부분의 개발자에게 가장 큰 매력은 자체 배포 아키텍처입니다. Model Garden을 통해 Jina 모델을 배포하면 가중치는 자체 Google Cloud 프로젝트 및 자체 VPC 내의 GPU 인스턴스에서 실행됩니다. 이는 금융이나 의료와 같이 데이터 보안에 대한 우려가 있는 산업에 종사하는 모든 사람에게 획기적인 변화입니다. 외부 API 호출이 없으므로 민감한 데이터는 보안 경계 내에 안전하게 보관됩니다.

예측을 통한 확장

문장을 삽입하거나 문서 순위를 다시 매길 때마다 비용을 지불하는 대신 시간당 고정 인스턴스 비용을 지불하면 됩니다. 또한 모든 Jina 모델은 Google Cloud에서 가장 저렴한 GPU 티어인 단일 NVIDIA L4에서 실행할 수 있으므로 진입 장벽이 낮습니다. 요청을 천 건 처리하든 십억 건 처리하든, 인프라 비용은 예측 가능합니다. 이는 트래픽 증가에 대해 세금을 부과하는 것이 아니라 실제로 보상을 제공하는 설정입니다.

모든 것을 한 지붕 아래에서

데이터가 이미 Google Cloud, BigQuery 또는 Cloud Storage의 Elasticsearch에 있는 경우, 추론 엔진을 가까운 곳에 두는 것이 좋습니다. Model Garden을 통해 배포하면 Jina 검색 기반 모델은 액세스 제어를 위한 ID 및 액세스 관리(IAM), 기존 Google Cloud 인보이스 통합 청구, 머신 러닝 작업(MLOps) 워크플로우를 위한 Vertex AI 파이프라인에 연결하는 기능 등 이미 사용 중인 모든 엔터프라이즈 기능을 그대로 이어받게 됩니다.

Jina AI Cloud API와 Elastic Cloud는 폭증하는 트래픽이나 기존 검색 워크플로우에 가장 빠른 경로를 제공하는 반면, Model Garden은 엄격한 데이터 보안과 대규모 환경에서도 예측 가능한 비용이 필요한 엔터프라이즈 애플리케이션에 이상적입니다. Elastic은 고객이 필요로 하는 곳에서 서비스를 제공합니다.

Jina AI 모델

jina-embeddings-v3

당사의 입증된 다국어 임베딩 모델은 5억 7,200만 개의 매개변수와 8K 토큰 컨텍스트를 갖추고 있습니다. 대량 텍스트 임베딩 벤치마크(MTEB) 영어에서 65.5점을 받았습니다. 5개의 작업별 저순위 적응(LoRA) 어댑터(검색 쿼리/지문, 텍스트 매칭, 분류, 클러스터링)와 1024차원에서 64차원의 마트료시카 절단을 지원합니다. 이미 EIS를 통해 Elasticsearch 에코시스템 전반에 걸쳐 널리 채택되었습니다.

당사는 많은 생산 시스템이 이미 v3에 의존하고 있기 때문에 v3를 선도하고 있습니다. v3 기반 파이프라인을 Google Cloud로 마이그레이션하는 경우 이제 임베딩 차원을 변경하거나 색인을 다시 생성하지 않고도 동일한 모델을 기본적으로 실행할 수 있습니다.

jina-embeddings-v5-text(소형 및 나노)

2026년 2월에 출시된 5세대 텍스트 임베딩 모델은 그보다 몇 배 큰 모델과 경쟁하여 최고 수준의 성능을 달성합니다.

v5-text-small (677M) 9개 작업 유형의 131개 작업을 포괄하는 다국어 MTEB(MMTEB) 벤치마크 제품군에서 67.0점, MTEB 영어 벤치마크에서 71.7점을 기록했습니다. MTEB 리더보드에서 가장 강력한 10억 개 미만 매개변수의 다국어 임베딩 모델입니다.

v5-text-nano (239M) MMTEB에서 65.5점을 받았습니다. 5억 개 미만의 매개변수를 가진 다른 모델은 이 수준에 도달하지 못합니다. 대부분의 유사 모델보다 크기가 절반도 안 되기 때문에 엣지 환경 및 지연 시간에 민감한 배포에 가장 적합한 선택입니다.

두 모델 모두 지원합니다:

• LoRA 어댑터는 검색, 텍스트 매칭, 분류, 클러스터링의 네 가지 작업별 어댑터로 구성됩니다 . 추론 시 task 매개변수를 통해 적절한 어댑터를 선택합니다.

• 마트료시카 차원 축소: 임베딩 차원을 1024(나노의 경우 768)에서 32로 줄입니다. 품질 손실은 중간 정도의 잘라내기(예: 256차원)에서 최소화됩니다. 차원을 절반으로 줄이면 저장 공간도 대략 절반으로 줄어듭니다.

• 이진 양자화: 1,024차원 임베딩을 이진 양자화를 통해 2KB에서 128바이트로 압축합니다. 특별한 훈련을 통해 압축 손실을 최소화합니다.

• 다국어: 119개 언어(소형) 및 93개 언어(나노).

jina-reranker-v3

최신이지만 느리지 않은 인터랙션 아키텍처를 사용하여 구축된 0.6B 매개변수 다국어 목록형 재랭커입니다. 쿼리와 최대 64개의 후보 매칭이 하나의 131K 토큰 컨텍스트 창에 입력되며, 모델은 점수 매기기 전에 문서 간 비교를 수행합니다. Jina Reranker v3는 BEIR에서 61.94 nDCG@10을 기록하며, 크기가 6배 작아 모델보다 더 좋은 성능을 보입니다. 이는 각 문서별로 점수를 매기는 점수별 순위 재지정기와는 근본적으로 다르며, 특히 단일 문서에서 지문 검색에 더 좋은 결과를 냅니다.

jina-clip-v2

텍스트와 이미지를 1024차원의 공유 공간에 Maps하는 0.9B 크기의 멀티모달, 다국어 임베딩 모델입니다. 다음을 지원합니다.

• 텍스트-이미지 검색을 위한 89개 언어.

• 512×512 이미지 해상도.

• 8K 토큰 텍스트 입력.

• 두 양식 모두 1024에서 64차원으로 마트료시카 잘라내기.

다국어 작업을 포함한 이미지-텍스트 벤치마크에서 높은 경쟁력을 자랑합니다.

시작하기

Jina Embeddings v3가 오늘 Model Garden에 공개되었습니다. 작동시키는 방법은 다음과 같습니다.

Vertex AI API가 활성화된 Google Cloud 프로젝트가 필요하며 최소 하나의 g2-standard-8 인스턴스(NVIDIA L4)를 위한 충분한 GPU 할당량이 있어야 합니다. Google Cloud를 처음 사용하는 경우 설정 가이드부터 시작하세요.

Jina Embeddings v3의 Model Garden 페이지는 모델을 업로드하고, 엔드포인트를 생성하며, 머신 유형을 선택하고, 배포하는 전체 흐름을 안내합니다. 자신의 프로젝트에서 열고 안내된 단계를 따르세요. 지역과 할당량이 허용하는 곳에서는 A100과 H100 머신도 사용할 수 있지만 시작하려면 L4만 있으면 됩니다.

클릭부터 첫 임베딩까지 전체 과정은 몇 분이면 완료됩니다.

다음 단계

Jina Embeddings v3가 출발점입니다. 향후 몇 주 안에 Model Garden에 Jina 검색 스택의 나머지 부분인 v5 텍스트 임베딩(소형 및 나노), jina-reranker-v3, 그리고 멀티모달 검색을 위한 jina-clip-v2를 추가할 예정입니다. 모두 동일한 자체 배포 모델의 단일 L4 GPU에서 실행됩니다.

기업은 고객 지원 티켓, 법률 문서, 뉴스 피드, 연구 논문 등 방대한 양의 문서를 축적하며, 올바른 질문을 던지기 위해서는 먼저 그 문서에 어떤 내용이 담겨 있는지 정확히 파악해야 합니다 레이블이나 학습 데이터가 없는 상태에서 수천 건의 문서를 수동으로 검토하는 것은 현실적으로 불가능합니다. 무엇을 검색해야 할지 모를 때는 기존 검색 방식이 도움이 되지 않습니다.

이 게시물에서는 이러한 탐색 문제를 해결하는 Elasticsearch 기반의 비지도형 문서 클러스터링 및 시간적 스토리 추적 방식을 안내합니다. 이 과정을 마치고 나면, 여러 날에 걸쳐 전개되는 스토리의 흐름을 다음과 같이 추적할 수 있습니다.

다룰 내용:

• 쿼리 없이 주제를 탐색할 때, (검색용 임베딩이 아닌) 클러스터링 임베딩을 사용하는 것이 왜 중요한가요?

• Elasticsearch의 k-최근접 이웃(kNN)과 배치(Batched) msearch을(를) 활용하여, 밀도 조사 중심 분류 방식이 문서를 주제별로 그룹화하는 방법.

• 모델 학습 없이도 주제를 파악할 수 있도록, significant_text이(가) 클러스터에 자동 레이블 지정을 수행하는 방법.

• 시간적 스토리 체인이 일별 클러스터를 연결하여, 주제가 매일 어떻게 진화하는지를 보여 줍니다.

이 파이프라인은 BBC 뉴스 및 The Guardian에서 제공하는 2025년 2월 기사 약 8,500개를 테스트 코퍼스로 사용합니다. 뉴스는 시간적 흐름이 명확하기 때문에 활용하기 편리하지만, 이러한 패턴은 법률 검토, 규정 준수 모니터링, 연구 종합, 고객 지원 분류 등 문서 탐색이 중요한 모든 곳에 적용될 수 있습니다.

스택:

• Jina v5 클러스터링 임베딩: 주제 그룹화를 위한 작업별 LoRA(Low-Rank Adaptation) 어댑터. Jina가 Elastic과 함께하게 되었습니다. Elastic Inference Service(EIS)에서 Jina 모델을 네이티브로 사용할 수 있습니다.

• Elasticsearch: 확장 가능한 kNN, significant_text 레이블 지정, 및 벡터 스토리지.

• DiskBBQ: 근사 최근접 이웃(ANN) 검색 가속화를 위해 더 나은 이진 양자화(BBQ)와 계층적 K-평균 분할을 결합한 디스크 기반 벡터 인덱스 포맷입니다. 이 인덱스 분할은 벡터 검색 내부에서 이루어지며, 이 게시물에서 사용된 밀도 조사 클러스터링 알고리즘과는 별개입니다. bbq_disk은(는) 양자화된 벡터를 디스크에 저장하고 힙(Heap)에는 분할 메타데이터만 유지합니다. 덕분에 bbq_hnsw과(와) 비교했을 때 높은 재현율을 유지하면서도 리소스 요구 사양을 획기적으로 낮출 수 있습니다.

• 전역 클러스터링 + 일별 시간적 연결: 탐색 및 스토리 진화.

준비 사항:

• Elasticsearch 배포(Elastic Cloud, Elasticsearch Serverless 또는 Elastic Self-Managed 8.18+/9.0+) bbq_disk 을(를) 사용하려면 8.18 이상이 필요합니다. 선택 사항인 다양성 기반 검색기 섹션은 9.3 이상 또는 서버리스가 필요합니다.

• Jina API 키Jina API 키: 무료 티어에는 1,000만 토큰이 포함되어 있으며, 이는 핵심 클러스터링 파이프라인(약 425만 토큰)을 감당할 수 있습니다. 선택 사항인 검색과 클러스터링 비교에는 두 번째 임베딩 패스를 사용합니다.

• Guardian API 키 (무료).

설정

필요한 패키지 설치:

선택 사항(이 리포지토리에서 스크래핑 도우미를 실행하는 경우에만):

그런 다음 프로젝트 루트에 있는 .env 파일에 API 키를 구성하세요.

이 노트북은 load_dotenv(override=True)을(를) 호출하므로, 로컬 .env 값이 우선적으로 적용됩니다.

1부: 탐색 클러스터링 - 왜 임베딩을 클러스터링해야 할까요?

대부분의 벡터 검색은 쿼리와 관련 문서 간의 일치 여부를 판단하도록 학습된 검색용 임베딩을 사용합니다. 검색에는 완벽하지만, 탐색에는 적합하지 않습니다. 쿼리 없이도 코퍼스에 어떤 주제가 존재하는지 찾으려면 유사한 문서를 함께 그룹화하는 임베딩이 필요합니다.

Jina v5는 작업별 LoRA(Low-Rank Adaptation) 어댑터를 통해 이 문제를 해결합니다. LoRA는 모델의 기본 가중치 대부분을 고정한 채, 대상 내부 레이어에 소규모의 저순위 업데이트를 추가합니다. 이를 통해 모델 전체를 재학습시키지 않고도 특정 작업에 맞춰 모델의 동작을 변화시킬 수 있습니다. 동일한 기본 모델이라도 task 매개변수 설정에 따라 서로 다른 임베딩을 생성합니다.

작업

학습 용도

사용 사례

retrieval.passage

쿼리-문서 일치

검색, Retrieval-Augmented Generation(RAG)

클러스터링

주제 그룹화(긴밀한 클러스터에 최적화됨)

탐색, 분류

클러스터링 어댑터는 동일한 주제의 문서들은 임베딩 공간에서 더 가깝게, 서로 다른 주제의 문서들은 더 멀리 배치되도록 학습되었습니다. 아래의 시각적 비교 자료를 통해 그 차이를 명확히 확인할 수 있습니다.

검색과 클러스터링: 시각적 비교

그 차이를 확인하기 위해, 두 가지 작업 유형을 각각 모두 적용하여 문서 샘플을 임베딩했습니다. 클러스터링은 원본 데이터인 1024차원의 임베딩 공간에서 수행됩니다. UMAP(Uniform Manifold Approximation and Projection)은 시각화를 위해 이러한 임베딩을 2차원으로 투영하는 용도로만 사용됩니다. UMAP은 데이터의 지역적 이웃 구조를 보존하므로, 클러스터 간의 분리를 비교하는 데 유용합니다.

아래는 동일한 480개의 문서 샘플에 두 가지 작업 유형을 각각 모두 적용하여 임베딩한 후, UMAP을 통해 2차원으로 투영한 결과입니다. 클러스터링 패널에서 더 긴밀하고, 더 명확히 분리된 색상 그룹을 찾습니다.

검색용 임베딩(왼쪽)은 주제를 넓게 퍼뜨리는 반면, 클러스터링용 임베딩(오른쪽)은 동일한 문서에서도 더 긴밀하고 명확하게 구분된 그룹을 형성합니다.

클러스터링 임베딩은 더 긴밀하고 시각적으로도 훨씬 뚜렷하게 구별되는 그룹을 생성합니다. 검색 임베딩은 주제를 더 고르게 분산시켜 검색(세밀한 유사도)에 이상적이지만, 탐색의 경우 긴밀한 주제별 클러스터가 중요합니다.

이것이 바로 본 단계별 안내 나머지 과정에서 task="clustering"을(를) 사용하는 이유입니다.

데이터셋 로딩

코퍼스는 2025년 2월의 두 뉴스 소스를 결합합니다.

• BBC 뉴스: RealTimeData/bbc_news_alltime HuggingFace 데이터셋 활용.

• The Guardian: Guardian Open Platform API활용.

여러 소스의 데이터를 사용하면, 클러스터링이 소스만의 특정 스타일이 아닌 주제를 제대로 찾아내는지 검증하는 데 도움이 됩니다.

클러스터링 작업을 통한 임베딩

모든 문서에 대해 Jina v5 API는 task="clustering" (으)로 호출됩니다. 임베딩은 디스크에 캐시되므로 이후 실행에서는 API를 완전히 건너뜁니다.

API 호출은 간단합니다. task 매개변수는 일반적인 임베딩 사용 방식과 구분되는 가장 핵심적인 차이점입니다.

아래 실행 시간은 캐시 적중이 적용되었습니다. API를 처음 실행할 때 걸리는 시간은 코퍼스 크기에 따라 달라집니다.

단일 Elasticsearch 인덱스로 색인

탐색 클러스터링을 위해, 한 달 전체 데이터를 하나의 인덱스(docs-clustering-all)에 저장합니다. 일일 분할은 시간적 스토리 연결을 위해 나중에 이루어집니다.

인덱스 매핑 시 벡터 필드에 bbq_disk (을)를 사용합니다.

1024차원의 float32 벡터는 용량이 4KB입니다. bbq_disk(은)는 계층적 K-평균을 사용하여 벡터를 작은 클러스터로 나누고, 이를 이진 양자화하여 저장한 뒤, 재계산을 위해 전체 정밀도 벡터를 디스크에 보관합니다. 오직 분할 메타데이터만 힙에 상주하므로, 방대한 코퍼스를 처리할 때도 메모리 사용량을 낮게 유지할 수 있습니다. 더 많은 힙을 감당할 수 있는 워크로드의 경우, bbq_hnsw(은)는 리소스 비용이 더 높지만 더 빠른 검색이 가능한 계층적으로 탐색 가능 작은 세계(HNSW) 그래프를 생성합니다.

dense_vector 필드 타입은 다양한 양자화 전략을 지원합니다. 여기서 사용된 1024차원 벡터와 같은 고차원 임베딩에는 bbq_disk 및 bbq_hnsw 방식이 가장 적합합니다.

클러스터링: 밀도 조사 중심 분류

HDBSCAN과 같은 전통적인 클러스터링 알고리즘은 N×d 크기의 전체 벡터 행렬을 메모리에 올려 둘 수 있고, 전체 데이터를 반복적으로 훑으며 업데이트를 수행할 수 있다는 가정하에 작동합니다. 1,024차원의 문서 8,495개라면 충분히 감당할 수 있는 크기(35MB 수준)입니다. 하지만 추가적인 인프라 없이는 수백만 건의 문서로 확장하기 어려운 접근 방식입니다.

이 알고리즘은 개념적으로 Voronoi 할당과 노이즈 플로어를 사용하는 KMeans++ 초기화 방식과 유사하지만, Elasticsearch kNN 검색을 연산 프리미티브로 사용하여 거의 모든 작업을 서버 측에서 처리합니다.

1. 전체 문서의 5%를 밀도 조사용으로 샘플링합니다(무작위 샘플, 최소 50개).

2. 배치 처리된msearch kNN을 통해 밀도를 조사합니다. 각 조사 지점에서 kNN 쿼리를 실행해 주변의 평균 유사도를 기록합니다. 높은 평균 유사도는 임베딩 공간의 밀집 영역을 의미합니다. msearch(은)는 단일 HTTP 호출로 여러 검색 요청을 보낼 수 있는데, 이 기능이 여기서 매우 중요합니다. 밀도 조사 과정에서 수백 개의 kNN 쿼리가 생성되는데, 이를 배치로 처리함으로써 요청당 발생하는 오버헤드를 방지할 수 있기 때문입니다.

3. 다양성을 갖춘 고밀도 시드 선택: 밀도 중앙값 이상의 후보들을 밀도 내림차순으로 정렬한 뒤, 모든 기존 시드와의 코사인 유사도가 분리 임계값보다 낮은 경우에만 탐욕적으로 채택합니다. 이것이 유일한 클라이언트 측 연산입니다.(문서 8,000개 기준 약 0.01초 소요)

4. msearch  kNN을 통해 모든 문서를 중심 기준으로 분류: 각 시드가 중심 역할을 수행하며, kNN 검색을 통해 유사도 임계값 이상의 인접 문서를 찾아냅니다. 각 문서는 가장 높은 점수를 반환한 중심에 할당됩니다. 규모가 작은 클러스터들은 해체되어 노이즈로 처리됩니다.

고난도 작업은 Elasticsearch가 처리합니다. 즉, msearch(은)는 밀도 조사에, msearch(은)는 분류에, 그리고 significant_text(은)는 레이블 지정에 활용됩니다. 이 코퍼스(총 8,495개 문서)의 경우, 5%의 밀도 조사용 샘플을 통해 425개의 kNN 조사 쿼리가 실행됩니다. msearch(은)는 이를 9개의 HTTP 호출(배치 크기 50)로 배치 처리함으로써, 개별 조사마다 발생할 수 있는 요청 오버헤드를 방지합니다. 여기에 bbq_disk의 ANN 조회가 결합되어, 클러스터링 단계를 빠르고 확장 가능하게 유지해 줍니다. 클러스터링 단계에서는 속도를 위해 num_candidates 값을 최소화하여 kNN 쿼리를 실행합니다. 반면, 프로덕션 검색 쿼리에서는 지연 시간이 늘어나더라도 재현율을 높이기 위해 더 큰 num_candidates 값을 사용해야 합니다.

클러스터의 크기는 엄격한 k 제한이 아니라, 각 중심 주변의 임베딩 공간 밀도에 따라 자연스럽게 결정됩니다. 밀집된 주제 영역은 더 큰 클러스터를 형성하며, 지엽적인 주제 영역은 더 작은 클러스터를 형성합니다.

KMeans나 HDBSCAN을 사용하지 않는 이유는 무엇일까요?

KMeans는 구형 클러스터를 가정하며 전체 N×d 행렬을 메모리에 저장해야 합니다. 반면, 메모리에 수용 가능한 크기의 코퍼스라면 HDBSCAN이 강력한 대안이 됩니다. 이는 클러스터의 모양에 구애받지 않으며, 밀도 시맨틱이 잘 정립되어 있습니다.

밀도 조사 중심 접근 방식은 다른 지엽적인 영역을 공략합니다. 바로 저장 공간, 검색, 클러스터링을 하나의 시스템 내에서 통합 처리하려 하거나, 데이터 규모 때문에 클라이언트 측에서의 행렬 연산이 실용적이지 못한 경우입니다. Elasticsearch kNN을 컴퓨팅 기본 요소로 사용하고, 임의의 클러스터 크기를 처리하며, 거의 모든 계산을 서버 측에서 수행합니다.

노이즈 비율에 대한 이해

약 28%의 노이즈 발생률은 의도적으로 설계된 것이며, 오류 모드가 아닙니다. 구성된 similarity_threshold 기준에 따라 어떤 밀집 클러스터에도 적합하지 않은 문서는, 어설픈 매칭을 강행하는 대신 미할당 상태로 남겨 둡니다. 이는 일종의 품질 검사기 역할을 합니다. 사설 칼럼, 단신, 혹은 일회성 기사들은 응집력 있는 그룹을 형성할 만큼의 주제적 밀도가 낮기 때문에 자연스럽게 클러스터링을 거부하게 됩니다.

이 임계값은 조정이 가능합니다. similarity_threshold(을)를 낮추면 더 공격적인 클러스터링이 이루어지며 (더 많은 문서가 할당되지만 군집의 결속력은 느슨해짐) 반대로 높이면 클러스터가 더 긴밀해지는 대신 노이즈 비율이 증가합니다. 다양한 뉴스 콘텐츠가 섞인 이번 코퍼스의 경우, 약 30%의 노이즈 비율은 운용상 적절한 수치입니다. 실제 배포 환경에서는 도메인별 품질 기준에 맞춰 임계값을 조정해야 합니다.

significant_text를 활용한 자동 레이블

이제 각 클러스터에 사람이 읽을 수 있는 레이블을 지정해야 합니다. Elasticsearch의 significant_text 집계는 백그라운드 세트(전체 코퍼스)와 비교했을 때, 포그라운드 세트(클러스터) 내에서 유독 자주 등장하는 용어들을 찾아냅니다.

내부적으로는 머신 러닝이나 거대 언어 모델(LLM) 호출 없이, 절대 빈도와 상대 빈도의 변화를 균형 있게 고려하는 통계적 휴리스틱(기본값으로 JLH 점수 사용)을 활용합니다 영국 정치에 관한 클러스터라면 starmer, labour, downing 같은 용어들이 등장할 것입니다. 이 용어들이 전체 뉴스 코퍼스에 비해 해당 클러스터 내에서 압도적으로 높은 비중을 차지하기 때문입니다.

이번 전체 프로세스에서 레이블은 docs-clustering-all을(를) 기준으로 직접 계산됩니다. 따라서 포그라운드와 백그라운드 모두 한 달 전체 분량에서 추출됩니다. 2부의 레이블링 작업에는 일별 인덱스 패턴(docs-clustering-*)이 사용됩니다. 이 와일드카드 패턴은 쿼리가 모든 일치 인덱스를 동시에 쿼리할 수 있게 하여, significant_text이(가) 더 넓은 백그라운드 바탕으로 더 명확한 대비 효과를 얻을 수 있도록 합니다.

최소한의 쿼리 형태는 다음과 같습니다.

significant_text 또한 품질 검사기 역할도 합니다. 유미의한 용어를 생성하지 않는 클러스터는 구별되는 어휘가 없습니다. 이는 일관성 없는 그룹으로, 오해의 소지가 있는 레이블을 지정하기보다는 다시 노이즈로 해체되어야 합니다.

가벼운 결정론적 정제 단계를 거쳐 노이즈가 섞인 레이블 용어(숫자 토큰, 일반 단어 등)를 제거하며, 필요한 경우 대표적인 헤드라인을 대신 사용합니다. 이를 통해 레이블의 가독성을 높이면서도 Elasticsearch 레이블을 네이티브로 유지할 수 있습니다.

클러스터 시각화

아래 시각화는 전체 클러스터링 과정에서 발견된 결과물입니다. 클러스터링된 문서와 노이즈 문서의 날짜별 구성 현황, 한 달 전체 데이터의 UMAP 투영도, 그리고 클러스터가이 소스가 아닌 주제를 기준으로 형성되었음을 보여 주는 소스 혼합 차트를 확인할 수 있습니다.

2025년 2월 전체 기간에 걸친 클러스터링된 문서와 노이즈 문서의 일일 분포.

UMAP 상의 각 색상별 섬은 클러스터를 나타냅니다. 이는 오직 임베딩 유사도만을 기반으로 발견된, 동일한 주제에 관한 기사 그룹입니다. 회색으로 표시된 노이즈 지점은 어떤 클러스터에도 명확히 속하지 않는 기사들입니다.(주로 짧은 사설, 또는 단발성 뉴스인 경우가 많음)

소스 분류 차트를 통해 각 클러스터에 BBC News와 The Guardian의 기사가 모두 포함되어 있음을 확인할 수 있습니다. 이 클러스터링 시스템은 소스가 아닌 주제를 찾아내고 있으며, 이는 비지도형 탐색이 생성해야 하는 가장 이상적인 결과입니다.

다양성 기반 검색기(diversify retriever)를 사용하여 클러스터 범위를 탐색

일반 kNN은 클러스터의 중심(밀집된 핵심)과 가장 유사한 문서를 반환합니다. 그러나 실제 클러스터는 하위 주제를 다룹니다. 다양성 기반 검색기는 최대 한계 관련성(MMR)을 사용하여, 클러스터 중심과 관련성이 높으면서도 서로 다른 문서들을 찾아냅니다.

핵심 매개변수는 λ(람다)입니다.

• λ = 1.0 → 순수한 관련성(일반 kNN과 동일)입니다.

• λ = 0.0 → 순수한 다양성 (최대한 분산된 결과).

• λ=0.5 → 균형: 주제와 관련이 있지만 다른 관점을 다룹니다.

최소한의 검색기 요청 형태는 다음과 같습니다.

다양성 수준에서 type, field, query_vector 매개변수는 필수입니다. field(은)는 결과 간 유사도를 측정할 때 어떤 dense_vector 필드를 사용할지 MMR에 지시하며, query_vector(은)는 정확도 점수 산정의 기준점을 제공합니다.

이를 통해 단순히 '이 클러스터의 중심 내용이 무엇인가?'를 파악하는 수준을 넘어, '이 클러스터가 실제로 무엇을 다루고 있는가?' 라는 질문에 답할 수 있습니다.

일반 kNN 결과는 주제의 한 가지 관점에 대해서만 클러스터를 이룹니다. 즉, 중심 및 서로 간의 유사도가 가장 높은 문서들만 한데 모이게 됩니다. 다양성 기반 검색기는 동일한 클러스터의 서로 다른 패싯, 즉 하위 주제, 서로 다른 소스, 다양한 관점을 보여 줍니다.

다양성 지표가 이를 수치적으로 증명합니다. 다양성 기반 검색기 결과의 평균 쌍별 유사성이 더 낮게 나타나는데, 이는 검색된 문서가 더 넓은 범위를 다룬다는 것을 의미합니다.

이는 다음과 같은 경우에 유용합니다.

• 클러스터가 실제로 포괄하는 범위가 어디까지인지 이해하려면, 단순히 중심부뿐만 아니라 그 외곽 경계까지 살펴봐야 합니다.

• 요약 생성. 다양한 대표 문서가 LLM에 더 나은 자료를 제공합니다.

• 사람이 직접 검토하거나 후속 레이블 지정에 사용할 대표 사례들을 찾아냅니다.

• 품질 검사. 다양한 결과가 일관성이 없어 보이면 클러스터를 분할해야 할 수도 있습니다.

2부: 시간적 스토리 체인

일자별 스토리 추적

1부에서는 주제 탐색을 위해 한달 전체를 전역으로 클러스터링했습니다. 시간적 흐름을 파악하기 위해, 동일한 밀도 조사 중심 분류를 일별 인덱스에 대해 매일 독립적으로 실행하면, 인접한 날짜 간에 클러스터가 서로 연결됩니다. 참고로 일별 클러스터는 1부의 전역 클러스터와는 별개입니다. 각 날짜마다 그날의 콘텐츠에 맞게 조정된 자체 클러스터 할당과 레이블이 생성됩니다.

연결 방식: 샘플링 후 쿼리

A일의 각 클러스터에 대하여:

1. 몇 개의 대표 문서들을 샘플링합니다.

2. B일의 인덱스를 대상으로 kNN 검색을 실행합니다.

3. B일의 각 클러스터에 검색 결과가 몇 건이나 도달하는지 계산합니다.

4. 검색 결과의 비율이 임계값(kNN fraction ≥ 0.4)을 초과하면, 두 클러스터 사이의 링크를 기록합니다.

이 과정은 빠르며(전체 문서가 아닌 클러스터당 몇 개의 문서만 쿼리하기 때문) Elasticsearch의 네이티브 kNN을 사용하므로 외부 도구가 필요하지 않습니다.

kNN 비율이 100%라는 것은 소스 클러스터에서 샘플링된 모든 문서가 동일한 타겟 클러스터에 도달했음을 의미하며, 이는 일자 간에 형성될 수 있는 가장 강력한 링크입니다. 위에서 확인된 대부분의 링크는 축구 관련 내용입니다. 이는 타당한 결과인데, 프리미어 리그 보도는 매일 발생하며 주제의 일관성 또한 매우 높기 때문입니다.

score | operator | gedling → league | striker | season(으)로 이어지는 링크는 지엽적인 로컬 축구 클러스터(Gedling은 비리그 구단임)가 다음 날 더 광범위한 프리미어 리그 클러스터로 흡수되는 과정을 보여 주는 사례입니다. 이는 매일 다른 세부 단위로 다시 클러스터링이 이루어질 때 나타나는 자연스러운 현상입니다.

스토리 체인 구축

스토리 체인은 연속된 날짜에 걸쳐 서로 연결된 클러스터들의 시퀀스입니다.

각각의 쌍별 링크를 통해 월요일의 '영국 정치' 클러스터가 화요일의 클러스터와 연결된다는 사실을 알 수 있습니다. 월요일에 시작된 이야기가 한 주 동안 어떻게 전개되고, 금요일에 이르러 어떻게 잦아드는지, 체인을 통해 스토리의 전체 흐름을 파악할 수 있습니다.

체인은 kNN 비율 0.4 이상의 링크를 바탕으로 탐욕적 방식으로 구축됩니다. 이는 소스 클러스터에서 샘플링된 문서 중 최소 40%가 단일 타겟 클러스터에 매칭되었음을 의미합니다. 가장 이른 시점의 클러스터부터 시작하여, 알고리즘은 항상 가장 강력한 출력 링크를 따라갑니다.

가장 긴 스토리 체인은 우크라이나-러시아 관련 보도를 19일 연속으로 추적했는데, 2025년 2월의 지속적인 지정학적 긴장 수위를 고려하면 당연한 결과라 할 수 있습니다. 두 번째로 긴 체인은 한 달 중 19일 동안 이어지는 프리미어 리그 축구 소식을 추적합니다. 더 짧은 체인으로는 시상식 시즌(영화/시상식, 6일), 식스 네이션스 럭비(10일), 그리고 영국 정치 리더십 관련 보도(7일) 등이 포착되었습니다. 각 체인은 알고리즘이 일자별 인덱스 간의 임베딩 유사도만을 바탕으로 순수하게 찾아낸 스토리의 흐름을 나타냅니다.

Sankey: 스토리 흐름 시각화

Sankey 다이어그램은 링크의 폭으로 연결 강도를 표현하는 흐름 시각화 도구입니다. 여기에서 각 수직 밴드는 하루를, 각 노드는 일별 클러스터(문서 수에 따른 크기)를 나타내며, 각각의 색상 경로는 시간을 따라 이어지는 하나의 스토리 체인을 추적합니다. 링크의 폭은 kNN 중첩 강도를 나타냅니다. 링크가 굵을수록 샘플링된 더 많은 문서가 타겟 클러스터에 도달했음을 의미합니다. 체인마다 색상이 일치하므로, 왼쪽에서 오른쪽으로 이어지는 하나의 색상 경로는 하나의 이야기 진행을 나타냅니다.

예를 들어, (가장 긴 경로 중 하나로 시각화된) 우크라이나-러시아 체인은 2월 초부터 셋째 주까지 계속해서 이어지며, 링크의 폭이 지속적으로 굵게 유지되는 것은 일자별로 강력한 주제적 연속성이 있었음을 보여 줍니다.

2025년 2월 한 달간 전개되는 시간적 스토리 체인. 각 색상별 경로는 며칠 동안 지속되는 스토리를 나타내며, 링크 폭은 k-NN 중첩 강도를 보여 줍니다.

이 접근 방식이 제공하는 이점

이 단계별 안내에서는 Elasticsearch를 활용하여 비지도형 문서 클러스터링 파이프라인의 전 과정을 살펴보았습니다.

1. 임베딩 클러스터링: Jina v5의 작업별 어댑터는 단순한 쿼리-문서 매칭을 넘어, 주제별 그룹화에 최적화된 임베딩을 생성합니다.

2. 전역 탐색 클러스터링: 한 달 전체를 하나의 인덱스에 클러스터링하면 일별 주제 탐색을 극대화할 수 있습니다.

3. 밀도 조사 중심 분류: 5%를 샘플링하고, msearch kNN을 통해 밀도를 조사하며, 밀도가 높은 다양한 시드를 선택하고, 모든 문서를 이 중심에 맞춰 분류합니다. 연산량이 많아 무거운 작업은 Elasticsearch가 처리하며, 시드 선택 과정만 클라이언트 측에서 실행됩니다.(약 0.01초 소요)

4. significant_text 레이블 지정: 유의성 검정을 통해 ML 모델이나 수동 주석 없이도 의미 있는 클러스터 레이블을 생성합니다. 유의미한 용어를 생성하지 않는 클러스터는 일관성이 없으며 노이즈로 강등됩니다. 이는 시스템에 내장된 품질 검사기입니다.

5. 시간적 스토리 연결: 일일 인덱스와 샘플 및 쿼리 교차 인덱스 kNN은 시간이 지남에 따라 스토리가 어떻게 진화하는지 추적합니다.

핵심 사항:

• 임베딩 작업 유형 설정이 핵심입니다. 클러스터링 임베딩을 사용하면 주제별 그룹이 훨씬 더 긴밀하게 형성됩니다.

• Elasticsearch는 kNN 검색을 통해 저장 계층 및 클러스터링 엔진 역할을 수행할 수 있습니다.

• 밀도 조사 중심 분류는 거의 모든 연산을 서버 측에서 처리하며, 임베딩 공간의 밀도에 따라 자연스러운 크기의 클러스터를 생성합니다.

• significant_text 빠르고 해석 가능하며 자동 레이블링과 품질 검사 모두에 효과적입니다.

이 방식이 유용한 경우:

• 타임스탬프가 찍힌 텍스트는 있지만, 레이블이 지정된 학습 데이터 없이 주제를 탐색하고 싶을 때 유용합니다.

• 저장 공간, 벡터 검색, 레이블 지정 및 시간적 연결을 하나의 스택으로 해결하고 싶을 때 적합합니다.

탐색할 확장 기능:

• 다중 기간 클러스터링(주간, 월간 단위 집계)

• 클러스터 할당을 점진적으로 수행하여 실시간 데이터 수집이 가능합니다.

• significant_text 용어를 시드로 활용해 LLM이 클러스터 요약문을 생성합니다.

• 규모가 커지면, 샘플링된 KMeans 중심은 밀도 기반 클러스터링을 위한 웜 스타트 시드로 사용될 수 있어, 조사 단계 비용을 줄여 줍니다.

직접 사용해 보기

자신만의 타임스탬프 기반의 문서 코퍼스를 넣어 보세요. 날짜 정보가 포함된 텍스트 모음이라면 무엇이든 이 파이프라인에서 바로 작동합니다. 전체 노트북과 지원 코드는 제공된 리포지토리에서 확인할 수 있습니다.

• 무료 Elastic Cloud 체험판 시작하기: 단 몇 분 만에 bbq_disk 기능이 지원되는 관리형 클러스터를 실행할 수 있습니다.

• Elasticsearch Serverless 사용해 보기: 클러스터 관리가 필요 없으며, 자동으로 확장하고, 이 단계별 안내의 모든 기능을 지원합니다.

이 제품군에는 두 가지 모델이 포함되어 있습니다:

• jina-embeddings-v5-text-small

• jina-embeddings-v5-text-nano

이러한 모델은 임베딩 모델을 위한 혁신적인 새로운 훈련 방식의 성공적인 결과입니다. 두 모델 모두 크기가 몇 배나 큰 모델보다 성능이 뛰어나 메모리와 컴퓨팅 리소스를 절약하고 요청에 더 빠르게 응답합니다.

jina-embeddings-v5-text-small 모델은 6억 7,700만개의 매개변수를 가지고 있으며, 32,768개의 토큰 입력 컨텍스트 창을 지원하고 기본적으로 1,024차원 임베딩을 생성합니다.

jina-embeddings-v5-text-nano 무게는 형제 제품의 크기의 대략 3분의 1로, 2억 3,900만 개의 매개변수와 8,192개의 토큰의 입력 컨텍스트 창을 가지며, 768차원의 간결한 임베딩을 제공합니다.

모델 이름

전체 크기

입력 컨텍스트 창 크기

임베딩 크기

jina-v5-text-small

677M 매개변수

32,768개 토큰

1,024차원

jina-v5-text-nano

239M 매개변수

8192개의 토큰

768차원

이 두 모델은 전체 MMTEB(다국어 MTEB) 벤치마크 성능에서 동급 최고 수준입니다. 5억 개 미만의 매개변수를 가진 모델 중, jina-embeddings-v5-text-nano는 2억 5,000만 개 미만의 매개변수를 가지고 있음에도 불구하고 최고 성능을 보이며, jina-embeddings-v5-text-small 모델은 7억 5,000만 개 미만의 매개변수를 가진 다국어 임베딩 모델 중 선두에 있습니다.

이러한 모델은 Elastic Inference Service(EIS), 온라인 API를 통해 사용할 수 있으며 로컬 호스팅도 가능합니다. jina-embeddings-v5-text 모델에 액세스하는 방법에 대한 지침은 아래의 '시작하기' 섹션을 참조하세요.

임베딩 모델과 의미 색인화는 검색 알고리즘의 정확도를 획기적으로 향상시킬 뿐만 아니라 의미 유사성 및 의미 추출과 관련된 다양한 작업에도 활용될 수 있습니다. 예를 들면 다음과 같습니다.

• 중복된 텍스트 찾기.

• 의역 및 번역 인식하기.

• 주제 발견.

• 추천 엔진.

• 감정 및 의도 분석.

• 스팸 필터링.

• 그 밖에도 여러 가지가 있습니다.

기능

이 새로운 모델 제품군은 관련성을 높이고 비용을 절감하도록 설계된 여러 기능을 갖추고 있습니다.

작업 최적화

jina-embeddings-v5-text 모델을 네 가지 작업 유형에 맞게 최적화했습니다.

작업

예시 사용 사례

검색

자연어 쿼리를 사용하여 문서 모음에서 가장 관련성이 높은 결과 검색하기.

텍스트 일치

의미적 유사성, 중복 제거, 의미 변환 및 번역 정렬 등

클러스터링

주제 검색, 문서 컬렉션의 자동 정리.

분류

문서 분류, 감정 및 의도 감지, 유사 작업.

한 작업에 최적화하는 것은 일반적으로 다른 작업에서 타협을 의미하므로 대부분의 임베딩 모델은 한 종류의 작업에 대해서만 경쟁력 있는 성능을 가집니다. 하지만 jina-embeddings-v5-text 모델은 작업별 로우랭크 적응(LoRA) 어댑터를 훈련하여 타협 없이 네 가지 영역 모두에 전문성을 갖출 수 있습니다.

LoRA 어댑터는 AI 모델의 동작을 극적으로 변화시키면서도 전체 크기는 약간만 늘리는 일종의 플러그인입니다. 각 작업마다 수억 개의 매개변수가 있는 전체 모델을 사용하는 대신 jina-embeddings-v5-text 모델 제품군을 사용하면 각 작업마다 컴팩트한 LoRA 어댑터가 포함된 하나의 모델만 사용할 수 있습니다. 이렇게 하면 메모리, 저장 공간, 추론 비용을 절약할 수 있습니다.

임베딩 잘라내기

최소한의 비용으로 임베딩의 품질을 유지하면서 더 작은 크기로 줄일 수 있는 Matryoshka 표현 학습을 사용하여 jina-embeddings-v5-text 모델을 훈련시켰습니다.

기본적으로 jina-embeddings-v5-text-small은 1024차원 임베딩 벡터를 생성하며, 각 벡터는 16비트 숫자로 표현되어 각 임베딩 크기가 2KB입니다. 대규모 문서 컬렉션의 경우 저장해야 할 데이터가 많을 수 있으며, 임베딩으로 가득 찬 벡터 데이터베이스에서 검색하는 것은 데이터베이스의 크기와 저장된 각 벡터의 차원 수 모두에 비례합니다.

하지만 임베딩의 크기를 절반으로 줄이면(1024차원 중 512차원을 버리면) 공간을 절반으로 줄이면서 검색 속도를 두 배로 높일 수 있습니다. 이는 성능에 영향을 미칩니다. 정보를 버리면 정밀도가 떨어집니다. 그러나 아래의 그래프가 보여주듯이, 임베딩의 절반을 제거하더라도 성능은 약간만 저하됩니다.

임베딩이 최소 256차원을 가지는 한, 정밀도 손실은 상당히 작게 유지되어야 합니다. 그러나 이 수준 이하에서는 관련성과 정확도가 빠르게 저하됩니다.

이처럼 임베딩을 잘라내는 방식을 통해 사용자는 정확도와 컴퓨팅 비용 간의 균형을 스스로 관리할 수 있습니다. 이 솔루션은 검색 AI를 통해 효율성을 크게 향상시키고 비용을 대폭 절감할 수 있는 도구를 제공합니다.

강력한 양자화

양자화는 임베딩의 크기를 줄이는 또 다른 방법입니다. 양자화는 각 임베딩의 일부를 버리는 대신 임베딩에 포함된 숫자의 정밀도를 낮춥니다. jina-embeddings-v5-text 모델은 16비트 숫자로 임베딩을 생성하지만, 이 숫자를 반올림하여 정밀도와 저장에 필요한 비트 수를 줄일 수 있습니다. 가장 극단적인 경우, 각 숫자를 1비트(0 또는 1)로 줄여 jina-embeddings-v5-text의 기본 1024차원 임베딩을 2킬로바이트에서 128바이트로 압축할 수 있으며, 이는 이진 양자화만으로 94% 줄어든 것입니다. 잘라내기와 마찬가지로 메모리 및 컴퓨팅 비용을 크게 절감할 수 있습니다. 하지만 잘라내기와 마찬가지로 양자화는 임베딩의 정확도를 떨어뜨립니다.

정확도 손실을 최소화하여 Elasticsearch의 더 나은 이진 양자화(BBQ) 기능을 사용하도록 jina-embeddings-v5-text 모델을 훈련시켰으며, 이러한 모델의 이진화된 임베딩에 대한 벤치마크 테스트 결과 이진화되지 않은 임베딩과 거의 동일한 성능을 보여주었습니다. 이진화 성능에 대한 자세한 제거 연구는 기술 보고서를 참조하세요.

다국어 성능

많은 임베딩 모델은 다양한 언어가 포함된 자료에 대한 훈련을 거쳤기 때문에 다국어를 지원합니다. 하지만 그렇다고 해서 모든 지원 언어에서 모두 똑같이 잘 작동하는 것은 아닙니다.

MMTEB 다국어 벤치마크에서 211개 언어를 식별하고 이를 분리하여 언어별로 유사한 모델과 비교할 수 있도록 했습니다. 아래 이미지는 히트맵 형태로 결과를 요약한 것입니다. 각 패치는 언어(ISO-639 코드로 식별)이며, 초록색이 짙을수록 유사한 모델의 평균에 비해 더 나은 성능을 발휘하는 모델입니다.

언어마다 정확도는 다르지만 jina-embeddings-v5-text 모델은 전 세계 대부분의 언어에서 최첨단 또는 그에 가까운 정확도를 제공합니다.

다국어 성능에 대한 자세한 내용은 jina-embeddings-v5-text 기술 보고서를 참조하세요.

Elastic의 Jina: 검색을 위한 최첨단 네이티브 AI

EIS의 jina-embeddings-v5-text 모델을 사용하면 프로비저닝이나 확장을 위한 인프라 없이 완전 관리형 GPU 가속 추론을 통해 고성능 다국어 임베딩 모델을 Elasticsearch에서 기본적으로 실행할 수 있습니다. jina-embeddings-v5-text 모델은 최신 AI 개발로 구동되는 컴팩트한 다국어 모델로 성장하는 EIS 모델 카탈로그를 확장합니다. 이러한 모델은 정보 검색 및 표준 데이터 분석 벤치마크에서 최첨단 성능을 제공하며, 비교할 수 없는 전 세계적인 다국어 지원을 제공합니다.

크기가 크게 다른 두 가지 모델이 있으므로 사용자는 용도와 예산에 가장 적합한 모델을 선택할 수 있습니다. 또한, 더 작은 크기로 잘라내거나 더 낮은 정밀도로 정량화해도 성능이 유지되는 강력한 임베딩을 통해 jina-embeddings-v5-text 모델은 저장 공간 및 컴퓨팅 비용, 처리 지연 시간을 더욱 구체적으로 절감할 수 있는 기회를 제공합니다.

jina-embeddings-v5-text 제품군, Jina Reranker, Elastic의 빠른 벡터 및 BM25 검색을 통해 사용자는 이제 Elastic의 엔드투엔드 최신 하이브리드 검색에 액세스할 수 있습니다. Retrieval-Augmented Generation(RAG) 파이프라인, 검색 애플리케이션, 데이터 분석 등 가장 연관성이 높은 결과가 필요한 경우, Jina 검색 AI 모델이 포함된 Elastic은 견고하고 비용 효율적인 품질을 제공합니다.

시작하기

jina-embeddings-v5-text 모델은 EIS에 완전히 통합되어 있으며, 색인 생성 시 type필드를semantic_text로 설정하고 inference_id필드에 모델(jina-embeddings-v5-text-small 또는 jina-embeddings-v5-text-nano)을 지정하면 이 예시에서와 같이 사용할 수 있습니다.

Elasticsearch는 색인 및 검색 과정에서 적절한 LoRA 어댑터를 자동으로 선택합니다. 임베딩 차원(위의 "임베딩 잘라내기" 섹션 참조)은 사용자 지정 추론 엔드포인트를 생성할 때 설정할 수 있습니다.

jina-embeddings-v5-text모델 사용에 관한 자세한 내용은 Elasticsearch 문서를 참조하세요.

추가 정보

jina-embeddings-v5-text 모델에 대한 자세한 내용은 Jina AI 블로그의 릴리즈 노트와 기술 보고서를 참조하세요. 성능 및 Jina AI의 혁신적인 새로운 훈련 절차에 대한 자세한 기술 정보를 확인할 수 있습니다. 이러한 모델을 로컬에서 다운로드하고 실행하는 방법에 대한 자세한 내용은 Hugging Face의 jina-embeddings-v5-text 컬렉션 페이지를 참조하세요.

Jina AI 모델은 CC-BY-NC-4.0 라이선스 하에 제공되므로 무료로 다운로드하여 사용할 수 있으나, 상업적 사용은 Elastic 영업팀에 문의해 주시기 바랍니다.

Jina 모델은 정보 처리, 정리, 검색을 지원하도록 설계된 세 가지 큰 카테고리로 나뉩니다.

• 시맨틱 임베딩 모델

• 모델 순위 재지정

• 소규모 생성형 언어 모델

시맨틱 임베딩 모델

시맨틱 임베딩의 핵심 아이디어는 AI 모델이 입력의 의미적 측면을 고차원 공간의 기하학적 형태로 표현하는 방법을 학습할 수 있다는 것입니다.

시맨틱 임베딩은 고차원 공간에 있는 점(엄밀히 말하면 벡터)으로 생각할 수 있습니다. 임베딩 모델은 일부 디지털 데이터(어떤 것이든 가능하지만 대부분 텍스트나 이미지)를 입력으로 받아 해당 고차원 점의 위치를 일련의 숫자 좌표로 출력하는 신경망입니다. 모델이 제대로 작동한다면 두 시맨틱 임베딩 사이의 거리는 해당 디지털 객체가 동일한 의미를 갖는 정도에 비례합니다.

검색 애플리케이션에서 이것이 얼마나 중요한지 이해하려면 '개'라는 단어와 '고양이'라는 단어에 대한 임베딩을 공간의 점으로 상상해 보세요.

좋은 임베딩 모델은 '고양이'라는 단어에 대해 '개'보다 '고양이'에 훨씬 가까운 임베딩을 생성해야 하며, '개'는 거의 같은 의미이므로 '고양이'보다 '개'에 훨씬 가까운 임베딩을 가져야 합니다.

모델이 다국어인 경우 '고양이'와 '개'의 번역에 대해 동일한 결과를 기대할 수 있습니다.

임베딩 모델은 사물 간 의미의 유사성 또는 유사성을 임베딩 간의 공간적 관계로 변환합니다. 위의 그림은 화면에서 볼 수 있도록 2차원으로만 표현했지만, 모델을 임베드하면 수십에서 수천 개의 차원을 가진 벡터가 만들어집니다. 이를 통해 전체 텍스트의 미묘한 의미를 인코딩할 수 있으며, 수천 단어 이상의 문서에 대해 수백 또는 수천 개의 차원을 가진 공간에 지점을 할당할 수 있습니다.

멀티모달 임베딩

멀티모달 모델은 시맨틱 임베딩의 개념을 텍스트 이외의 것, 특히 이미지로 확장합니다. 사진에 대한 임베딩은 사진에 대한 충실한 설명을 임베딩하는 것과 비슷할 것으로 예상합니다.

시맨틱 임베딩은 다양한 용도를 가지고 있습니다. 무엇보다도 효율적인 분류기를 구축하고, 데이터 클러스터링을 수행하고, 데이터 중복 제거 및 데이터 다양성 조사와 같은 다양한 작업을 수행하는 데 사용할 수 있으며, 이는 모두 수작업으로 관리하기에는 너무 많은 데이터를 다루는 빅데이터 애플리케이션에 중요한 작업입니다.

임베딩의 가장 큰 직접적인 용도는 정보 검색입니다. Elasticsearch는 임베딩을 키로 사용하여 검색 객체를 저장할 수 있습니다. 쿼리는 임베딩 벡터로 변환되고 검색은 쿼리 임베딩에 가장 가까운 키가 있는 저장된 객체를 반환합니다.

전통적인 벡터 기반 검색(때때로 희소 벡터 검색이라고 함)이 문서와 쿼리에서 단어나 메타데이터를 기반으로 한 벡터를 사용하는 반면, 임베딩 기반 검색(또한 밀집 벡터 검색이라고 함)은 단어가 아닌 AI가 평가한 의미를 사용합니다. 따라서 일반적으로 기존 검색 방법보다 훨씬 더 유연하고 정확합니다.

Matryoshka 표현 학습

임베딩의 차원 수와 임베딩에 포함된 숫자의 정밀도는 성능에 상당한 영향을 미칩니다. 매우 높은 차원의 공간과 매우 정밀한 숫자는 매우 상세하고 복잡한 정보를 표현할 수 있지만, 학습과 실행에 더 많은 비용이 드는 더 큰 AI 모델을 필요로 합니다. 벡터를 생성하려면 더 많은 저장 공간이 필요하고 벡터 사이의 거리를 계산하는 데 더 많은 컴퓨팅 사이클이 필요합니다. 시맨틱 임베딩 모델을 사용하는 것은 정밀도와 자원 소비 간의 중요한 절충을 포함합니다.

사용자의 유연성을 극대화하기 위해 Jina 모델은 마트료시카 표현 학습이라는 기법으로 훈련됩니다. 이렇게 하면 모델이 가장 중요한 의미적 구분을 임베딩 벡터의 첫 번째 차원에 미리 로드하므로 상위 차원을 잘라내도 여전히 좋은 성능을 얻을 수 있습니다.

실제로 이는 Jina 모델 사용자가 임베딩에 원하는 차원 수를 선택할 수 있음을 의미합니다. 차원을 적게 선택하면 정밀도가 감소하지만, 성능 저하는 미미합니다. 대부분의 작업에서 Jina 모델의 성능 지표는 임베딩 크기를 50% 줄일 때마다 1~2% 감소하며, 크기가 약 95% 감소할 때까지 이러한 경향이 지속됩니다.

비대칭 검색

시맨틱 유사성은 일반적으로 대칭적으로 측정됩니다. '고양이'와 '개'를 비교할 때 얻는 값은 '개'와 '고양이'를 비교할 때 얻는 값과 동일합니다. 그러나 정보 검색에 임베딩을 사용할 때는 대칭을 깨고 검색 객체를 인코딩하는 방식과 다르게 쿼리를 인코딩하면 더 잘 작동합니다.

이는 임베딩 모델을 훈련하는 방식 때문입니다. 훈련 데이터에는 단어와 같은 동일한 요소가 다양한 맥락에서 나타나는 사례들이 포함되어 있으며, 모델은 요소 간의 맥락적 유사점과 차이점을 비교하여 의미를 학습합니다.

예를 들어 '동물'이라는 단어가 '고양이' 또는 '개'와 같은 문맥에서 많이 나타나지 않으므로 '동물'에 대한 임베딩이 '고양이' 또는 '개'와 특별히 가깝지 않을 수 있습니다.

따라서 '동물'을 검색하면 목표와는 정반대로 고양이와 개에 관한 문서가 검색될 가능성이 줄어듭니다. 따라서 '동물'이 검색 대상일 때와 쿼리일 때를 다르게 인코딩합니다.

비대칭 검색이란 쿼리에 다른 모델을 사용하거나, 저장된 데이터를 한 가지 방식으로 인코딩하고 쿼리를 다른 방식으로 인코딩하도록 임베딩 모델을 특별히 학습시키는 것을 의미합니다.

멀티벡터 임베딩

단일 임베딩은 인덱스 데이터베이스의 기본 프레임워크에 적합하기 때문에 정보 검색에 유용합니다. 즉, 검색 키로 단일 임베딩 벡터를 사용하여 검색 대상 객체를 저장합니다. 사용자가 문서 저장소를 쿼리하면 쿼리가 임베딩 벡터로 변환되고 쿼리 임베딩에 가장 가까운 키(고차원 임베딩 공간에서)를 가진 문서가 후보 일치 항목으로 검색됩니다.

멀티벡터 임베딩은 약간 다르게 작동합니다. 쿼리와 전체 저장된 객체를 나타내는 고정 길이 벡터를 생성하는 대신, 쿼리의 작은 부분을 나타내는 임베딩 시퀀스를 생성합니다. 구성 요소는 일반적으로 텍스트의 경우 토큰 또는 단어이며, 시각적 데이터의 경우 이미지 타일입니다. 이러한 임베딩은 해당 부분의 의미를 그 컨텍스트 내에서 반영합니다.

예를 들어 다음 문장을 생각해 보세요.

• 그녀는 상냥한 마음씨를 가졌습니다.

• 그녀는 마음이 바뀌었습니다.

• 그녀는 심장 마비를 일으켰습니다.

표면적으로는 매우 비슷해 보이지만 멀티벡터 모델은 'heart'의 각 인스턴스에 대해 매우 다른 임베딩을 생성하여 전체 문장의 맥락에서 각각이 어떻게 다른 의미를 갖는지를 표현합니다.

멀티벡터 임베딩을 통해 두 개체를 비교하려면 한 멀티벡터 임베딩의 각 부분을 다른 멀티벡터 임베딩의 각 부분과 비교하고 그 사이의 최소 거리를 합산하는 모따기 거리를 측정하는 경우가 많습니다. 아래에서 설명하는 Jina Rerankers를 포함한 다른 시스템들은 이들을 이들의 유사성을 평가하도록 특별히 훈련된 AI 모델에 입력합니다. 멀티벡터 임베딩은 단일 벡터 임베딩보다 훨씬 더 자세한 정보를 포함하기 때문에 일반적으로 두 접근 방식 모두 단일 벡터 임베딩을 비교하는 것보다 정밀도가 높습니다.

그러나 멀티벡터 임베딩은 색인에 적합하지 않습니다. 다음 섹션에서 설명된 jina-colbert-v2 모델과 같이 순위 재지정 작업에서 자주 사용됩니다.

Jina 임베딩 모델

Jina 임베딩 v4

jina-embeddings-v4는 38억(3.8x10⁹) 매개변수의 다국어 및 멀티모달 임베딩 모델로, 다양한 널리 사용되는 언어의 이미지와 텍스트를 지원합니다. 시각적 지식과 언어 지식을 활용하여 두 작업의 성능을 향상시키는 새로운 아키텍처를 사용하여 이미지 검색, 특히 시각적 문서 검색에서 탁월한 성능을 발휘합니다. 이는 차트, 슬라이드, 맵, 스크린샷, 페이지 스캔 및 다이어그램과 같은 이미지를 처리한다는 것을 의미합니다. 이러한 이미지는 일반적인 종류의 이미지로, 종종 중요한 내장 텍스트가 포함되어 있으며, 실제 장면의 사진으로 훈련된 컴퓨터 비전 모델의 범위를 벗어납니다.

컴팩트한 로우랭크 적응(LoRA) 어댑터를 사용하여 여러 가지 작업에 맞게 이 모델을 최적화했습니다. 이를 통해 메모리나 프로세싱의 추가 비용을 최소화하면서 여러 작업의 성능 저하 없이 단일 모델을 여러 작업에 특화하도록 훈련할 수 있습니다.

주요 기능은 다음과 같습니다:

• 시각적 문서 검색의 최첨단 성능과 함께 다국어 텍스트 및 일반 이미지 성능은 훨씬 더 큰 모델을 능가합니다.

• 큰 입력 컨텍스트 크기 지원: 32,768토큰은 대략 두 줄짜리 영어 텍스트 80페이지에 해당하며, 20메가픽셀은 4,500 x 4,500픽셀 이미지에 해당합니다.

• 임베딩 크기는 최대 2048개에서 최소 128개까지 사용자가 선택할 수 있습니다. 경험적으로 이 임계값 이하에서는 성능이 급격히 저하되는 것으로 나타났습니다.

• 단일 임베딩과 멀티벡터 임베딩을 모두 지원합니다. 텍스트의 경우, 멀티벡터 출력은 각 입력 토큰에 대해 128차원 임베딩 하나로 구성됩니다. 이미지의 경우, 이미지를 커버하는 데 필요한 각 28x28 픽셀 타일에 대해 하나의 128차원 임베딩을 생성합니다.

• 비대칭 검색을 위한 최적화는 특별히 이를 위해 훈련된 LoRA 어댑터 한 쌍을 통해 이루어집니다.

• 시맨틱 유사도 계산에 최적화된 LoRA 어댑터입니다.

• LoRA 어댑터를 통해서도 컴퓨터 프로그래밍 언어 및 IT 프레임워크를 특별히 지원합니다.

광범위한 일반 검색, 자연어 이해 및 AI 분석 작업을 위한 범용 다목적 도구로 사용할 수 있도록 jina-embeddings-v4를 개발했습니다. 기능에 비해 비교적 작은 모델이지만 배포하는 데 상당한 리소스가 필요하며 클라우드 API를 통해 사용하거나 대용량 환경에서 사용하기에 가장 적합합니다.

Jina 임베딩 v3

jina-embeddings-v3는 6억 개 미만의 매개변수를 가진 소규모 고성능 다국어 텍스트 전용 임베딩 모델입니다. 최대 8192개의 텍스트 입력 토큰을 지원하며, 기본 1024개부터 최대 64개까지 사용자가 선택한 크기의 단일 벡터 임베딩을 출력합니다.

정보 검색 및 의미적 유사성뿐만 아니라 감정 분석 및 콘텐츠 조정과 같은 분류 작업, 뉴스 집계 및 추천과 같은 클러스터링 작업 등 다양한 텍스트 작업에 대해 jina-embeddings-v3를 학습시켰습니다. jina-embeddings-v4와 마찬가지로 이 모델은 다음 사용 범주에 특화된 LoRA 어댑터를 제공합니다.

• 비대칭 검색

• 의미적 유사성

• 분류

• 클러스터링

jina-embeddings-v3 입력 컨텍스트 크기가 크게 줄어든 jina-embeddings-v4 모델보다 훨씬 작지만 운영 비용은 더 적게 듭니다. 그럼에도 불구하고 텍스트에만 해당되긴 하지만 성능 경쟁력이 매우 뛰어나고 많은 사용 사례에서 더 나은 선택입니다.

Jina 코드 임베딩

Jina의 특수 코드 임베딩 모델인 jina-code-embeddings(0.5b 및 1.5b)는 15가지 프로그래밍 체계와 프레임워크, 그리고 컴퓨팅 및 정보기술 관련 영어 텍스트를 지원합니다. 각각 5억(0.5x10⁹) 및 15억(1.5x10⁹) 크기의 소규모 모델입니다. 두 모델 모두 최대 32,768개의 토큰 입력 컨텍스트 크기를 지원하며, 작은 모델의 경우 896개에서 64개까지, 큰 모델의 경우 1536개에서 128개까지 사용자가 출력 임베딩 크기를 선택할 수 있습니다.

이러한 모델은 접두사 튜닝을 사용하여 LoRA 어댑터 대신 5가지 작업별 특화를 위한 비대칭 검색을 지원합니다.

• 코드-코드. 프로그래밍 언어 전반에서 유사한 코드를 검색합니다. 이는 코드 정렬, 코드 중복 제거, 이식 및 리팩토링 지원에 사용됩니다.

• 자연어-코드. 코드를 검색하여 자연어 쿼리, 댓글, 설명 및 문서와 일치시킵니다.

• 코드-자연어.코드를 문서 또는 기타 자연어 텍스트와 일치시킵니다.

• 코드-코드 완성. 관련 코드를 제안하여 기존 코드를 완료하거나 향상시킵니다.

• 기술 관련 Q&A. 정보 기술에 관한 질문에 대한 자연어 답변을 식별합니다. 이는 기술 지원 사용 사례에 이상적입니다.

이러한 모델은 컴퓨터 문서화 및 프로그래밍 자료와 관련된 작업에서 상대적으로 적은 컴퓨팅 비용으로 우수한 성능을 제공합니다. 개발 환경 및 코드 어시스턴트에 통합하는 데 적합합니다.

Jina ColBERT v2

jina-colbert-v2는 5억 6천만 개의 매개변수를 가진 멀티벡터 텍스트 임베딩 모델입니다. 다국어 지원, 89개 언어의 자료를 사용하여 학습되었으며 다양한 임베딩 크기와 비대칭 검색을 지원합니다.

앞서 언급했듯이, 멀티벡터 임베딩은 색인하는 데에는 적합하지 않지만 다른 검색 전략의 결과 정확도를 높이는 데 매우 유용합니다. jina-colbert-v2를 사용하여 멀티벡터 임베딩을 미리 계산한 다음 쿼리 시 검색 후보의 순위를 재조정하는 데 사용할 수 있습니다. 이 접근 방식은 다음 섹션의 재순위 모델 중 하나를 사용하는 것보다 정확도는 떨어지지만 모든 쿼리와 후보 일치에 대해 전체 AI 모델을 호출하는 대신 저장된 멀티벡터 임베딩을 비교하기 때문에 훨씬 더 효율적입니다. 이는 순위 재지정 모델을 사용할 때의 지연 시간과 계산 부하가 너무 큰 사용 사례나 비교할 후보의 수가 순위 재지정 모델에 너무 많은 경우에 이상적으로 적합합니다.

이 모델은 입력 토큰당 하나씩 일련의 임베딩을 출력하며, 사용자는 128차원, 96차원 또는 64차원 임베딩의 토큰 임베딩을 선택할 수 있습니다. 후보 텍스트 매칭은 8,192개 토큰으로 제한됩니다. 쿼리는 비대칭적으로 인코딩되므로, 사용자는 텍스트가 쿼리인지 후보 일치인지 지정해야 하며, 쿼리 수를 32개의 토큰으로 제한해야 합니다.

Jina CLIP v2

jina-clip-v2는 9억 개의 매개변수를 가진 멀티모달 임베딩 모델로, 텍스트가 이미지의 내용을 설명할 경우 텍스트와 이미지가 서로 가까운 임베딩을 생성하도록 학습되었습니다. 주요 용도는 텍스처 쿼리를 기반으로 이미지를 검색하는 것이지만, 텍스트 전용 모델로도 고성능을 발휘하여 사용자 비용을 절감할 수 있습니다. 텍스트-텍스트 및 텍스트-이미지 검색을 위해 별도의 모델이 필요하지 않기 때문입니다.

이 모델은 8,192개의 토큰으로 구성된 텍스트 입력 컨텍스트를 지원하며, 이미지는 임베딩을 생성하기 전에 512x512 픽셀로 크기가 조정됩니다.

대조적 언어-이미지 사전 훈련(CLIP) 아키텍처는 훈련 및 운영이 쉽고 매우 컴팩트한 모델을 생성할 수 있지만, 몇 가지 근본적인 한계가 있습니다. 그들은 한 매체에서 얻은 지식을 다른 매체에서의 성능 향상에 사용할 수 없습니다. 한 매체에서 다른 매체로 사용하여 성능을 향상시킬 수 없습니다. 따라서 '개'와 '고양이'라는 단어가 '자동차'보다 의미상 서로 가깝다는 것은 알 수 있지만, 개 그림과 고양이 그림이 자동차 그림보다 더 관련이 있다는 것을 반드시 알지는 못합니다.

또한 양식 격차라는 문제도 있습니다. 개에 대한 텍스트 임베딩은 개 사진 임베딩보다 고양이에 대한 텍스트 임베딩에 더 가깝게 느껴질 가능성이 높습니다. 이러한 제한 때문에 CLIP을 텍스트-이미지 검색 모델 또는 텍스트 전용 모델로 사용하는 것이 좋지만, 단일 쿼리에서 둘을 혼합하지 않는 것이 좋습니다.

모델 순위 재지정

순위 재지정 모델은 하나 이상의 후보 일치 항목과 쿼리를 모델에 입력으로 받아 이를 직접 비교하여 훨씬 더 높은 정밀도의 일치 항목을 생성합니다.

원칙적으로, 각 쿼리를 저장된 각 문서와 비교하여 정보 검색을 위해 직접 순위 재지정 도구를 사용할 수 있지만, 이는 매우 계산 비용이 많이 들고 가장 작은 컬렉션을 제외하고는 비실용적입니다. 결과적으로, 순위 재지정 도구는 임베딩 기반 검색이나 다른 검색 알고리즘과 같은 다른 방법을 통해 찾은 비교적 짧은 후보 목록을 평가하는 데 사용되는 경향이 있습니다. 순위 재지정 모델은 하이브리드 및 연합 검색 체계에 이상적으로 적합합니다. 여기서 검색을 수행한다는 것은 쿼리가 별도의 검색 시스템으로 전송되어 각각 고유한 데이터 세트를 가지고 각기 다른 결과를 반환할 수 있음을 의미합니다. 다양한 결과를 하나의 고품질 결과로 병합하는 데 매우 효과적입니다.

임베딩 기반 검색은 저장된 모든 데이터를 재색인하고 검색 결과에 대한 사용자 기대치를 변경해야 하므로 상당한 노력이 필요합니다. 기존 검색 체계에 리랭커를 추가하면 AI의 많은 이점을 추가할 수 있으며, 전체 검색 솔루션을 다시 설계할 필요 없이 이를 달성할 수 있습니다.

Jina 순위 재지정 모델

Jina 순위 재지정 m0

jina-reranker-m0는 24억(2.4x10⁹)개의 매개변수를 가진 다중 모드 순위 재지정 도구로, 텍스트 쿼리와 텍스트 및/또는 이미지로 구성된 후보 매치를 지원합니다. 이 모델은 시각적 문서 검색의 선도적 모델로, PDF 저장소, 텍스트 스캔, 스크린샷 및 텍스트 또는 반구조화된 정보를 포함한 기타 컴퓨터 생성 또는 수정 이미지뿐만 아니라 텍스트 문서와 이미지로 구성된 혼합 데이터에도 이상적인 솔루션입니다.

이 모델은 단일 쿼리와 일치하는 후보를 입력받아 점수를 반환합니다. 동일한 쿼리를 다른 후보와 함께 사용하면 점수를 비교하여 순위를 매기는 데 사용할 수 있습니다. 쿼리 텍스트와 후보 텍스트 또는 이미지를 포함하여 최대 10,240개 토큰의 총 입력 크기를 지원합니다. 이미지를 덮는 데 필요한 28x28 픽셀 타일 하나하나가 입력 크기 계산을 위한 토큰으로 간주됩니다.

Jina 순위 재지정 v3

jina-reranker-v3는 비슷한 크기의 모델을 위한 최첨단 성능을 갖춘 6억 개의 매개변수 텍스트 순위 재지정 도구입니다. jina-reranker-m0와 달리, 단일 쿼리와 최대 64개의 후보 매칭 목록을 받아 순위 순서를 반환합니다. 쿼리와 모든 텍스트 후보를 포함하여 131,000개의 토큰으로 구성된 입력 컨텍스트가 있습니다.

Jina 순위 재지정 v2

jina-reranker-v2-base-multilingual은 함수 호출 및 SQL 쿼리를 지원하도록 설계된 추가 기능을 갖춘 매우 컴팩트한 범용 순위 재지정 도구입니다. 3억 개 미만의 매개변수를 포함하며, 빠르고 효율적이며 정확한 다국어 텍스트 순위 재지정을 제공하며, 텍스트 쿼리에 맞는 SQL 테이블과 외부 함수 선택 지원도 추가하여 에이전트 사용 사례에 적합합니다.

소규모 생성형 언어 모델

생성형 언어 모델은 텍스트 또는 멀티미디어 입력을 받아 텍스트 출력으로 응답하는 OpenAI의 ChatGPT, Google Gemini, Anthropic의 Claude와 같은 모델입니다. 대규모 언어 모델(LLM)과 소규모 언어 모델(SLM)을 구분하는 명확한 경계는 없지만, 최고급 LLM을 개발, 운영 및 사용하는 데 따르는 실질적인 문제는 잘 알려져 있습니다. 가장 잘 알려진 것들은 공개적으로 배포되지 않았기 때문에 우리는 그 크기를 추정할 수만 있지만, ChatGPT, Gemini 및 Claude는 1~3조(1~3x10¹²) 매개변수 범위 내에 있을 것으로 예상됩니다.

이러한 모델을 실행하는 것은, 심지어 공개적으로 이용 가능하더라도, 기존 하드웨어의 범위를 훨씬 넘어서며, 방대한 병렬 어레이로 구성된 최첨단 칩을 필요로 합니다. LLM에는 유료 API를 통해 액세스할 수 있지만, 이는 상당한 비용이 발생하고 높은 대기 시간을 가지며 데이터 보호, 디지털 주권 및 클라우드 재환원에 대한 요구 사항과 일치하기 어렵습니다. 또한 이 정도 규모의 모델을 교육하고 사용자 지정하는 데 드는 비용도 상당할 수 있습니다.

그 결과, 대형 LLM의 모든 기능은 부족할 수 있지만 저렴한 비용으로 특정 종류의 작업을 잘 수행할 수 있는 소규모 모델을 개발하기 위해 많은 연구가 진행되었습니다. 기업은 보통 특정 문제를 해결하기 위해 소프트웨어를 배포하며, AI 소프트웨어도 다르지 않습니다. 따라서 SLM 기반 솔루션이 LLM 기반 솔루션보다 나은 경우가 많습니다. 일반적으로 상용 하드웨어에서 실행할 수 있고, 더 빠르며 실행에 필요한 에너지를 덜 소비하고, 훨씬 더 쉽게 사용자 정의할 수 있습니다.

AI를 실용적인 검색 솔루션에 가장 효과적으로 도입할 수 있는 방법에 집중하면서 Jina의 SLM 제품군은 성장하고 있습니다.

Jina SLMs

ReaderLM v2

ReaderLM-v2는 사용자가 제공한 JSON 스키마와 자연어 명령어에 따라 HTML을 Markdown 또는 JSON으로 변환하는 생성형 언어 모델입니다.

데이터 전처리 및 정규화는 디지털 데이터에 대한 효과적인 검색 솔루션을 개발하는 데 필수적인 부분이지만, 실제 세계의 데이터, 특히 웹에서 파생된 정보는 종종 혼란스럽고, 단순한 변환 전략은 매우 취약한 것으로 드러나는 경우가 많습니다. 대신, ReaderLM-v2 웹페이지의 DOM 트리 덤프의 혼란을 이해하고 유용한 요소를 강력하게 식별할 수 있는 지능형 AI 모델 솔루션을 제공합니다.

15억(1.5x10⁹)개의 매개변수로, 최첨단 LLM보다 세 자릿수 차이로 작지만 이 특정 작업에서는 동등한 수준의 성능을 발휘합니다.

Jina VLM

jina-vlm은 이미지에 대한 자연어 질문에 답하도록 훈련된 24억 (2.4x10⁹)개의 매개변수 생성형 언어 모델입니다. 그것은 스캔, 스크린샷, 슬라이드, 다이어그램 및 유사한 비자연적 이미지 데이터에 대한 질문에 답변하는 시각적 문서 분석을 매우 강력하게 지원합니다.

그 예는 다음과 같습니다.

이미지 속 텍스트를 읽는 데도 매우 능숙합니다.

하지만 jina-vlm의 진정한 강점은 정보성 이미지와 인공 이미지의 콘텐츠를 이해하는 것입니다.

또는:

jina-vlm 자동 캡션 생성, 제품 설명, 이미지 대체 텍스트, 시각 장애인을 위한 접근성 애플리케이션에 적합합니다. 또한 검색 증강 생성(RAG) 시스템이 시각 정보를 사용하고 AI 에이전트가 사람의 도움 없이 이미지를 처리할 수 있는 가능성을 열어줍니다.