5분 이내 온프레미스 구축: 이제 온프레미스 배포에 Jina 임베딩 모델 사용 가능

Elasticsearch를 직접 체험해 보세요. Elasticsearch Labs 리포지토리의 샘플 노트북을 살펴보거나, 무료 클라우드 체험을 시작해 보세요. 지금 바로 로컬 컴퓨터에서 Elastic을 사용해 보셔도 좋습니다.

이제 28개의 모든 Jina AI 임베딩 및 순위 재지정 모델이 온프레미스 배포를 위한 완전 오프라인 Docker 컨테이너로 제공됩니다. 여기에는 jina-embeddings-v5-omni 및 jina-reranker-v3가 포함됩니다. 컨테이너 하나를 다운로드하여 온프레미스의 에어갭 또는 방화벽으로 보호되는 시스템으로 전송하면 5분 이내에 로컬 추론이 실행됩니다. 컨테이너는 완전히 자체적으로 작동하며 외부 연결을 사용하지 않습니다. Hugging Face 또는 모델 레지스트리에 대한 호출이 없으며, 라이선스 서버, 텔레메트리 또는 로깅 엔드포인트도 없습니다. 규제 산업, 데이터 주권 요구 사항 또는 인터넷 접속이 불안정하거나 아예 불가능한 환경에서 제3자 AI 서비스에 대한 종속성을 제거할 수 있습니다. Jina 온프레미스는 Elastic Inference Service(EIS), OpenAI, Cohere, Voyage AI 및 Gemini API 스키마를 지원하므로 기존 애플리케이션은 코드 변경 없이 작동합니다.

가장 강력한 AI 모델은 웹 API를 통해 접근 가능한 원격 클라우드 환경에서 실행되므로, 보안, 서비스 가용성 및 안정적인 가격 측면에서 AI 서비스 제공업체를 신뢰해야 합니다. 점점 더 강력해지고 정교해지며 자원 집약적인 AI 사용 환경에서 안정성, 개인정보 보호, 관리 가능한 비용 및 효과적인 데이터 거버넌스에 대한 합리적인 요구 사항을 모두 충족하는 것은 쉽지 않습니다.

최근 정부 규제, 법원 판결, 그리고 타인의 이익을 위한 사업적 고려 사항으로 인해 특정 서비스에 대한 접근이 제한되는 사례가 발생하고 있습니다. 다른 서비스로 전환할 수 있다 하더라도, AI 모델은 원하는 대로 교체할 수 있는 구성 요소가 아닙니다. 시맨틱 임베딩을 사용하는 애플리케이션은 쿼리 시점과 데이터 수집 시점에 동일한 모델에 접근할 수 있어야 합니다. 임베딩 모델에 대한 접근 권한을 잃으면 검색 시스템이 중단됩니다.

AI 가격 모델은 이러한 위험을 더욱 가중합니다. 주요 AI 공급업체의 최근 재무 정보 공개는 고객이 잠재적인 가격 인상에 대해 우려할 만한 충분한 이유를 제공합니다. 예측 불가능한 비용의 제품에 대한 의존은 명확한 수익을 창출하지 못할 수도 있는 자본 집약적인 AI 투자에 더 큰 위험을 더합니다.

Jina 온프레미스는 이러한 과제에 대한 Elastic의 해답입니다.

온프레미스 AI는 누구에게 필요합니까?

로컬 호스팅과 AI 모델에 대한 직접적인 제어는 다양한 기술적 요구 사항, 업계 요건 및 비즈니스 이해관계를 지원합니다.

로컬 설치는 AI 서비스 제공업체에 지불하는 비용을 줄여주지만, 하드웨어 비용과 안정적인 액세스 비용은 조직에서 부담해야 합니다. 사용량에 따라 로컬 AI 솔루션이 더 저렴할 수도 있습니다. 하지만 자체 AI 운영을 고려해야 할 더 중요한 이유가 있습니다. 아래 설명된 문제 중 하나라도 기업에 해당된다면 Jina 온프레미스와 같은 로컬 AI 솔루션을 고려해 보세요. 이 목록이 모든 경우를 포함하는 것은 아닙니다.

에어갭 및 방화벽으로 보호되는 시스템에 온프레미스 AI가 필요한 이유

에어갭 및 방화벽으로 보호되는 시스템은 외부 AI API를 사용할 수 없습니다. Jina 온프레미스는 아웃바운드 연결 없이 완전히 사용자 인프라 내에서 실행됩니다.

특히 민감한 데이터를 관리하는 조직의 경우 보안 및 개인정보 보호는 최우선 과제입니다. 민감한 데이터를 보호하기 위해 투자하더라도, 보안 수준이 미흡하거나 외국 정부의 요구에 따라 정보를 제공해야 할 수도 있는 제3자에게 넘겨준다면 그 효과는 미미할 것입니다.

민감한 데이터를 다루는 조직의 직원은 안전한 데이터 처리 방법에 대한 교육을 받는 경우가 많지만, 웹 브라우저를 열어놓고 인터넷상의 모든 페이지에 접속한 상태로 데이터를 처리하는 상황에서는 이러한 교육이 그다지 효과적이지 않습니다. 가장 효과적인 보안 조치는 네트워크 격리(에어갭) 또는 매우 강력한 방화벽을 통한 격리이지만, 이는 외부 서비스 이용을 어렵게 만듭니다.

지연 시간 민감성 및 고가용성 시스템을 위한 온프레미스 AI

서비스형 소프트웨어(SaaS)와 클라우드 컴퓨팅은 자체 컴퓨터에서 접근성이 높고 안정적인 서비스를 제공하는 비용과 문제를 외부에 위탁하는 비용 사이의 절충안을 제시합니다. 하지만 SaaS와 클라우드 컴퓨팅은 가변적인 지연 시간, 서비스 중단, 그리고 문제가 발생했을 때 완전한 통제력 상실이라는 단점을 안고 있습니다. AI 서비스도 예외는 아닙니다. 임베딩 모델에 접근할 수 없어 검색 시스템이 오프라인 상태가 된다면 SaaS와 클라우드 컴퓨팅은 더 이상 좋은 절충안으로 보이지 않을 것입니다.

또한 외부 AI에 의존하는 것은 예측하거나 관리하기 어려운 위험을 항상 수반합니다. 인터넷 접속이나 네트워크 지연은 정치적 사건, 악천후, 또는 선박이 해저 광섬유 케이블에 닻을 내리는 등의 이유로 예고 없이 악화될 수 있습니다. 정부는 수출 금지 조치를 통해 AI 모델 접근을 갑자기 차단할 수 있으며, 최근 그러한 사례도 있습니다. AI 서비스 제공업체는 때때로 사용자가 새로운 모델로 전환하도록 유도하기 위해 기존 모델을 철회하기도 합니다. 외부 서비스의 유연성과 관리 가능한 비용은 종속성으로 인한 위험과 균형을 이루어야 합니다.

GDPR, HIPAA 및 데이터 주권 규정 준수를 위한 온프레미스 AI

개인 데이터를 수집하는 조직은 관할 지역마다 다르고 상충되는 요구 사항을 포함하는 점점 더 엄격한 규정을 준수해야 합니다. 특히, HIPAA 규정은 미국 의료 서비스 제공자에게 매우 엄격한 데이터 보호 의무를 부과하며, 캐나다, 유럽 연합, 그리고 많은 아시아 관할 지역의 강력한 일반 데이터 보호법은 개인 정보를 처리하는 모든 기업이 안전하게 정보를 처리하고 다른 당사자 또는 다른 관할 지역으로의 데이터 전송을 제한하도록 요구합니다. 이러한 규정은 해당 관할 지역에 고객을 보유한 외국 기업에도 의무를 부과할 수 있습니다. 금융 기관은 종종 훨씬 더 엄격한 규정을 적용받으며, 다른 형태의 범죄 행위로부터 보호해야 하는 것과 마찬가지로 정보 보안에 대해서도 직접적인 책임을 져야 합니다.

규제 준수는 특히 국경 간 데이터 전송이 수반되는 경우, 제3자 AI 서비스와 양립할 수 없습니다.

더욱이 최근 사례에서 알 수 있듯이, 데이터 저장소의 물리적 위치를 제한하는 규정은 해외 클라우드 운영업체가 외국 정부의 압력을 받을 때 신뢰할 수 있는 보호 수단이 되지 못할 수 있습니다. 관할권마다 현지 법률이 충돌하여 현지 데이터 저장 공간 및 처리가 요구되고 제3자 서비스 이용이 불가능해지는 경우가 발생할 수 있습니다. 어떤 경우에는 AI 시스템을 포함한 모든 프로세스를 자체적으로 처리하는 것이 유일한 해결책이 될 수 있습니다.

제3자 데이터 전송으로 인한 AI 책임 위험

데이터 보호법과 민감한 데이터에 대한 관리 의무는 일반적으로 책임 문제를 야기하며, 때로는 매우 심각한 결과를 초래할 수 있습니다. 제3자 서비스 제공업체의 데이터 처리 방식에 대해 책임을 져야 할 수도 있습니다. 법원과 법적 절차를 통해 보안이 취약한 서비스 제공업체로부터 사후적으로 보호받을 수 있지만, 국가 안보 관련자, 법 집행 기관 또는 범죄 해커에 대해서는 이러한 구제책이 적용되지 않으며 일반적으로 효과적이지 않습니다.

정부의 경우, 국경 간 클라우드 서비스 제공업체가 국가의 민감한 정보를 외국 행위자에게 유출한 사례가 이미 있었습니다.

하지만 외국 정부나 해커를 걱정하지 않더라도, 외부 AI 서비스 제공업체 자체가 안전하더라도, 단순히 외부 업체라는 사실만으로도 책임이 발생할 수 있습니다.

예를 들어 대부분의 관할권에서 변호사와 의뢰인 간의 의사소통은 특별한 법적 보호를 받으며, 법률 사무소는 이러한 정보를 기록하거나 저장할 때 엄격한 책임을 져야 합니다. 미국에서 이러한 '변호사-의뢰인 특권'은 매우 유명하여 영화나 드라마의 주요 소재로 등장하기도 합니다. 하지만 특권을 잃는 한 가지 방법은 특권이 없는 사람과 정보를 주고받는 것인데, 최근의 동향을 보면 외부 AI 서비스 제공업체가 이러한 경우에 해당될 수 있음을 시사합니다.

적어도 미국에서는 인터넷 API를 통해 제3자 AI 서비스를 사용하는 것, 예를 들어 색인화 서비스를 제공하는 모델을 임베딩하는 것만으로도 중요한 기밀 유지 규칙을 위반할 수 있습니다. 로펌은 보안 침해가 발생하지 않더라도 외부에서 호스팅되는 소프트웨어를 사용하는 것만으로도 소송을 당하거나 징계, 변호사 자격 박탈 등의 조치를 받을 수 있습니다.

오프라인, 엣지 및 물리적으로 격리된 시스템을 위한 온프레미스 AI

컴퓨터 시스템이 격리되는 이유는 보안상의 이유뿐만이 아닙니다. 예를 들어 이동 중인 차량은 필수 기능을 수행하기 위해 인터넷 접속에 의존할 수 없습니다. 선박과 항공기는 인터넷 연결 없이 작동해야 하는 광범위한 온보드 컴퓨터 시스템을 갖추고 있으므로 외부 AI 서비스를 사용할 수 없습니다. 해양 플랫폼, 오지 시설, 북극 및 남극, 그리고 글로벌 네트워크에 대한 물리적 연결이 충분하지 않은 작은 섬의 컴퓨터 서비스는 모두 필요한 모든 서비스를 로컬에서 호스팅함으로써 이점을 얻는 사례입니다. 기업 컴퓨팅에서 AI의 역할이 커짐에 따라 이러한 제약 사항을 해결하는 것이 더욱 중요해지고 있습니다.

AI를 물리 시스템에 적용하는 새로운 사례(로봇공학, 물류 관리 시스템, 심지어 슈퍼마켓 계산대와 같이 공간적으로 제한되거나 외부 세계에 초점을 맞춘 사용 사례)는 글로벌 인터넷에 연결될 수 있지만, 연결 오류나 지연 시간 급증을 허용하지 않습니다. 이러한 시스템이 AI 시스템에 의존하여 작동한다면, 해당 AI 시스템은 최대한 로컬 환경에서 안정적으로 작동해야 합니다.

온프레미스 AI는 누구에게 필요하지 않습니까?

원격 소프트웨어 서비스와 오프사이트 AI는 분명 장점이 있습니다. AI 모델을 실행하려면 수명이 짧기로 악명 높은 고가의 전력 소모형 프로세서가 필요할 수 있습니다. 특히 현재 시장 상황과 외부 경제 충격으로 인해 고품질 하드웨어를 확보하기가 어렵습니다. 이러한 상황에서는 로컬 AI에 막대한 자본을 투자하는 대신, 필요에 따라 외부 API를 사용하는 것이 더 합리적일 수 있습니다.

외부 API는 간헐적으로 AI 모델을 사용하는 사용자에게 가장 적합합니다. 항상 온라인 상태여야 하는 검색 시스템을 운영하는 것이 아니라 주로 분석을 위해 데이터를 배치 처리하는 용도로 AI 모델을 사용하는 경우, 자본 집약적인 하드웨어와 로컬 설치에 투자하는 것은 큰 의미가 없습니다.

또한 데이터 처리가 이미 클라우드 기반인 경우(예: 안정성과 접근성을 위해 클라우드에 호스팅된 전자 상거래 웹사이트) 동일한 클라우드 인프라에 있는 AI 서비스를 사용하는 것이 자체 라이선스를 취득한 AI 모델을 배포하는 것보다 비용 대비 효과가 더 좋을 수 있습니다. 이미 클라우드 서비스 제공업체에 의존하고 있으므로, 해당 업체에서 제공하는 AI 서비스에 의존하는 것이 큰 위험을데이터 초래하지 않습니다.

사용 사례가 이러한 설명에 부합한다면, Jina AI 모델은 EIS, AWS Marketplace 및 Google Cloud Platform 에서 사용자의 요구 사항을 충족하도록 제공되므로 활용해 보시기 바랍니다.

아래 표는 주요 요인을 요약한 것입니다. 답변은 데이터, 인프라 및 사용 패턴에 따라 달라집니다.

각각의 상황과 사용 사례를 고려하여 비용과 이점을 분석해야 하며, 이전 섹션에서 강조된 사항 중 여러분에게 적용되는 부분을 반드시 고려해야 합니다. 비용 편익 분석은 시간이 지남에 따라 변할 것입니다. AI 산업의 미래나 하드웨어 가격은 단기적으로도 예측할 수 없습니다.

Jina 온프레미스 소개

로컬 AI 서비스의 혜택을 누릴 수 있는 사용자를 위해 Jina 온프레미스를 소개합니다. Jina AI의 고성능 모델을 위한 완전 독립형 설치 제품군입니다.

Jina AI의 모델은 크기가 훨씬 큰 임베딩 모델과 동일한 정확도를 제공하면서도 컴퓨팅 비용, 메모리 사용량 및 하드웨어 요구 사항을 줄여줍니다. 따라서 AI 환경을 온프레미스에 유지하려는 사용자에게 이상적인 선택입니다. 모든 규모의 사용 사례에 맞춰 확장 가능하고 가격 경쟁력이 있는 솔루션을 제공하는 상용 라이선스를 이용할 수 있습니다.

Jina 온프레미스는 어떤 API 스키마를 지원합니까?

• 로컬 설치를 위한 완전한 종속성 모음 또는 몇 분 안에 설치 및 실행할 수 있는 Docker 컨테이너로 제공됩니다.

• Jina 온프레미스 설치 환경은 외부 시스템을 호출하지 않습니다.

  • Hugging Face Hub 또는 모델 레지스트리에 대한 호출이 없습니다(HF_HUB_OFFLINE=1 및 TRANSFORMERS_OFFLINE=1이 기본 설정되어 있습니다).

  • 라이선스 서버가 없습니다.

  • 텔레메트리 또는 로깅 엔드포인트가 없습니다.

• CPU 및 GPU 하드웨어를 모두 지원하며, GPU를 자동으로 감지합니다.

• 최신 jina-embeddings-v5-omni 멀티모달 임베딩 모델과 jina-reranker-v3 를 포함하여 사용 가능한 28개의 모든 Jina AI 모델을 이용할 수 있습니다.

• Jina API, OpenAI, Cohere, Voyage AI, Gemini 등 표준 AI API 스키마를 통해 액세스할 수 있습니다. Jina 온프레미스는 이러한 스키마를 기반으로 구축된 애플리케이션을 위한 간편한 통합 솔루션입니다.

• EIS 에서 제공하는 모델을 완벽하게 대체할 수 있는 Jina 온프레미스는 에어갭 방식의 Elastic 배포 환경 과 직접 통합됩니다.

Jina AI 온프레미스 모델의 하드웨어 요구 사항

Jina 모델별로 하드웨어 요구 사항이 다릅니다. 아래 표는 GPU 설정을 사용한 최신 모델에 대한 권장 사양을 보여줍니다. NVIDIA L4 GPU면 충분하지만, v5 임베딩 모델에는 A100을 권장합니다. 최신 임베딩 모델은 현재 최소 8GB의 VRAM을 요구합니다.

두 개 이상의 모델을 동시에 사용하는 경우 VRAM 요구 사항이 증가합니다. 자세한 내용은 크기 및 하드웨어 페이지 를 참조하세요.

Docker를 사용하여 Jina 온프레미스를 설치하는 방법

가장 빠르게 시작하는 방법은 Docker를 설치하고 (아직 설치하지 않았다면) Jina 온프레미스 빠른 시작 페이지의 지침을 따르는 것입니다.

28개의 모든 Jina 모델에 대해 사전 구성된 Docker 컨테이너가 제공됩니다. 컨테이너 하나를 다운로드하여 설치 대상 위치로 전송하면 5분 이내에 Jina AI 모델을 실행할 수 있습니다.

멀티모달 또는 사용자 지정 빌드를 사용하거나 컨테이너 외부에서 설치하기 위해 전체 종속성 세트를 다운로드하려면 번들링 가이드에 설명된 단계를 따르세요.

Jina 온프레미스 설치는 OpenAI, Cohere, Voyage AI 및 Gemini API를 통해 모든 Jina API 및 EIS 기능과 임베딩 생성을 지원하므로 표준 인터페이스를 사용하여 기존 애플리케이션에 통합할 수 있습니다. 자세한 내용은 API 문서를 참조하세요.

Jina 온프레미스에 설치된 모델을 포함한 Jina 모델은 다양한 라이선스 조건으로 제공되며, 최신 모델은 CC BY-NC 4.0 라이선스에 따라 비상업적 용도로 무료로 사용할 수 있습니다. Jina 온프레미스를 상업적 용도로 사용하려면 Elastic 영업팀 에 문의하세요.