LLM 선택: 2024년 오픈 소스 LLM 시작 안내서

오픈 소스 LLM은 무료로 제공되며 누구나 수정하고 맞춤 설정할 수 있는 LLM입니다.

오픈 소스 LLM은 모든 개인이나 기업이 라이선스 비용을 지불하지 않고도 원하는 대로 사용할 수 있습니다. 여기에는 LLM을 자체 인프라에 배포하고 필요에 맞게 미세 조정하는 작업도 포함됩니다.

이는 대중이 이용할 수 없는 단일 개인 또는 조직이 소유한 독점 모델인 비공개 소스 LLM과 반대됩니다. 이에 대한 가장 유명한 예는 OpenAI의 GPT 모델 시리즈입니다.

이 동영상을 시청하고 LLM에 대해 깊이 있게 탐구해 보세요.

회사나 프로젝트에 맞는 오픈 소스 LLM을 더 쉽게 선택할 수 있도록, 가장 흥미로운 오픈 소스 LLM 8개를 요약했습니다. 이 목록은 활발한 AI 커뮤니티와 머신 러닝 리포지토리인 Hugging Face의 인기도 신호를 기반으로 작성되었습니다.

EleutherAI에서 개발한 GPT-NeoX-20B는 GPT-3와 유사한 아키텍처로 설계된 자동 회귀형 언어 모델입니다. The Eye에서 호스팅된 800GB 오픈 소스 데이터 세트의 데이터인 The Pile과 GPT-NeoX 라이브러리를 사용해 학습되었습니다.

GPT-NeoX-20B는 주로 연구 목적으로 개발되었으며 사용하고 맞춤 설정할 수 있는 200억 개의 매개변수가 있습니다.

적합한 사용자
GPT-NeoX-20B는 마케팅 에이전시나 미디어 회사처럼 고급 콘텐츠 생성이 필요한 중대형 기업에 이상적입니다. 해당 회사는 숙련된 인력과 더 큰 LLM을 실행할 수 있는 연산 능력을 모두 갖추고 있어야 합니다.

적합하지 않은 사용자
이 LLM은 계산 요구 사항을 관리할 재정적, 기술적 자원이 없는 소규모 기업이나 개인에게는 적합하지 않습니다. 

사용의 복잡성
그대로 배포하기 위한 것이 아니기 때문에 특정 작업과 요구 사항에 맞게 GPT-NeoX-20B를 배포하고 미세 조정하려면 기술 전문 지식이 필요합니다.

마찬가지로 EleutherAI에서 개발한 GPT-J-6b는 프롬프트에서 인간과 유사한 텍스트를 생성하도록 설계된 생성형 사전 학습 트랜스포머 모델입니다. GPT-J 모델을 사용해 만들어졌으며 60억 개의 학습 가능한 매개변수를 가지고 있습니다(그래서 그런 이름이 붙었습니다).

영어 전용 데이터 세트로 학습되었기 때문에 영어가 아닌 언어로 번역하거나 텍스트를 생성하는 데 적합하지 않습니다.

적합한 사용자
사용하기 쉽고 크기가 상대적으로 작은 GPT-J-6b는 성능과 리소스 소비 간의 균형을 원하는 스타트업 및 중견 기업에 적합합니다.

적합하지 않은 사용자
이 LLM은 더 심화된 모델 성능과 맞춤화가 필요한 기업에는 최선의 선택이 아닐 수 있습니다. 또한 다국어 지원이 필요한 회사들에도 적합하지 않습니다.

사용의 복잡성
GPT-J-6b는 지원 커뮤니티의 이점을 활용하여 중간 수준의 기술 노하우를 가진 기업도 접근할 수 있는 적당히 사용자 친화적인 LLM입니다.

Meta가 Google 및 OpenAI의 인기 LLM에 대응해 내놓은 Llama 2는 공개된 온라인 데이터 소스로 학습되었으며, AI 기반 경험을 구현하도록 설계되었습니다. 특정 작업에 맞게 미세 조정할 수 있으며, 연구 및 상업적 용도에 무료 제공됩니다.

Meta의 LLaMA 연구를 기반으로 한 Llama 2는 70억, 130억, 700억 개 매개변수의 세 가지 모델 크기로 제공되어 동적이고 확장 가능한 옵션입니다.

적합한 사용자
Llama 2는 모델 크기 옵션 때문에 광범위한 언어 모델을 활용하고자 하는 연구자와 교육 개발자에게 훌륭한 선택입니다. 일반 소비자용 컴퓨터에서도 실행될 수 있어 취미로 좋은 선택지입니다.

적합하지 않은 사용자
Llama 2는 고도로 전문화된 작업을 위한 것이 아니기 때문에 위험도가 높거나 틈새 응용 분야에 적합하지 않으며 출력의 신뢰성에 대한 우려가 있습니다.

사용의 복잡성
교육 응용 분야에 초점을 맞춘 상대적으로 사용하기 쉬운 LLM이지만 최적의 결과를 얻으려면 맞춤 설정이 필요할 가능성이 높습니다.

BLOOM은 디코더 전용 트랜스포머 언어 모델로, 1,760억 개의 방대한 매개변수를 자랑합니다. 프롬프트에서 텍스트를 생성하도록 설계되었으며, 텍스트 생성, 요약, 임베딩, 분류, 의미 검색 등 특정 작업을 미세 조정할 수 있습니다.

46개 언어로 된 수백 개의 소스로 구성된 데이터 세트로 학습되었으므로 언어 번역 및 다국어 출력을 위한 훌륭한 옵션이기도 합니다.

적합한 사용자
BLOOM은 다국어 지원이 필요한 전 세계 고객을 대상으로 하는 대규모 비즈니스에 적합합니다. 비즈니스는 모델의 규모에 따라 이를 실행할 수 있는 충분한 리소스를 확보해야 합니다.

적합하지 않은 사용자
영어권 시장에서만 사업을 운영하는 회사는 다국어 기능이 불필요하다고 생각할 수 있습니다. 특히 대규모 모델을 맞춤 설정하고 교육하는 데 필요한 상당한 리소스를 고려할 때 더욱 그렇습니다.

사용의 복잡성
언어의 뉘앙스를 이해하고 다양한 언어적 맥락에서 배포해야 하는 BLOOM의 복잡성은 중간에서 높음 수준입니다.

Falcon은 BLOOM을 보고 이렇게 말한 LLM입니다. "훗, 매개변수가 1,760억 개밖에 안 돼?"

네, 사실 그렇게 말한 적은 없습니다. 하지만 Falcon의 오픈 소스 언어 모델은 70억, 400억, 1,800억 개라는 세 가지 인상적인 크기로 제공됩니다.

Apache Licence 2.0에 따라 라이선스가 부여된 Falcon은 프롬프트에서 텍스트를 생성하도록 설계된 자동 회귀 LLM이며 고품질 RefinedWeb 데이터 세트를 기반으로 합니다.

적합한 사용자
Falcon은 뛰어난 성능과 확장성으로 인해 웹사이트 및 마케팅 제작, 투자 분석, 사이버 보안과 같은 다국어 솔루션에 관심이 있는 대기업에 이상적입니다.

적합하지 않은 사용자
70억 개의 옵션이 있긴 하지만, 콘텐츠 생성을 위한 간단한 플러그 앤 플레이 솔루션을 찾는 기업에게는 여전히 최적의 선택은 아닙니다. 모델을 맞춤 설정하고 학습시키는 데 드는 비용이 이러한 유형의 작업에는 여전히 너무 높기 때문입니다.

사용의 복잡성
가장 큰 모델의 거대한 크기에도 불구하고 Falcon은 다른 LLM에 비해 비교적 사용하기 쉽습니다. 하지만 이를 최대한 활용하려면 특정 작업의 뉘앙스를 잘 파악해야 합니다.

Salesforce의 이 LLM은 텍스트 답변이나 콘텐츠를 출력하는 대신 컴퓨터 코드를 출력한다는 점에서 이 목록에 있는 다른 어떤 LLM과도 다릅니다. CodeGen은 '코드 생성(code generation)'의 줄임말이며, 바로 그 기능을 수행합니다. 기존 코드 또는 자연어 프롬프트를 기반으로 코드를 출력하도록 학습되었습니다.

70억, 130억, 340억 개의 매개변수 크기로 제공되는 CodeGen은 소프트웨어 개발에 간소화된 접근 방식을 구현하기 위해 만들어졌습니다.

적합한 사용자
CodeGen은 코딩 작업을 자동화하고 개발자 생산성을 향상시키려는 기술 회사 및 소프트웨어 개발팀을 위한 것입니다.

적합하지 않은 사용자
컴퓨터 코드를 작성하지 않거나 사용하지 않는다면 회사라면 이 LLM은 적합하지 않습니다!

사용의 복잡성
CodeGen은 기존 개발 워크플로우에 통합하기가 까다로울 수 있으며, 소프트웨어 엔지니어링에 대한 탄탄한 배경 지식이 필요합니다.

초기 현대 LLM 중 하나인 BERT는 2018년 Google이 만든 인코더 전용 트랜스포머 아키텍처입니다. 인간의 언어를 이해하고, 생성하며, 처리하도록 설계되었습니다.

BERT는 Google 검색에서 쿼리 이해를 향상시키기 위해 자체적으로 사용되었으며 텍스트 생성, 질문 답변, 정서 분석과 같은 다른 작업에도 효과를 발휘했습니다.

적합한 사용자
Google 자체 검색의 핵심이라는 점을 고려할 때 BERT는 검색 엔진에 맞게 사이트와 콘텐츠를 최적화하고 콘텐츠 관련성을 향상시키려는 SEO 전문가 및 콘텐츠 제작자에게 가장 적합한 옵션입니다.

적합하지 않은 사용자
BERT는 오래된 탓에 SEO 외에는 많은 상황에서 최선의 선택이 아닐 가능성이 높으며, 더 크고 새로운 대안에 비해 중복되는 부분이 있습니다.

사용의 복잡성
BERT는 SEO 및 콘텐츠 최적화에 익숙한 사람들에게는 비교적 간단하지만, Google의 최신 SEO 권장 사항 변경 사항을 따라가려면 세부 조정이 필요할 수 있습니다.

T5(눈에 확 띄는 Text-to-Text Transfer Transformer의 약어)는 텍스트-텍스트 접근 변환을 사용하는 트랜스포머 기반 아키텍처입니다. T5는 NLP 문제를 입력과 출력이 항상 텍스트 스트링인 형식으로 변환하므로 번역, 질문 답변, 분류 등 다양한 작업에 활용할 수 있습니다. 매개변수 6천만 개에서 최대 110억 개에 이르는 5가지 크기로 제공됩니다.

적합한 사용자
T5는 요약, 번역, 분류 등 다양한 텍스트 간 처리 작업을 위한 다목적 도구가 필요한 기업에 적합합니다.

적합하지 않은 사용자
T5는 상대적으로 유연함에도 불구하고, 텍스트 외의 출력을 요구하는 작업에는 적합하지 않습니다. 

사용 복잡성
T5는 일반적으로 다른 LLM에 비해 사용하기 쉬운 편이며, 다양한 사전 학습 모델이 제공됩니다. 하지만 틈새 시장이나 특정 업무에 적응하려면 어느 정도의 전문성이 필요할 수 있습니다.

Mixtral 8x7B는 희소 전문가 조합 모델의 최첨단 발전을 보여줍니다. 오픈 가중치와 Apache 2.0 라이선스를 자랑하는 Mixtral은 게임 체인저이며 속도와 효율성 면에서 다른 모델을 압도합니다.(네, Llama 2와 GPT-3.5를 말하는 겁니다). 특히 다양한 언어 처리에 능숙하며 코드 생성과 명령어 준수에 탁월합니다.

적합한 사용자
다양하고 복잡한 작업에 최첨단 AI 기술을 활용하고자 하는 개발자와 조직을 대상으로 하는 Mixtral은 혁신을 원하는 이들에게 소중한 자산이 될 것입니다.

적합하지 않은 사용자
머신 러닝을 처음 접하거나 컴퓨팅 성능이 가벼운 편이라면 Mixtral이 다소 부담스러울 수 있습니다.

사용의 복잡성
Mixtral을 활용하려면 투자가 필요하지만 그 가치는 충분합니다. 독특한 아키텍처와 확장성으로 인해 NLP 개념에 어느 정도 익숙해야 하며 추가 구성이 필요할 수도 있습니다. 이 과정이 입문자에게는 다소 벅찰 수 있습니다. 하지만 탄탄한 Hugging Face 커뮤니티와 광범위한 문서가 시작하는 데 큰 도움이 될 겁니다. 기억하세요, 이 헤비급 기술을 마스터하려면 노력이 필요합니다. 하지만 고급 NLP 기능을 잠금 해제할 수 있다는 가능성만으로 도전할 가치가 있습니다.

면책 조항: 모든 매개변수와 모델 크기는 게시 당시 정확하지만 이후 변경되었을 수 있습니다.

어떤 오픈 소스 LLM을 사용할지 결정할 때 고려해야 할 몇 가지 주요 기준은 다음과 같습니다.

• 비용: 이러한 LLM은 오픈 소스이므로 모델 자체에 대한 비용을 지불할 필요가 없습니다. 하지만 호스팅, 교육, 리소스 등의 비용을 고려해야 합니다. LLM이 더 크고 복잡할수록 비용이 더 많이 들 가능성이 높습니다. LLM이 커질수록 더 많은 데이터 저장 비용, 처리 능력, 더 큰 인프라 및 유지 관리 비용이 필요하기 때문입니다.

• 정확성: 옵션의 정확성을 평가하는 것은 필수적입니다. 다양한 LLM이 필요한 작업 유형을 얼마나 정확하게 수행할 수 있는지 비교해야 합니다. 예를 들어, 일부 모델은 특정 분야에 특화되어 있고 일부 모델은 미세 조정 또는 검색 증강 생성(RAG)으로 개선될 수 있습니다.

• 성능: LLM의 성능은 언어 유창성, 일관성, 맥락 이해 등으로 측정됩니다. LLM이 이러한 분야에 더 능숙할수록 더 나은 성과를 낼 수 있습니다. 이를 통해 사용자 경험과 작업 효율성을 향상하고 경쟁 우위를 확보할 수 있습니다. 

• 데이터 보안: 데이터 보안은 또 다른 주요 고려 사항입니다. 민감한 데이터나 PII 데이터를 처리하는 경우 특히 중요합니다. 이는 도큐먼트 수준 보안을 사용하여 데이터에 대한 액세스를 제어하고 특정 데이터에 대한 보안 권한을 제한할 수 있으므로 RAG가 유용할 수 있는 추가적인 영역입니다.

• 작업 특화 vs. 범용 목적: 보다 구체적인 사용 사례를 해결하는 LLM이 필요한지 아니면 더 광범위한 작업을 포괄하는 LLM이 필요한지 고려하세요. 일부 모델은 도메인 특화이기 때문에, 해당 도메인 내에서 하나를 선택하거나 더 넓은 범위의 모델을 찾을 때 주의해야 합니다. 

• 학습 데이터의 품질: 데이터의 품질이 좋지 않으면 결과도 좋지 않습니다. 각 LLM이 사용하는 데이터를 평가하고 신뢰할 수 있는 데이터를 선택하세요. RAG는 출력 품질을 직접적으로 향상시키기 위해 준비하고 미세 조정할 수 있는 사용자 정의 데이터를 사용할 수 있으므로 이 부분에 도움이 됩니다.

• 기술 역량: 고려해야 할 또 다른 중요한 요소는 프로젝트 팀 구성원들이 보유한 기존 기술 역량입니다. 데이터 과학, MLOps, NLP 등의 경험은 필수입니다. LLM이 복잡할수록 팀이 갖춰야 할 기술 역량도 더욱 심화됩니다. 만약 이러한 기술 역량이 부족하다면, 비교적 간단한 LLM에 집중하거나 전문가를 외부에서 영입하는 방안을 고려해 볼 수 있습니다.

이러한 기준을 사용하면 지금까지 다룬 LLM 중 여러분의 고유한 상황에 가장 적합한 LLM을 결정할 수 있습니다.

가장 좋은 방법은 시간을 충분히 들여 나열된 옵션들을 살펴보고, 각 옵션이 문제 해결에 얼마나 도움이 되는지를 기준으로 평가하는 것입니다. 오픈 소스 LLM은 하나같이 매우 강력하며 효과적으로 활용하면 혁신을 가져올 수 있습니다.

준비가 되면 비즈니스에 데이터를 활용하는 데 도움이 되는 네 가지 방법을 확인해 보세요.

1. 무료 체험판을 시작하고 Elastic이 여러분의 비즈니스에 어떻게 도움이 되는지 알아보세요.
2. Elastic 솔루션을 둘러보세요. Elasticsearch Platform의 작동 방식과 솔루션이 여러분의 요구 사항에 어떻게 부합하는지 알아보세요.
3. Elasticsearch 클러스터 설정 방법을 알아보고 45분 웨비나를 통해 데이터 수집을 시작해 보세요.
4. 관심이 있을 만한 지인에게 이메일, LinkedIn, Twitter 또는 Facebook을 통해 이 글을 공유하세요.