Escolhendo um LLM: o guia de primeiros passos de 2024 para LLMs open source

Um LLM open source é um LLM disponível gratuitamente e que pode ser modificado e customizado por qualquer pessoa.

Qualquer pessoa ou empresa pode usar um LLM open source como bem entender, sem precisar pagar taxas de licenciamento. Isso inclui implantar o LLM em sua própria infraestrutura e ajustá-lo para atender às suas próprias necessidades.

Isso é o oposto de um LLM de código fechado, que é um modelo proprietário pertencente a uma única pessoa ou organização e que não está disponível ao público. O exemplo mais famoso disso é a série de modelos GPT da OpenAI.

Assista a este vídeo e mergulhe mais fundo nos LLMs:

Para facilitar a escolha de um LLM open source para sua empresa ou projeto, resumimos oito dos LLMs open source mais interessantes disponíveis. Baseamos esta lista nos sinais de popularidade da comunidade ativa de IA e do repositório de machine learning Hugging Face.

Desenvolvido pela EleutherAI, o GPT-NeoX-20B é um modelo de linguagem autorregressivo projetado para se assemelhar arquiteturalmente ao GPT-3. Ele foi treinado usando a biblioteca GPT-NeoX com dados do The Pile, um conjunto de dados de 800 GB open source hospedado pelo The Eye.

O GPT-NeoX-20B foi desenvolvido principalmente para fins de pesquisa e tem 20 bilhões de parâmetros que você pode usar e customizar.

Para quem é?
O GPT-NeoX-20B é ideal para empresas de médio/grande porte que precisam de geração de conteúdo avançada, como agências de marketing e empresas de mídia. Essas empresas precisarão tanto de pessoal qualificado quanto do poder computacional necessário para executar um LLM maior.

Para quem não é?
Este LLM não é adequado para pequenas empresas ou indivíduos sem os recursos financeiros e técnicos para gerenciar os requisitos computacionais. 

Complexidade de uso
Como ele não se destina à implantação no estado em que se encontra, você precisará de conhecimento técnico para implantar e ajustar o GPT-NeoX-20B para suas tarefas e necessidades específicas.

Também desenvolvido pela EleutherAI, GPT-J-6b é um modelo transformador generativo pré-treinado projetado para produzir texto semelhante ao humano a partir de um prompt. É construído usando o modelo GPT-J e possui 6 bilhões de parâmetros treináveis (daí o nome).

Foi treinado em um conjunto de dados somente no idioma inglês, o que o torna inadequado para traduções ou geração de texto em idiomas diferentes do inglês.

Para quem é?
Por sua facilidade de uso e por ser relativamente pequeno, o GPT-J-6b é ideal para startups e empresas de médio porte que buscam um equilíbrio entre desempenho e consumo de recursos.

Para quem não é?
Este LLM pode não ser a melhor escolha para empresas que exigem desempenho e customização de modelos mais avançados. Também não é adequado para empresas que precisam de suporte multilíngue.

Complexidade de uso
O GPT-J-6b é um LLM moderadamente fácil de usar que se beneficia por ter uma comunidade atuante, tornando-o acessível para empresas com conhecimento técnico médio.

A resposta da Meta aos populares LLMs do Google e da OpenAI, Llama 2, é treinado em fontes de dados online disponíveis publicamente e foi projetado para criar experiências orientadas por IA. Pode ser ajustado para tarefas específicas e é completamente gratuito para uso em pesquisa e comercial.

Com base no trabalho da Meta no LLaMA, o Llama 2 vem em três tamanhos de modelo — 7 bilhões, 13 bilhões e 70 bilhões de parâmetros — o que faz dele uma opção dinâmica e escalável.

Para quem é?
Devido às opções de tamanho do modelo, o Llama 2 é uma ótima opção para pesquisadores e desenvolvedores educacionais que desejam aproveitar modelos de linguagem abrangentes. Ele pode até ser executado em computadores comuns, tornando-o uma boa opção para entusiastas.

Para quem não é indicado?
O Llama 2 não é adequado para aplicações de mais alto risco ou de nicho, pois não se destina a tarefas altamente especializadas. Além disso, há algumas preocupações quanto à confiabilidade dos resultados.

Complexidade de uso
É um LLM relativamente fácil de usar, com foco em aplicações educacionais, mas provavelmente exigirá customização para obter os melhores resultados.

BLOOM é um modelo de linguagem transformer somente decodificador que possui massivos 176 bilhões de parâmetros. Ele foi projetado para gerar texto a partir de um prompt e pode ser ajustado para executar tarefas específicas, como geração de texto, sumarização, embeddings, classificação e busca semântica.

Foi treinado em um conjunto de dados que inclui centenas de fontes em 46 idiomas diferentes, o que também faz dele uma ótima opção para tradução de idiomas e produção multilíngue.

Para quem é?
A BLOOM é ótima para grandes empresas que têm como alvo um público global que precisa de suporte multilíngue. Devido ao tamanho do modelo, as empresas também precisarão dispor de recursos amplos para executá-lo.

Para quem não é?
As empresas que operam exclusivamente em mercados de língua inglesa podem achar supérfluas suas capacidades multilíngues, especialmente com os recursos consideráveis necessários para customizar e treinar um modelo tão grande.

Complexidade de uso
Com a necessidade de compreender as nuances da linguagem e sua implantação em diferentes contextos linguísticos, o BLOOM tem uma complexidade moderada a alta.

Falcon é um LLM que olhou para o BLOOM e disse “Nhé, só 176 bilhões de parâmetros?”

OK, na verdade, eles não disseram isso, mas o modelo de linguagem open source deles vem em três tamanhos impressionantes — 7 bilhões, 40 bilhões e 180 bilhões.

Licenciado sob a Licença Apache 2.0, o Falcon é um LLM autorregressivo, projetado para gerar texto a partir de um prompt e baseado no conjunto de dados RefinedWeb de alta qualidade.

Para quem é?
Devido ao seu excelente desempenho e escalabilidade, o Falcon é ideal para empresas maiores interessadas em soluções multilíngues, como criação de websites e marketing, análise de investimentos e segurança cibernética.

Para quem não é?
Embora exista a opção de 7 bilhões, esta ainda não é a melhor escolha para empresas que buscam uma solução plug-and-play simples para geração de conteúdo. O custo de personalizar e treinar o modelo ainda seria muito alto para esse tipo de tarefa.

Complexidade de uso
Apesar do tamanho enorme do modelo mais completo, o Falcon é relativamente fácil de usar em comparação com outras LLMs. No entanto, ainda é necessário conhecer as nuances das suas tarefas específicas para obter o melhor desempenho.

Esse LLM da Salesforce é diferente de qualquer outro nesta lista porque, em vez de gerar saídas de texto ou conteúdo, ele gera código de computador. CodeGen é a abreviação de “geração de código” e é exatamente isso que ele faz. Ele foi treinado para produzir código com base no código existente ou em solicitações de linguagem natural.

Disponível em tamanhos de 7 bilhões, 13 bilhões e 34 bilhões de parâmetros, o CodeGen foi criado para oferecer uma abordagem simplificada para o desenvolvimento de software.

Para quem é?
O CodeGen é destinado a empresas de tecnologia e equipes de desenvolvimento de software que buscam automatizar tarefas de codificação e melhorar a produtividade do desenvolvedor.

Para quem não é?
Se sua empresa não escreve ou trabalha com código de computador, este LLM não é para você!

Complexidade de uso
A integração do CodeGen aos fluxos de trabalho de desenvolvimento existentes pode ser complexa e requer uma sólida experiência em engenharia de software.

Um dos primeiros LLMs modernos, BERT é uma arquitetura de transformador somente codificador criada pelo Google em 2018. Foi projetada para entender, gerar e manipular a linguagem humana.

O BERT tem sido usado pelo próprio Google para melhorar a compreensão das consultas na busca e também tem sido eficaz em outras tarefas como geração de texto, resposta a perguntas e análise de sentimentos.

Para quem é?
Considerando que é uma parte fundamental da própria busca do Google, o BERT é a melhor opção para especialistas em SEO e criadores de conteúdo que desejam otimizar websites e conteúdo para mecanismos de busca e melhorar a relevância do conteúdo.

Para quem não é?
Fora do SEO, o BERT provavelmente não será a melhor opção em muitas situações devido à sua idade, o que o torna redundante em comparação com alternativas maiores e mais recentes.

Complexidade de uso
O BERT é bastante simples para quem está familiarizado com SEO e otimização de conteúdo, mas pode exigir ajustes para acompanhar as mudanças nas recomendações de SEO mais recentes do Google.

O T5 (abreviação de Text-to-Text Transfer Transformer, um nome cativante) é uma arquitetura baseada em transformadores que utiliza uma abordagem de texto para texto. Ele converte problemas de PLN em um formato onde a entrada e a saída são sempre strings de texto, o que permite que o T5 seja utilizado em diversas tarefas, como tradução, resposta a perguntas e classificação. Está disponível em cinco tamanhos diferentes, que variam de 60 milhões a 11 bilhões de parâmetros.

Para quem é?
O T5 é ótimo para empresas que precisam de uma ferramenta versátil para diversas tarefas de processamento de texto para texto, como sumarização, tradução e classificação.

Para quem não é?
Apesar da relativa flexibilidade do T5, ele não é adequado para tarefas que exigem qualquer tipo de saída que não seja texto. 

Complexidade de uso
O T5 é geralmente considerado fácil de usar em comparação com outros modelos de machine learning, com uma variedade de modelos pré-treinados disponíveis. Mas ainda pode exigir alguma experiência para se adaptar a tarefas mais específicas ou de nicho.

O Mixtral 8x7B representa o que há de mais moderno em modelos de mistura de especialistas esparsos. Com pesos abertos e licença Apache 2.0, o Mixtral é revolucionário, superando outros modelos em velocidade e eficiência (sim, estou falando de você, Llama 2 e GPT-3.5). Ele é particularmente eficiente no processamento de diversas linguagens e se destaca na geração de código e no seguimento de instruções.

Para quem é?
Voltado para desenvolvedores e organizações interessadas em aproveitar tecnologia de IA de ponta para tarefas diversas e complexas, o Mixtral promete ser um ativo valioso para quem deseja inovar.

Para quem não é indicado?
Se você é novo no cenário de Machine Learning ou se seu poder de processamento é limitado, o Mixtral pode ser um pouco desafiador.

Complexidade de uso
Utilizar o Mixtral exige dedicação, mas a recompensa é substancial. Sua arquitetura e escala únicas requerem alguma familiaridade com conceitos de PLN e talvez alguma configuração adicional. Esta jornada não é para iniciantes. No entanto, a robusta comunidade da Hugging Face e a extensa documentação oferecem recursos valiosos para ajudar você a começar. Lembre-se, dominar essa ferramenta complexa exige esforço, mas o potencial para desbloquear recursos avançados de PLN compensa o desafio.

Aviso: Todos os parâmetros e tamanhos dos modelos estão corretos no momento da publicação, mas podem ter sido alterados desde então.

Existem vários critérios importantes que você precisa considerar ao decidir qual LLM open source usar:

• Custo: como esses grandes modelos de linguagem (LLMs) são de open source, você não precisa pagar pelos modelos em si. Mas precisa considerar os custos de hospedagem, treinamento, recursos, etc. Quanto maior e mais complexo for um LLM, maior será o custo. Isso ocorre porque um LLM maior exigirá mais armazenamento de dados, poder de processamento, uma infraestrutura maior e custos de manutenção.

• Precisão: avaliar a precisão das suas opções é essencial. Você precisa comparar a precisão com que diferentes LLMs conseguem executar os tipos de tarefas que você precisa. Por exemplo, alguns modelos serão específicos para um domínio, enquanto outros podem ser aprimorados com ajuste fino ou Retrieval-Augmented Generation (RAG).

• Desempenho: o desempenho de um LLM é medido por aspectos como fluência linguística, coerência e compreensão do contexto. Quanto melhor o LLM for nesses quesitos, melhor será seu desempenho. Isso aprimorará a experiência do usuário e a eficácia da tarefa, proporcionando uma vantagem competitiva. 

• Segurança de dados: a segurança dos seus dados é outra consideração fundamental. Isso é especialmente importante se você estiver lidando com dados sensíveis ou informações pessoais identificáveis (PII). Esta é outra área em que um RAG pode ser útil, pois permite controlar o acesso aos dados usando segurança em nível do documento e restringir as permissões de segurança a dados específicos.

• Específico para tarefas versus de propósito geral: considere se você precisa de um LLM que resolva casos de uso mais específicos ou um que abranja um espectro mais amplo de tarefas. Como alguns modelos são específicos de domínio, você precisa ter cuidado ao selecionar um dentro do seu domínio ou encontrar um com um escopo mais abrangente. 

• Qualidade dos dados de treinamento: se a qualidade dos dados não for boa, os resultados também não serão. Avalie os dados que cada LLM usa e escolha um em que você tenha confiança. O RAG também o ajudará com isso, pois você pode usar dados personalizados, que podem ser preparados e ajustados para melhorar diretamente a qualidade da saída.

• Conjunto de habilidades: outro fator importante a ser considerado é o conjunto de habilidades que sua equipe de projeto já possui. Experiência em áreas como ciência de dados, MLOps e PLN é essencial. Quanto mais complexo o LLM, mais aprofundado será o conjunto de habilidades que sua equipe precisará ter. Se você tiver mais limitações nesse aspecto, vale a pena se concentrar em LLMs mais simples ou até mesmo buscar a contratação de especialistas.

Usando esses critérios, você poderá decidir qual dos LLMs que abordamos é o mais adequado para suas circunstâncias específicas.

A melhor abordagem é reservar um tempo, analisar as opções listadas e avaliá-las com base em como elas podem ajudar você a resolver seus problemas. Todos esses LLMs open source são extremamente poderosos e podem ser transformadores se utilizados de forma eficaz.

Quando você estiver pronto . . . Aqui estão quatro maneiras de ajudarmos você a trazer dados para o seu negócio:

1. Inicie uma avaliação gratuita e veja como a Elastic pode ajudar sua empresa.
2. Conheça nossas soluções e veja como a Elasticsearch Platform funciona e como nossas solutions atendem às suas necessidades.
3. Aprenda a configurar seu cluster do Elasticsearch e comece a coleta e a ingestão de dados com nosso webinar de 45 minutos.
4. Compartilhe este artigo via email, LinkedIn, Twitter ou Facebook com algum colega que se interesse pelo assunto.