O que são grandes modelos de linguagem (LLMs)?

Essencialmente, o grande modelo de linguagem (LLM) é um modelo treinado com algoritmos de aprendizado profundo e capaz de realizar uma ampla gama de tarefas de processamento de linguagem natural (PLN), como análise de sentimento, resposta a perguntas conversacionais, tradução de texto, classificação e geração. LLM é um tipo de rede neural (NN) que usa especificamente arquiteturas de transformador, modelos projetados para detectar dependências entre diferentes partes de uma sequência de dados, independentemente da distância entre elas. Essas redes neurais são compostas por camadas de unidades de processamento, frequentemente comparadas aos neurônios do cérebro. Grandes modelos de linguagem também têm um grande número de parâmetros, semelhantes às memórias que o modelo coleta à medida que aprende com o treinamento. Pense nesses parâmetros como o banco de conhecimento do modelo.

Essa capacidade de processamento permite que os LLMs sejam treinados para tarefas como escrever código de software, geração de linguagem e outros; já modelos especializados lidam com tarefas como entender a estrutura de proteínas.¹ Modelos de linguagem grandes devem ser pré-treinados e depois ajustados para resolver problemas na classificação de texto, resposta a perguntas, resumo de documentos, geração de texto e outras tarefas. As funcionalidades deles na resolução de problemas podem ser aplicadas a áreas como saúde, finanças e entretenimento, onde os LLMs atendem a uma variedade de aplicações de PLN, como tradução, chatbots e assistentes de IA.

Assista a este vídeo e mergulhe mais nos LLMs.

Fundamentalmente, um grande modelo de linguagem funciona recebendo uma entrada, codificando-a e depois decodificando-a para produzir uma previsão de saída, como a próxima palavra, frase ou uma resposta específica. Como todos os modelos de machine learning, um grande modelo de linguagem precisa de treinamento e ajuste fino antes de estar pronto para gerar a saída dos resultados esperados e necessários. Eis como o processo é refinado:

• Treinamento: grandes modelos de linguagem são pré-treinados usando grandes conjuntos de dados textuais de sites como Wikipedia e GitHub. Esses conjuntos de dados consistem em trilhões de palavras, e a qualidade está definida para afetar o desempenho do modelo de linguagem. Nesta fase, o grande modelo de linguagem entra em aprendizagem não supervisionada, ou seja, ele processa os conjuntos de dados que lhe são fornecidos sem instruções específicas. Durante esse processo, o algoritmo aprende a reconhecer as relações estatísticas entre as palavras e o contexto. Por exemplo, ele aprende se “direito” significa “correto” ou o oposto de “esquerdo”.
• Ajuste fino: para que um grande modelo de linguagem execute uma tarefa específica, como tradução, ele deve ser ajustado para essa atividade específica. O ajuste fino ajusta os parâmetros do modelo para otimizar o desempenho em tarefas específicas, treinando-o com mais dados rotulados.
• O ajuste das instruções cumpre uma função semelhante ao ajuste fino, treinando um modelo para realizar uma operação com instruções com poucos ou nenhum exemplo. As instruções com poucos exemplos dá ao modelo exemplos para orientá-lo na previsão de saídas, tais como:

Nesse caso, o modelo entende o significado de "horrível" porque foi dado um exemplo oposto ("linda").

As instruções sem exemplos, no entanto, não usa exemplos. Em vez disso, ele pede diretamente ao modelo que execute uma tarefa, como:

“O sentimento em 'Que planta horrível' é...”

Os grandes modelos de linguagem são compostos de múltiplas camadas de redes neurais. As camadas de incorporação, atenção e avanço direto trabalham juntas para processar o texto de entrada e gerar o conteúdo de saída.

• A camada de incorporação cria incorporações vetoriais a partir do texto de entrada, ou representações matemáticas das palavras que são alimentadas. Esta parte do modelo captura o significado semântico e sintático da entrada para que o modelo possa entender contextualmente as palavras e suas relações.
• O mecanismo de atenção permite que o modelo se concentre em todas as partes do texto de entrada com base na relevância para a tarefa atual, permitindo que ele capture dependências de longo alcance.
• A camada de avanço direto é composta por várias camadas totalmente conectadas que aplicam transformações não lineares aos dados. Eles processam as informações depois que são codificados pelo mecanismo de atenção.

Existem três tipos principais de grandes modelos de linguagem:

• Os modelos de linguagem genéricos ou brutos preveem a próxima palavra com base na linguagem dos dados de treinamento. Esses modelos de linguagem executam tarefas de recuperação de informações.
• Os modelos de linguagem ajustados por instrução são treinados para prever respostas às instruções fornecidas na entrada. Isso permite que eles realizem análise de sentimentos ou gerem texto ou código.
• Os modelos de linguagem ajustados por diálogo são treinados para dialogar prevendo a próxima resposta. Os chatbots e a IA conversacional são exemplos de aplicação desses modelos.

A IA generativa é um termo abrangente para modelos de inteligência artificial que podem criar conteúdo. Esses modelos podem gerar texto, código, imagens, vídeo e música. Eles também podem se especializar em diferentes tipos de conteúdo, como geração de texto (por exemplo, ChatGPT) ou criação de imagens (por exemplo, DALL-E, MidJourney).

Os grandes modelos de linguagem são um tipo de IA generativa que são especificamente treinados em grandes conjuntos de dados textuais e são projetados para produzir conteúdo textual, como no caso do ChatGPT.

Todos os LLMs são IA generativa, mas nem todos os modelos de IA generativa são LLMs. Por exemplo, DALL-E e MidJourney geram imagens, não texto.

Modelo transformador é a arquitetura mais comum de um grande modelo de linguagem. Normalmente, consiste em um codificador e um decodificador, embora alguns modelos, como o GPT, usem apenas o decodificador. Um modelo transformador processa dados tokenizando a entrada e, em seguida, conduz simultaneamente equações matemáticas para descobrir relações entre os tokens. Isso permite que o computador veja os padrões que um ser humano veria se recebesse a mesma consulta.

Os modelos transformadores funcionam com mecanismos de autoatenção, o que permite que os modelos aprendam mais rapidamente do que os modelos tradicionais, como os modelos de memória de curto e longo prazo. A autoatenção é o que permite que os modelos transformadores capturem melhor as relações entre as palavras, mesmo aquelas que estão bem separadas numa frase, melhor do que os modelos mais antigos, principalmente porque permite o processamento paralelo de informações.

Relacionado: Aplique transformadores às suas aplicações de busca

Os grandes modelos de linguagem podem ser usados para diversos fins:

• Recuperação de informações: pense no Bing ou no Google. Os LLMs podem ser integrados aos mecanismos de busca para melhorar as respostas às consultas. Enquanto os mecanismos de busca tradicionais dependem principalmente de algoritmos de indexação, os LLMs aprimoram a capacidade de gerar respostas mais conversacionais ou sensíveis ao contexto com base em uma consulta.
• Análise de sentimentos: como aplicações de processamento de linguagem natural, os grandes modelos de linguagem permitem que as empresas analisem o sentimento de dados textuais.
• Geração de texto: grandes modelos de linguagem como o ChatGPT estão por trás dos sistemas de IA generativa e podem gerar texto coerente e contextualmente relevante com base nas instruções dadas. Por exemplo, você pode solicitar a um LLM com "Escreva um poema sobre palmeiras no estilo Emily Dickinson."
• Geração de código: assim como a geração de texto, os LLMs podem gerar código como uma aplicação da IA generativa. Os LLMs podem gerar código sintaticamente e logicamente correto com base dadas instruções dadas, aprendendo a partir de vastas quantidades de código de programação em várias linguagens.
• Chatbots e IA conversacional: grandes modelos de linguagem melhoram chatbots de atendimento ao cliente e IA conversacional. Eles ajudam a interpretar as consultas dos clientes, entender a intenção e gerar respostas que simulam uma conversa humana.

Relacionado: como criar um chatbot: dicas e armadilhas para desenvolvedores

Além desses casos de uso, os grandes modelos de linguagem podem completar frases, responder a perguntas e resumir textos.

Com uma variedade tão ampla de aplicações, os LLMs podem ser encontrados em uma infinidade de campos:

• Tecnologia: os grandes modelos de linguagem são usados em várias aplicações, como aprimorar as respostas de consulta de mecanismos de busca e ajudar desenvolvedores a escrever código.
• Saúde e ciência: grandes modelos de linguagem podem analisar dados textuais relacionados a proteínas, moléculas, DNA e RNA, auxiliando na pesquisa, no desenvolvimento de vacinas, na identificação de possíveis curas para doenças e na melhoria de medicamentos preventivos. Os LLMs também são usados como chatbots médicos para admissão de pacientes ou diagnosticar básicos, embora normalmente exijam supervisão humana.
• Atendimento ao cliente: os LLMs são usados em todos os setores para fins de atendimento ao cliente, como chatbots ou IA de conversação.
• Marketing: As equipes de marketing podem usar LLMs para análise de sentimentos, geração de conteúdo e brainstorming de ideias de campanhas, ajudando a gerar texto para propostas, anúncios e outros materiais.
• Legal: desde a busca em gigantescos conjuntos de dados jurídicos até a redação de documentos jurídicos, os grandes modelos de linguagem podem ajudar advogados, paralegais e pessoal jurídico.
• Bancário: os LLMs podem analisar transações financeiras e comunicações com clientes para detectar possíveis fraudes, muitas vezes como parte de sistemas mais amplos de detecção de fraudes.

Comece a usar a IA generativa em empresas. Assista a este webinar e explore os desafios e oportunidades da IA generativa no seu ambiente corporativo.

Os grandes modelos de linguagem podem nos dar a impressão de que entendem o significado e podem responder com precisão. No entanto, eles continuam a ser uma ferramenta que se beneficia da supervisão humana e enfrenta vários desafios.

• Alucinações: uma alucinação ocorre quando um LLM produz uma saída falsa ou que não corresponde à intenção do usuário. Por exemplo, alegar que é humano, que tem emoções ou que está apaixonado pelo usuário. Como grandes modelos de linguagem preveem a palavra ou frase seguinte sintaticamente correta, mas não interpretam totalmente o significado humano, o resultado às vezes pode ser o que é chamado de "alucinação".
• Segurança: grandes modelos de linguagem apresentam grandes riscos à segurança quando não são gerenciados nem monitorados adequadamente. Eles podem, sem querer, vazar informações privadas dos dados de treinamento ou durante as interações e ser explorados para fins maliciosos, como phishing ou geração de spam. Usuários com más intenções também podem usar LLMs para propagar ideologias tendenciosas, desinformação ou conteúdo prejudicial.
• Viés: os dados usados para treinar modelos de linguagem afetam os resultados produzidos por um determinado modelo. Se os dados de treinamento não tiverem diversidade ou forem distorcidos para um grupo demográfico específico, o modelo pode reproduzir esses vieses, resultando em saídas que refletem uma perspectiva tendenciosa — e provavelmente estreita. O conjunto de dados de treinamento diversificado e representativo é fundamental para reduzir o viés nas saídas do modelo.
• Consentimento: grandes modelos de linguagem são treinados em grandes conjuntos de dados, alguns dos quais podem ter sido coletados sem consentimento explícito ou adesão a acordos de direitos autorais. Isso pode resultar em violações de direitos de propriedade intelectual, onde o conteúdo é reproduzido sem a devida atribuição ou permissão. Além disso, esses modelos podem raspar dados pessoais, o que levanta preocupações com a privacidade.² Houve casos em que os LLMs enfrentaram desafios legais, como ações judiciais movidas por empresas como a Getty Images³ por violação de direitos autorais.
• Redimensionamento: o redimensionamento de LLMs pode ser muito intensivo em recursos, exigindo significativa capacidade computacional. Manter esses modelos envolve atualizações, otimizações e monitoramento contínuos, sendo um processo demorado e caro. A infraestrutura necessária para esses modelos também é substancial.
• Implantação: implantar grandes modelos de linguagem requer expertise em aprendizado profundo e arquiteturas de transformadores, juntamente com hardware especializado e sistemas de software distribuídos.

Com uma ampla gama de aplicações, os grandes modelos de linguagem são excepcionalmente benéficos para a solução de problemas, pois fornecem informações em um estilo claro e coloquial, de fácil compreensão para os usuários.

• Eles têm uma ampla gama de aplicações: eles podem ser usados para tradução de idiomas, conclusão de frases, análise de sentimentos, resposta a perguntas, equações matemáticas e muito mais.
• Sempre melhorando: o desempenho do modelo de linguagem grande vem melhorando à medida que dados e parâmetros adicionais são integrados. Essa melhoria também depende de fatores como a arquitetura do modelo e a qualidade dos dados de treinamento adicionados. Em outras palavras, quanto mais um modelo aprende, melhor ele fica. Além disso, grandes modelos de linguagem podem mostrar o chamado "aprendizado contextual", em que o modelo pode realizar tarefas com base nos exemplos fornecidos nas instruções, sem precisar de mais treinamento e parâmetros. Isso permite que o modelo se generalize e se adapte a várias tarefas a partir de apenas alguns exemplos (few-shot learning) ou mesmo sem exemplos anteriores (zero-shot learning). Dessa forma, ele aprende continuamente.
• Eles aprendem rápido: com o aprendizado contextual, os LLMs conseguem se adaptar a novas tarefas com poucos exemplos. Embora não precisem de mais treinamento nem parâmetros, eles podem responder rapidamente ao contexto da solicitação, tornando-os eficientes em casos em que poucos exemplos são dados.

Os grandes modelos de linguagem se popularizaram e conquistaram o mundo. Muitos foram adotados por pessoas de todos os setores. Você sem dúvida já ouviu falar do ChatGPT, uma forma de chatbot de IA generativa.

Podemos citar também estes modelos populares de LLM:

• PaLM: o Pathways Language Model (PaLM) do Google é um modelo de linguagem transformador capaz de raciocínio de bom senso e aritmético, explicação de piadas, geração de código e tradução.
• BERT: o modelo de linguagem Bidirecional Encoder Representations from Transformers (BERT) também foi desenvolvido no Google. É um modelo baseado em transformador que pode compreender a linguagem natural e responder a perguntas.
• XLNet: modelo de linguagem de permutação, o XLNet treina em todas as permutações possíveis de tokens de entrada, mas gera previsões de maneira padrão, da esquerda para a direita, durante a inferência.
• GPT: os transformadores generativos pré-treinados são talvez os grandes modelos de linguagem mais conhecidos. Desenvolvido pela OpenAI, o GPT é um modelo fundamental popular cujas iterações numeradas são melhorias em relação aos seus antecessores (GPT-3, GPT-4 etc.). Os modelos GPT podem ser ajustados para tarefas específicas. Separadamente, outras organizações desenvolveram modelos específicos para cada domínio, inspirados em LLMs básicos, como o EinsteinGPT da Salesforce para aplicações de CRM e o BloombergGPT para dados financeiros.

Relacionado: Guia de primeiros passos para LLMs de código aberto

A chegada do ChatGPT trouxe à tona os grandes modelos de linguagem e ativou especulações e debates acalorados sobre como será o futuro.

À medida que os grandes modelos de linguagem continuam a crescer e a melhorar seu domínio da linguagem natural, há muita preocupação sobre o que seu avanço traria ao mercado de trabalho.

Nas mãos certas, os grandes modelos de linguagem podem aumentar a produtividade e a eficiência dos processos, mas isso levantou questões éticas sobre seu uso na sociedade humana.

Para lidar com as limitações atuais dos LLMs, o Elasticsearch Relevance Engine (ESRE) é um mecanismo de relevância criado para aplicações de busca baseadas em inteligência artificial. Com o ESRE, os desenvolvedores podem criar sua própria aplicação de busca semântica, utilizar seus próprios modelos transformadores e combinar PLN e IA generativa para aprimorar a experiência de busca dos clientes.

Aumente sua relevância com o Elasticsearch Relevance Engine

• Observabilidade do LLM
• Ferramentas e recursos de IA generativa da Elastic
• Como escolher um banco de dados vetorial
• Como criar um chatbot: o que fazer e o que não fazer para desenvolvedores
• Escolhendo um LLM: o guia de primeiros passos para LLMs open source
• Language models in Elasticsearch (Modelos de linguagem no Elasticsearch)
• Tendências técnicas em 2025: adotando a era da escolha para colocar o GenAI em produção
• Overview of Natural language processing (NLP) in the Elastic Stack (Visão geral do processamento de linguagem natural (PLN) no Elastic Stack)
• Compatible third-party models with the Elastic Stack (Modelos de terceiros compatíveis com o Elastic Stack)
• Guide to trained models in the Elastic Stack (Guia para modelos treinados no Elastic Stack)
• A avaliação da segurança dos LLMs

1. Sarumi, Oluwafemi A. e Dominik Heider. "Large Language Models and Their Applications in Bioinformatics." Computational and Structural Biotechnology Journal, vol. 23 de abril de 2024, pp. 3498–3505.
   https://www.csbj.org/article/S2001-0370(24)00320-9/fulltext.
2. Sheng, Ellen. "In generative AI legal Wild West, the courtroom battles are just getting started," CNBC, 3 de abril de 2023, https://www.cnbc.com/2023/04/03/in-generative-ai-legal-wild-west-lawsuits-are-just-getting-started.html (Acessado em 29 de junho de 2023).
3. Declaração da Getty Images, Getty Images, 17 de janeiro de 2023 https://newsroom.gettyimages.com/en/getty-images/getty-images-statement (Acessado em 29 de junho de 2023).