Fase de geração

O formulário para o LLM já está pronto, então basta enviá-lo e receber uma resposta. Para se conectar aos LLMs, o aplicativo utiliza o suporte de streaming do Langchain, que se integra perfeitamente ao streaming de eventos usado neste aplicativo:

A função get_llm() está definida em api/llm_integrations.py. Sua finalidade é retornar a integração LLM correta do Langchain de acordo com a configuração. Supondo que você tenha configurado o OpenAI, o LLM retornado será uma instância da classe ChatOpenAI do Langchain.