Fase de geração

O formulário para o LLM já está pronto, então basta enviá-lo e receber uma resposta. Para se conectar aos LLMs, o aplicativo utiliza o suporte de streaming do Langchain, que se integra perfeitamente ao streaming de eventos usado neste aplicativo:

answer = ''
for chunk in get_llm().stream(qa_prompt):
    yield f'data: {chunk.content}\n\n'
    answer += chunk.content

A função get_llm() está definida em api/llm_integrations.py. Sua finalidade é retornar a integração LLM correta do Langchain de acordo com a configuração. Supondo que você tenha configurado o OpenAI, o LLM retornado será uma instância da classe ChatOpenAI do Langchain.