生成阶段

现在，法律硕士的提示已准备就绪，剩下的就是发送并收到回复了。为了连接到 LLM，该应用程序使用了 Langchain 的流支持，这与本应用程序中使用的事件流非常契合：

answer = ''
for chunk in get_llm().stream(qa_prompt):
    yield f'data: {chunk.content}\n\n'
    answer += chunk.content

get_llm() 函数定义在api/llm_integrations.py 中。其目的是根据配置从 Langchain 返回正确的 LLM 集成。假设您配置了 OpenAI，返回的 LLM 将是来自 Langchain 的ChatOpenAI 类的实例。