Fase de generación

El prompt para el LLM ya está listo, así que solo queda enviarlo y recibir una respuesta. Para conectarse a LLMs, la aplicación emplea el soporte de streaming de Langchain, que encaja muy bien con el streaming de eventos empleado en esta aplicación:

answer = ''
for chunk in get_llm().stream(qa_prompt):
    yield f'data: {chunk.content}\n\n'
    answer += chunk.content

La función get_llm() se define en API/llm_integrations.py. Su propósito es devolver la integración correcta del LLM desde Langchain según la configuración. Suponiendo que configuraste OpenAI, el LLM que devuelves será una instancia de la clase ChatOpenAI de Langchain.