El prompt para el LLM ya está listo, así que solo queda enviarlo y recibir una respuesta. Para conectarse a LLMs, la aplicación emplea el soporte de streaming de Langchain, que encaja muy bien con el streaming de eventos empleado en esta aplicación:
La función get_llm() se define en API/llm_integrations.py. Su propósito es devolver la integración correcta del LLM desde Langchain según la configuración. Suponiendo que configuraste OpenAI, el LLM que devuelves será una instancia de la clase ChatOpenAI de Langchain.
Previamente
LLM PromptPróximo
Historial de chat