Phase de génération

L'appel à candidature pour le LLM est maintenant prêt, il ne reste plus qu'à l'envoyer et à recevoir une réponse. Pour se connecter aux LLM, l'application utilise le support de streaming de Langchain, qui correspond bien au streaming d'événements utilisé dans cette application :

La fonction get_llm() est définie dans api/llm_integrations.py. Son but est de renvoyer l'intégration LLM correcte de Langchain en fonction de la configuration. En supposant que vous ayez configuré OpenAI, le LLM renvoyé sera une instance de la classe ChatOpenAI de Langchain.