Die Aufgabenstellung für das LLM ist nun fertig, jetzt muss sie nur noch abgeschickt werden, um eine Antwort zu erhalten. Um eine Verbindung zu LLMs herzustellen, nutzt die Anwendung die Streaming-Unterstützung von Langchain, die hervorragend zum in dieser Anwendung verwendeten Event-Streaming passt:
Die Funktion get_llm() ist in api/llm_integrations.py definiert. Seine Aufgabe ist es, die korrekte LLM-Integration von Langchain gemäß der Konfiguration zurückzugeben. Sofern Sie OpenAI konfiguriert haben, wird das zurückgegebene LLM eine Instanz der Klasse ChatOpenAI aus Langchain sein.
Vorher
LLM-PromptNächste
Chatverlauf