이제 LLM을 위한 프롬프트가 준비되었으므로 이제 남은 것은 이를 전송하고 응답을 받는 것입니다. LLM에 연결하기 위해 애플리케이션은 이 애플리케이션에서 사용되는 이벤트 스트리밍과 잘 어울리는 Langchain의 스트리밍 지원을 사용합니다:
get_llm() 함수는 api/llm_integrations.py에 정의되어 있습니다. 그 목적은 구성에 따라 Langchain에서 올바른 LLM 통합을 반환하는 것입니다. OpenAI를 구성했다고 가정하면, 반환되는 LLM은 Langchain의 ChatOpenAI 클래스 인스턴스가 될 것입니다.