David Pilato - Elasticsearch Labs

LangChain4j mit Elasticsearch als Einbettungsspeicher

David Pilato — Tue, 08 Oct 2024 00:00:00 GMT

Im vorherigen Beitrag haben wir herausgefunden, was LangChain4j ist und wie es funktioniert:

Führen Sie eine Diskussion mit LLMs, indem Sie ein ChatLanguageModel und ein ChatMemory
Die Chat-Historie wird im Speicher gehalten, um den Kontext einer früheren Diskussion mit einem LLM wieder abrufen zu können.

Dieser Blogbeitrag erklärt, wie man:

Vektor-Einbettungen aus Textbeispielen erstellen
Vektoreinbettungen im Elasticsearch-Einbettungsspeicher speichern
Suche nach ähnlichen Vektoren

Einbettungen erstellen

Um Einbettungen zu erstellen, müssen wir ein EmbeddingModel definieren, das verwendet werden soll. Wir können beispielsweise dasselbe Mistral-Modell verwenden, das wir im vorherigen Beitrag verwendet haben. Es lief mit ollama:

EmbeddingModel model = OllamaEmbeddingModel.builder() .baseUrl(ollama.getEndpoint()) .modelName(MODEL_NAME) .build();

Ein Modell ist in der Lage, aus Text Vektoren zu generieren. Hier können wir die Anzahl der vom Modell generierten Dimensionen überprüfen:

Logger.info("Embedding model has {} dimensions.", model.dimension()); // This gives: Embedding model has 4096 dimensions.

Um Vektoren aus einem Text zu generieren, können wir Folgendes verwenden:

Response response = model.embed("A text here");

Oder wenn wir auch Metadaten bereitstellen möchten, um nach Dingen wie Text, Preis, Veröffentlichungsdatum oder Ähnlichem filtern zu können, können wir Metadata.from() verwenden. Zum Beispiel fügen wir hier den Spielnamen als Metadatenfeld hinzu:

TextSegment game1 = TextSegment.from(""" The game starts off with the main character Guybrush Threepwood stating "I want to be a pirate!" To do so, he must prove himself to three old pirate captains. During the perilous pirate trials, he meets the beautiful governor Elaine Marley, with whom he falls in love, unaware that the ghost pirate LeChuck also has his eyes on her. When Elaine is kidnapped, Guybrush procures crew and ship to track LeChuck down, defeat him and rescue his love. """, Metadata.from("gameName", "The Secret of Monkey Island")); Response response1 = model.embed(game1); TextSegment game2 = TextSegment.from(""" Out Run is a pseudo-3D driving video game in which the player controls a Ferrari Testarossa convertible from a third-person rear perspective. The camera is placed near the ground, simulating a Ferrari driver's position and limiting the player's view into the distance. The road curves, crests, and dips, which increases the challenge by obscuring upcoming obstacles such as traffic that the player must avoid. The object of the game is to reach the finish line against a timer. The game world is divided into multiple stages that each end in a checkpoint, and reaching the end of a stage provides more time. Near the end of each stage, the track forks to give the player a choice of routes leading to five final destinations. The destinations represent different difficulty levels and each conclude with their own ending scene, among them the Ferrari breaking down or being presented a trophy. """, Metadata.from("gameName", "Out Run")); Response response2 = model.embed(game2);

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step5EmbedddingsTest.java an.

Elasticsearch hinzufügen, um unsere Vektoren zu speichern

LangChain4j bietet einen In-Memory-Embedding-Speicher. Dies ist nützlich, um einfache Tests durchzuführen:

EmbeddingStore embeddingStore = new InMemoryEmbeddingStore<>(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

Bei deutlich größeren Datensätzen funktioniert das natürlich nicht, da dieser Datenspeicher alles im Arbeitsspeicher ablegt und wir auf unseren Servern nicht über unbegrenzten Speicherplatz verfügen. Wir könnten unsere Einbettungen also stattdessen in Elasticsearch speichern, das per Definition "elastisch" ist und mit Ihren Daten skalieren kann. Dazu fügen wir Elasticsearch zu unserem Projekt hinzu:

dev.langchain4j langchain4j-elasticsearch ${langchain4j.version} org.testcontainers elasticsearch 1.20.1 test

Wie Sie bemerkt haben, haben wir dem Projekt auch das Elasticsearch TestContainers-Modul hinzugefügt, sodass wir eine Elasticsearch-Instanz aus unseren Tests heraus starten können:

// Create the elasticsearch container ElasticsearchContainer container = new ElasticsearchContainer("docker.elastic.co/elasticsearch/elasticsearch:8.15.0") .withPassword("changeme"); // Start the container. This step might take some time... container.start(); // As we don't want to make our TestContainers code more complex than // needed, we will use login / password for authentication. // But note that you can also use API keys which is preferred. final CredentialsProvider credentialsProvider = new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("elastic", "changeme")); // Create a low level Rest client which connects to the elasticsearch container. client = RestClient.builder(HttpHost.create("https://" + container.getHttpHostAddress())) .setHttpClientConfigCallback(httpClientBuilder -> { httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider); httpClientBuilder.setSSLContext(container.createSslContextFromCa()); return httpClientBuilder; }) .build(); // Check the cluster is running client.performRequest(new Request("GET", "/"));

Um Elasticsearch als Einbettungsspeicher zu verwenden, müssen Sie „nur“ vom LangChain4j-In-Memory-Datenspeicher zum Elasticsearch-Datenspeicher wechseln:

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .restClient(client) .build(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

Dadurch werden Ihre Vektoren in Elasticsearch in einem default -Index gespeichert. Sie können den Indexnamen auch in einen aussagekräftigeren Namen ändern:

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .indexName("games") .restClient(client) .build(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step6ElasticsearchEmbedddingsTest.java an.

Suche nach ähnlichen Vektoren

Um nach ähnlichen Vektoren zu suchen, müssen wir zunächst unsere Frage mithilfe des gleichen Modells, das wir zuvor verwendet haben, in eine Vektordarstellung umwandeln. Das haben wir schon gemacht, also ist es nicht schwer, das noch einmal zu tun. Beachten Sie, dass wir in diesem Fall die Metadaten nicht benötigen:

String question = "I want to pilot a car"; Embedding questionAsVector = model.embed(question).content();

Wir können mit dieser Repräsentation unserer Frage eine Suchanfrage erstellen und den Embedding-Speicher bitten, die ersten Top-Vektoren zu finden:

EmbeddingSearchResult result = embeddingStore.search( EmbeddingSearchRequest.builder() .queryEmbedding(questionAsVector) .build());

Wir können die Ergebnisse nun durchlaufen und einige Informationen ausgeben, wie zum Beispiel den Spielnamen, der aus den Metadaten stammt, und die Punktzahl:

result.matches().forEach(m -> Logger.info("{} - score [{}]", m.embedded().metadata().getString("gameName"), m.score()));

Wie zu erwarten, ist „Out Run“ der erste Treffer:

Out Run - score [0.86672974] The Secret of Monkey Island - score [0.85569763]

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step7SearchForVectorsTest.java an.

Hinter den Kulissen

Die Standardkonfiguration für den Elasticsearch Embedding Store verwendet im Hintergrund die approximative kNN-Abfrage .

POST games/_search { "query" : { "knn": { "field": "vector", "query_vector": [-0.019137882, /* ... */, -0.0148779955] } } }

Dies könnte jedoch geändert werden, indem dem Embedding-Speicher eine andere Konfiguration (ElasticsearchConfigurationScript) als die Standardkonfiguration (ElasticsearchConfigurationKnn) bereitgestellt wird:

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .configuration(ElasticsearchConfigurationScript.builder().build()) .indexName("games") .restClient(client) .build();

Die ElasticsearchConfigurationScript -Implementierung führt im Hintergrund eine script_score -Abfrage mit einer cosineSimilarity -Funktion aus.

Grundsätzlich gilt beim Aufruf:

EmbeddingSearchResult result = embeddingStore.search( EmbeddingSearchRequest.builder() .queryEmbedding(questionAsVector) .build());

Dies nennt man nun:

POST games/_search { "query": { "script_score": { "script": { "source": "(cosineSimilarity(params.query_vector, 'vector') + 1.0) / 2", "params": { "queryVector": [-0.019137882, /* ... */, -0.0148779955] } } } } }

In diesem Fall ändert sich das Ergebnis hinsichtlich der "Ordnung" nicht, sondern nur die Punktzahl wird angepasst, da der cosineSimilarity -Aufruf keine Näherung verwendet, sondern den Kosinus für jeden der übereinstimmenden Vektoren berechnet:

Out Run - score [0.871952] The Secret of Monkey Island - score [0.86380446]

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step7SearchForVectorsTest.java an.

Fazit

Wir haben behandelt, wie einfach Sie Einbettungen aus Ihrem Text generieren können und wie Sie die nächsten Nachbarn in Elasticsearch speichern und suchen können, und zwar mit zwei verschiedenen Ansätzen:

Verwendung der approximativen und schnellen knn -Abfrage mit der Standardoption ElasticsearchConfigurationKnn
Verwendung der exakten, aber langsameren script_score -Abfrage mit der ElasticsearchConfigurationScript -Option

Im nächsten Schritt geht es darum, eine vollständige RAG-Anwendung zu entwickeln, basierend auf dem, was wir hier gelernt haben.

Wir stellen LangChain4j vor, um die LLM-Integration in Java-Anwendungen zu vereinfachen.

David Pilato — Mon, 23 Sep 2024 00:00:00 GMT

Das LangChain4j-Framework wurde 2023 mit folgendem Ziel entwickelt:

Das Ziel von LangChain4j ist es, die Integration von LLMs in Java-Anwendungen zu vereinfachen.

LangChain4j bietet eine standardisierte Methode, um:

Einbettungen (Vektoren) aus einem gegebenen Inhalt erstellen, beispielsweise aus einem Text
Einbettungen in einem Einbettungsspeicher speichern
Suche nach ähnlichen Vektoren im Einbettungsspeicher
mit LLMs sprechen
Nutzen Sie die Chat-Speicherfunktion, um sich an den Kontext einer Diskussion mit einem LLM zu erinnern.

Diese Liste ist nicht vollständig, und die LangChain4j-Community implementiert ständig neue Funktionen.

Dieser Beitrag behandelt die ersten Hauptbestandteile des Frameworks.

Hinzufügen von LangChain4j OpenAI zu unserem Projekt

Wie bei allen Java-Projekten ist es einfach eine Frage der Abhängigkeiten. Hier verwenden wir Maven, aber das gleiche Ergebnis ließe sich auch mit jedem anderen Abhängigkeitsmanager erzielen.

Als ersten Schritt für das Projekt, das wir hier aufbauen wollen, werden wir OpenAI verwenden, daher müssen wir lediglich das langchain4j-open-ai -Artefakt hinzufügen:

0.34.0 dev.langchain4j langchain4j-open-ai ${langchain4j.version}

Für den restlichen Code verwenden wir entweder unseren eigenen API-Schlüssel, den Sie durch die Registrierung eines Kontos bei OpenAI erhalten, oder den vom LangChain4j-Projekt bereitgestellten Schlüssel, der jedoch nur zu Demonstrationszwecken dient:

static String getOpenAiApiKey() { String apiKey = System.getenv(API_KEY_ENV_NAME); if (apiKey == null || apiKey.isEmpty()) { Logger.warn("Please provide your own key instead using [{}] env variable", API_KEY_ENV_NAME); return "demo"; } return apiKey; }

Wir können nun eine Instanz unseres ChatLanguageModel erstellen:

ChatLanguageModel model = OpenAiChatModel.withApiKey(getOpenAiApiKey());

Und schließlich können wir eine einfache Frage stellen und die Antwort erhalten:

String answer = model.generate("Who is Thomas Pesquet?"); Logger.info("Answer is: {}", answer);

Die gegebene Antwort könnte etwa so lauten:

Thomas Pesquet is a French aerospace engineer, pilot, and European Space Agency astronaut. He was selected as a member of the European Astronaut Corps in 2009 and has since completed two space missions to the International Space Station, including serving as a flight engineer for Expedition 50/51 in 2016-2017. Pesquet is known for his contributions to scientific research and outreach activities during his time in space.

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step1AiChatTest.java an.

Mehr Kontext mit langchain4j

Fügen wir das langchain4j -Artefakt hinzu:

dev.langchain4j langchain4j ${langchain4j.version}

Dieses Tool bietet uns einen Werkzeugkasten, der uns dabei helfen kann, eine fortgeschrittenere LLM-Integration für unseren Assistenten zu entwickeln. Hier erstellen wir einfach eine Assistant -Schnittstelle, die die chat -Methode bereitstellt, welche automatisch die zuvor definierte ChatLanguageModel aufruft:

interface Assistant { String chat(String userMessage); }

Wir müssen lediglich die Klasse LangChain4j AiServices bitten, eine Instanz für uns zu erstellen:

Assistant assistant = AiServices.create(Assistant.class, model);

Und rufen Sie dann die Methode chat(String) auf:

String answer = assistant.chat("Who is Thomas Pesquet?"); Logger.info("Answer is: {}", answer);

Das System verhält sich genauso wie zuvor. Warum also haben wir den Code geändert? Erstens ist es eleganter, aber darüber hinaus können Sie dem LLM nun mithilfe einfacher Annotationen Anweisungen geben:

interface Assistant { @SystemMessage("Please answer in a funny way.") String chat(String userMessage); }

Dies ergibt nun Folgendes:

Ah, Thomas Pesquet is actually a super secret spy disguised as an astronaut! He's out there in space fighting aliens and saving the world one spacewalk at a time. Or maybe he's just a really cool French astronaut who has been to the International Space Station. But my spy theory is much more exciting, don't you think?

Wenn Sie diesen Code ausführen möchten, sehen Sie sich bitte die Klasse Step2AssistantTest.java an.

Wechsel zu einem anderen LLM: langchain4j-ollama

Wir können das großartige Ollama-Projekt nutzen. Es ist hilfreich, einen LLM lokal auf Ihrem Rechner auszuführen.

Fügen wir das langchain4j-ollama -Artefakt hinzu:

dev.langchain4j langchain4j-ollama ${langchain4j.version}

Da wir den Beispielcode mithilfe von Tests ausführen, fügen wir unserem Projekt Testcontainers hinzu:

org.testcontainers ollama 1.20.1 test

Wir können jetzt Docker-Container starten/stoppen:

static String MODEL_NAME = "mistral"; static String DOCKER_IMAGE_NAME = "langchain4j/ollama-" + MODEL_NAME + ":latest"; static OllamaContainer ollama = new OllamaContainer( DockerImageName.parse(DOCKER_IMAGE_NAME).asCompatibleSubstituteFor("ollama/ollama")); @BeforeAll public static void setup() { ollama.start(); } @AfterAll public static void teardown() { ollama.stop(); }

Wir müssen lediglich das model -Objekt in ein OllamaChatModel ändern, anstatt des zuvor verwendeten OpenAiChatModel :

OllamaChatModel model = OllamaChatModel.builder() .baseUrl(ollama.getEndpoint()) .modelName(MODEL_NAME) .build();

Beachten Sie, dass das Abrufen des Bildes mit dem zugehörigen Modell einige Zeit in Anspruch nehmen kann, aber nach einer Weile erhalten Sie die Antwort:

Oh, Thomas Pesquet, the man who single-handedly keeps the French space program running while sipping on his crisp rosé and munching on a baguette! He's our beloved astronaut with an irresistible accent that makes us all want to learn French just so we can understand him better. When he's not floating in space, he's probably practicing his best "je ne sais quoi" face for the next family photo. Vive le Thomas Pesquet! 🚀🌍🇫🇷 #FrenchSpaceHero

Besser mit Speicher

Wenn wir mehrere Fragen stellen, merkt sich das System standardmäßig nicht die vorherigen Fragen und Antworten. Wenn wir also nach der ersten Frage „Wann wurde er geboren?“ fragen, Unsere Anwendung wird folgende Fragen beantworten:

Oh, you're asking about this legendary figure from history, huh? Well, let me tell you a hilarious tale! He was actually born on Leap Year's Day, but only every 400 years! So, do the math... if we count backwards from 2020 (which is also a leap year), then he was born in... *drumroll please* ...1600! Isn't that a hoot? But remember folks, this is just a joke, and historical records may vary.

Das ist Unsinn. Stattdessen sollten wir Chat Memory verwenden:

ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10); Assistant assistant = AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .build();

Die erneute Beantwortung derselben Fragen liefert nun ein aussagekräftiges Ergebnis:

Oh, Thomas Pesquet, the man who was probably born before sliced bread but after dinosaurs! You know, around the time when people started putting wheels on suitcases and calling it a revolution. So, roughly speaking, he came into this world somewhere in the late 70s or early 80s, give or take a year or two - just enough time for him to grow up, become an astronaut, and make us all laugh with his space-aged antics! Isn't that a hoot? *laughs maniacally*

Fazit

Im nächsten Beitrag werden wir herausfinden, wie wir mithilfe von Elasticsearch als Einbettungsspeicher Fragen an unseren privaten Datensatz stellen können. Das wird uns die Möglichkeit geben, unsere Anwendungssuche auf die nächste Stufe zu heben.