LG CNS implementiert Elasticsearch-Hybrid-, Vektor- und Generative-KI-Funktionen, um Genauigkeit zu verbessern und Datenabrufzeiten zu reduzieren

LG CNS ist Koreas führendes IT-Dienstleistungsunternehmen. Das Unternehmen wurde 1987 als Tochtergesellschaft der LG Group gegründet und bietet Beratungs-, Systemintegrations-, Netzwerkintegrations- und Geschäftsprozess-Outsourcing-Dienstleistungen an.

Neben der Beteiligung an groß angelegten öffentlichen IT-Infrastrukturprojekten erschließt LG CNS aktiv den globalen Markt durch Partnerschaften mit Entwicklungszentren und globalen Konzernen.

Mit dem Aufkommen der generativen KI haben viele Unternehmen verwandte Technologien eingeführt, um mit diesen Fortschritten Schritt zu halten. Um dieser Nachfrage gerecht zu werden, entwickelt LG CNS Projekte mit generativer KI und bietet diesen Unternehmen Dienstleistungen an. Insbesondere ist sein KeyLook AI-Suchalgorithmus ein Retrieval-Augmented Generation-System (RAG), das im eigenen KI-Zentrum entwickelt wird, dem LG CNS D&A Lab.

Das Endziel ist die Verbesserung der gesamten Suchfunktion von KeyLook, sodass seine Anwendungen alle suchrelevanten Felder abdecken können. LG CNS hofft außerdem, seine Vision der Innovation im Bereich des Wissensmanagements (KM) durch seinen Suchalgorithmus zu verwirklichen. Dazu mussten zunächst mehrere Hindernisse überwunden werden.

Während des Deployment des RAG-Systems (Retrieval Augmentation Generation) musste LG CNS das Problem angehen, dass der bestehende Suchalgorithmus die Absicht des Nutzers nicht verstand. Dies erforderte den Wechsel von schlüsselwortbasierten Suchalgorithmen zu einer kontextbasierten Vektorsuchmethode. Um die Datenbanksuchfunktionen für das Speichern und Durchführen von Suchen zu verbessern, konzentrierte sich das Forschungszentrum auf die Entwicklung eines Modells zur Verbesserung der Suchgenauigkeit und erwog die Einführung externer Lösungen.

„Wenn ein Nutzer auf Koreanisch nach dem Begriff ‚Blockchain‘ sucht, erhält er keine Ergebnisse für den englischen Suchbegriff. Dies konnte manuell gelöst werden, erforderte aber weit mehr Arbeitsstunden als erwartet“, sagt Youngmin Kim, Language General Consultant im LG CNS AI Lab.

LG CNS führte Elasticsearch ein, um die Genauigkeit und Geschwindigkeit seines KI-Suchmodells zu verbessern. Nach der Bewertung verschiedener Suchmaschinenlösungen für die Vektorsuche erwies Elasticsearch sich als die effizienteste in Bezug auf die Rechenressourcen und bot die beste Leistung für den KNN-Algorithmus, was die Vektorsuche erheblich beschleunigte. Am wichtigsten war jedoch, dass Elasticsearch die von LG CNS benötigten dünnbesetzten Vektormodule unterstützte.

„Wir haben festgestellt, dass nur Elasticsearch unsere Anwendungsfälle für die semantische Suche unterstützte. Die im Rahmen unserer Forschung entwickelte Suche mit dünnbesetzten Vektoren zeigte sehr gute Ergebnisse, und wir wollten eine Suchmaschine, die damit ausgestattet werden kann“, sagt Kim. „Das Modul für dünnbesetzte Vektoren von Elasticsearch ermöglicht es uns, Suchen auch dann durchzuführen, wenn die Schlüsselwörter nicht exakt übereinstimmen und Wörter mit ähnlicher Bedeutung oder Tippfehler enthalten. Die Ergebnisse der Einführung von Elasticsearch mit Unterstützung unserer Partner sind bemerkenswert.“

„Wir haben das KeyLook AI-Modell am ‚KorQuAD 2‘-Datensatz getestet und drei Module kombiniert, darunter die Volltextsuche, Vektorsuche und semantische Suche von Elasticsearch. Dadurch konnte unsere Suchgenauigkeit um 20 % von 75 % auf 95 % gesteigert werden“, so Kim. „Die Suche mit dünnbesetzten Vektoren ermöglicht es uns, Dokumente zu finden, die Synonyme des Suchbegriffs enthalten, während die Suche mit dicht besetzten Vektoren sich auf die Erkennung umgangssprachlicher Sätze und das Verständnis der Suchintention konzentriert. Durch die Kombination dieser Module mit der hybriden Suche konnten wir die Leistung deutlich verbessern.“

Verbesserungen der Suche gehen über die Verbesserung der Genauigkeit hinaus. Damit große Datenmengen verarbeitet werden können, müssen die gewünschten Informationen schnell abgerufen werden können. Anfangs verwendete LG CNS Daten im Speicher und hatte eine langsame Suchgeschwindigkeit sowie Einschränkungen bei der Speichererweiterung.

Da Elasticsearch große Datenmengen in großem Maßstab verarbeiten kann, integrierte LG CNS die Plattform on-prem, um die Suchgeschwindigkeit seines KeyLook AI-Suchalgorithmus zu verbessern.

„Wir haben im Bereich Speicherverwaltung von der Elasticsearch Platform profitiert“, sagt Kim. „Je mehr Daten wir haben, desto schneller kann Elasticsearch sie verarbeiten. Mit der Optimierung und Hybridunterstützung von Elasticsearch wurde die Zeit, die benötigt wird, um 110.000 Fragen und 10.000 Dokumente in koreanischen Webdokumenten zu suchen, um mehr als die Hälfte reduziert, von 0,2 auf 0,1 Sekunden.“

Die Einführung von Elasticsearch hat auch für Mitarbeiter von LG CNS Vorteile gebracht.

Der KeyLook AI-Algorithmus nutzt generative KI-Modelle, um Unternehmensdaten zu kodieren und sie in Elasticsearch zu indexieren. Wenn ein Nutzer eine Frage auf einer Suchseite eingibt, identifiziert KeyLook AI verwandte Dokumente und liefert Antworten an ChatGPT. ChatGPT liefert den Nutzern anschließend Suchergebnisse, indem es benutzerfreundliche und leicht verständliche Antworten zusammenstellt.

Dank der starken Sicherheits- und Indexierungsfunktionen von Elasticsearch hat LG CNS seine aktualisierte Suchfunktion bereitgestellt und führt derzeit ein Pilotprojekt im Wissensmanagement-Sektor durch.

Administratoren nutzen diese Sicherheitsfunktionen, um Informationen basierend auf Zugriffsrechten nach Ebene zu filtern und Suchergebnisse bereitzustellen, was die Gesamtleistung der Suche nach Unternehmenswissen verbessert.

Im Gegensatz zu herkömmlichen Volltextsuchmethoden, die durch irrelevante Informationen ausgebremst werden, zeichnet sich Elasticsearch dank seiner invertierten Indexierungsmethode durch hohe Suchgeschwindigkeiten aus. Diese Methode ermöglicht es den Suchenden, schnell Dokumente zu finden, die die gewünschten Informationen enthalten.

„Wir konnten unser Geschäftsmodell für Wissensmanagement weiterentwickeln, indem wir Unternehmensdokumente mithilfe von KI-Modellen und dem einzigartigen Reverse-Indexing-Ansatz von Elasticsearch kodieren, was es den Nutzern ermöglicht, die gesuchten Informationen schnell zu finden“, erklärt Kim.

Bei der Innovation mit Elasticsearch legte das LG CNS-Team den Fokus auf Nutzerzufriedenheit und Komfort.

Kim erinnert sich an die Bemühungen, die Leistung des Suchalgorithmus von KeyLook AI zu verbessern, und bringt sein Vertrauen in die Vielseitigkeit und den Support von Elasticsearch zum Ausdruck. „Wir waren mit Elasticsearch sehr zufrieden“, sagt er. „Wir haben eine gute Synergie festgestellt zwischen den verschiedenen Features, die Elasticsearch über Abfragen bietet, und dem KI-Suchmodell, auf das sich LG CNS konzentriert hat. Die Aggregationsfunktionen von Elastic ermöglichen es uns, Daten in Echtzeit zu verarbeiten und zu analysieren, sodass wir schnell auf die neuesten Informationen zugreifen können, wie etwa die Top-10-Suchbegriffe und Anfragen, die den Fragen der Nutzer ähneln. Dies unterstützt unseren Entscheidungsprozess und ermöglicht uns, schnell zu reagieren.“

„Wir erforschen Möglichkeiten, die Geschwindigkeit und Genauigkeit von KeyLook AI zu steigern, indem wir mehr von Elasticsearch unterstützte Features nutzen“, fährt Kim fort. „Darüber hinaus baut LG CNS sein Geschäft im Bereich der Wissensmanagement-Dienstleistungen der nächsten Generation aus, die verstreute Informationen in wertvolle Ressourcen verwandeln.“

Laut seiner Technologie-Akquisitionsroadmap plant LG CNS, neben dem Koreanischen auch mehrsprachigen technischen Support mit dem KeyLook AI-Feature anzubieten und seinen globalen Markt für solche KI-Dienste auszubauen.

• Neu bei Elasticsearch? Sehen Sie sich das Video „Erste Schritte mit Elasticsearch“ an.
• Laden Sie unser Whitepaper „Semantische Suche: Neue Sucherlebnisse für die KI-Ära“ herunter.
• Probieren Sie Elasticsearch mit einer kostenlosen Testversion aus und überzeugen Sie sich selbst, warum so viele Unternehmen Elastic vertrauen.
• Erfahren Sie mehr von anderen Kunden und ihren Erfahrungen mit Elasticsearch.