LG CNS intègre les capacités hybrides, vectorielles et d’IA générative d’Elasticsearch pour gagner en précision et réduire les délais de récupération des données

LG CNS est la principale société de services informatiques de Corée. Filiale du Groupe LG en 1987, elle fournit des services de conseil, d'intégration de systèmes, d'intégration de réseaux et d'externalisation des processus métier.

En plus de participer à de grands projets d'infrastructure informatique publique, LG CNS entre activement sur le marché mondial grâce à des partenariats avec des centres de développement et des entreprises internationales.

Avec l'avènement de l'IA générative, de nombreuses entreprises ont introduit des technologies connexes pour suivre ces avancées. Pour répondre à cette demande, LG CNS développe des projets d’IA générative et fournit des services à ces entreprises. En particulier, son algorithme de recherche IA KeyLook est un système de Retrieval-Augmented Generation (RAG) en cours de développement dans son centre d’IA interne, le LG CNS D&A Lab.

L'objectif final est d'améliorer la fonction de recherche globale de KeyLook afin que ses applications puissent couvrir tous les champs liés à la recherche. LG CNS espère également réaliser sa vision d’innovation dans le champ de la gestion des connaissances (KM) grâce à son algorithme de recherche. Pour y parvenir, plusieurs obstacles ont d'abord dû être surmontés.

Lors du déploiement du système RAG, LG CNS a dû résoudre le problème selon lequel l'algorithme de rechercher existant ne comprenait pas les intentions de l'utilisateur. Cela a nécessité de passer d'algorithmes de recherche basés sur des mots clés à une méthode de recherche vectorielle basée sur le contexte. Afin d'améliorer les capacités de recherche dans les bases de données pour stocker et effectuer des recherches, le centre de recherche s'est concentré sur le développement d'un modèle visant à améliorer la précision des recherches et a envisagé d'introduire des solutions externes.

« Si un utilisateur cherchait le terme blockchain en coréen, il n’obtiendrait pas de résultats pour le terme de recherche anglais. » Cela pouvait être résolu manuellement, mais cela nécessitait bien plus d’heures de travail que prévu », explique Youngmin Kim, consultant général en langues du laboratoire IA du CNS.

LG CNS a adopté Elasticsearch pour améliorer la précision et la rapidité de son modèle de recherche IA. Après avoir évalué diverses solutions de moteur de recherche vectoriel, Elasticsearch s’est révélé être le plus efficace en termes de ressources informatiques et a offert les meilleures performances pour l’algorithme KNN, accélérant considérablement la recherche vectorielle. Plus important encore, Elasticsearch a pris en charge les vecteurs clairsemés requis par LG CNS.

« Nous avons découvert que seul Elasticsearch prenait en charge nos cas d'utilisation liés à la recherche sémantique. » « La recherche par vecteur creux que nous avons mise au point lors de nos travaux de recherche a donné de très bons résultats, et nous souhaitions un moteur de recherche pouvant l’intégrer », précise Kim. « Grâce au module de vecteur creux d’Elasticsearch, nous pouvons effectuer des recherches même si les mots-clés ne correspondent pas exactement, s’ils présentent des synonymes ou s’ils contiennent des coquilles. » « Les résultats de l'adoption d'Elasticsearch avec l'aide de nos partenaires sont remarquables. »

« Nous avons testé le modèle KeyLook IA sur le jeu de données KorQuAD 2 et combiné trois modules, dont la recherche full-text, la recherche vectorielle et la recherche sémantique d’Elasticsearch. » « En conséquence, la précision de nos recherches a augmenté de 20 %, passant de 75 % à 95 % », explique Kim. « La recherche vectorielle clairsemée nous permet de trouver des documents contenant des synonymes du terme recherché, tandis que la recherche vectorielle dense se concentre sur la reconnaissance des phrases familières et la compréhension de l’intention. » « En combinant ces modules avec la recherche hybride, nous avons considérablement amélioré les performances. »

Les améliorations apportées à la recherche vont au-delà de la précision. Pour traiter d’énormes quantités de données, vous devez pouvoir récupérer rapidement les informations que vous souhaitez rechercher. Au départ, LG CNS utilisait les données stockées en mémoire, mais la vitesse de traitement des recherches était lente et l'extension de la mémoire était limitée.

Étant donné qu’Elasticsearch peut traiter de grandes quantités de données à grande échelle, LG CNS a intégré la plateforme sur site pour améliorer la vitesse de recherche de son algorithme de recherche KeyLook IA.

« Nous avons tiré profit de la plateforme Elasticsearch en termes de gestion de la mémoire », explique Kim. « Plus nous avons de données, plus Elasticsearch peut les traiter rapidement. » Grâce à l’optimisation et au support hybride d’Elasticsearch, le temps nécessaire pour rechercher 110 000 questions et 10 000 documents dans des documents web coréens a été réduit de plus de moitié, passant de 0,2 à 0,1 seconde.

L’adoption d’Elasticsearch a également apporté des bénéfices aux employés de LG CNS.

L'algorithme KeyLook AI s'appuie sur des modèles d'IA générative pour encoder les données des entreprises et les indexer dans Elasticsearch. Lorsqu’un utilisateur saisit une question sur un site de recherche, KeyLook IA identifie les documents associés et fournit des réponses à ChatGPT. ChatGPT fournit ensuite aux utilisateurs des résultats de recherche en compilant des réponses conviviales et faciles à comprendre.

Grâce aux solides capacités de sécurité et d’indexation d’Elasticsearch, LG CNS a déployé sa fonction de recherche mise à jour et la pilote actuellement dans le secteur de la gestion des connaissances.

Les administrateurs utilisent ces fonctionnalités de sécurité pour filtrer les informations selon les droits d’accès par niveau et fournir des résultats de recherche, améliorant ainsi la performance globale de la recherche de connaissances d’entreprise.

Contrairement aux méthodes de recherche full-text, qui sont enlisées par des informations non pertinentes, Elasticsearch propose des vitesses de recherche rapides grâce à sa méthode d’index inversé. Cette méthode permet à un chercheur de trouver rapidement les documents contenant les informations souhaitées.

« Nous avons pu faire évoluer notre modèle économique de service de gestion des connaissances en encodant des documents d’entreprise à l’aide de modèles d’IA et de l’approche unique d’indexation inversée d’Elasticsearch, qui permet aux utilisateurs de trouver rapidement les informations qu’ils recherchent », explique Kim.

Tout en innovant avec Elasticsearch, l'équipe LG CNS a accordé la priorité à la satisfaction des utilisateurs et à la commodité.

Se remémorant les efforts déployés pour améliorer les performances de l'algorithme de recherche basé sur l'IA de KeyLook, Kim exprime sa confiance dans la polyvalence et le support d'Elasticsearch. « Nous étions très satisfaits d’Elasticsearch », dit-il. « Nous avons constaté une bonne synergie entre les différentes fonctionnalités proposées par Elasticsearch via les requêtes et le modèle de rechercher basé sur l'IA sur lequel LG CNS s'est concentré. » Les capacités d’agrégation d’Elastic nous permettent de traiter et d’analyser les données en temps réel, nous permettant d’accéder rapidement aux informations les plus récentes, telles que les 10 principaux termes de recherche et les requêtes similaires aux questions des utilisateurs. Cela soutient notre processus décisionnel et nous permet de réagir rapidement.

« Nous explorons des moyens d'accroître la vitesse et la précision de KeyLook AI en tirant parti de davantage de fonctionnalités prises en charge par Elasticsearch », poursuit Kim. « Par ailleurs, LG CNS développe ses activités dans le domaine des services de gestion des connaissances de nouvelle génération qui transforment les informations dispersées en atouts précieux. »

Selon sa feuille de route pour l’acquisition technologique, LG CNS prévoit de fournir un support technique multilingue en plus du coréen avec la fonctionnalité KeyLook d’IA et vise à étendre son marché mondial pour ces services d’IA.

• Vous débutez avec Elasticsearch ? Regardez cette vidéo « Premiers pas avec Elasticsearch ».
• Téléchargez notre livre blanc, « Recherche sémantique : intégrer les expériences de recherche à l’ère de l’IA »
• Essayez Elasticsearch grâce à un essai gratuit, et découvrez par vous-même pourquoi tant d'entreprises font confiance à Elastic.
• En savoir plus sur d'autres clients et sur leurs expériences avec Elasticsearch