LG CNS implementa capacidades de IA híbrida, vectorial y generativa de Elasticsearch para mejorar la precisión y reducir los tiempos de recuperación de datos

LG CNS es la principal empresa de servicios de IT de Corea. Establecida como filial de LG Group en 1987, ofrece servicios de consultoría, integración de sistemas, integración de redes y externalización de procesos de negocio.

Además de participar en grandes proyectos públicos de infraestructura informática, LG CNS está entrando activamente en el mercado global mediante alianzas con centros de desarrollo y corporaciones globales.

Con la llegada de la IA generativa, muchas empresas han incorporado tecnologías relacionadas para mantenerse al día con estos avances. Para responder a esta demanda, LG CNS está desarrollando proyectos con IA generativa y prestando servicios a esas empresas. En particular, su algoritmo de búsqueda, KeyLook AI, es un sistema de retrieval-augmented generation (RAG) que se está desarrollando en su centro interno de IA, LG CNS D&A Lab.

El objetivo final es mejorar la función de búsqueda global de KeyLook para que sus aplicaciones puedan cubrir todos los campos relacionados con la búsqueda. LG CNS también espera alcanzar su visión de innovación en el campo de la gestión del conocimiento (KM) a través de su algoritmo de búsqueda. Para ello, primero había que superar varios obstáculos.

Durante el despliegue del sistema de retrieval-augmented generation (RAG), LG CNS necesitaba resolver el problema del algoritmo de búsqueda existente que no entendía la intención del usuario. Esto requirió cambiar los algoritmos de búsqueda basados en palabras clave a un método de búsqueda vectorial basado en contexto. Para mejorar las capacidades de búsqueda en bases de datos para almacenar y realizar búsquedas, el centro de investigación se centró en desarrollar un modelo para mejorar la precisión de las búsquedas y consideró incorporar soluciones externas.

"Si un usuario buscara el término 'blockchain' en coreano, no obtendría resultados para el término de búsqueda en inglés". Esto podría resolverse manualmente, pero requirió muchas más horas de trabajo de lo esperado", dice Youngmin Kim, consultor general de lenguaje de LG CNS AI Lab.

LG CNS adoptó Elasticsearch para mejorar la precisión y velocidad de su modelo de búsqueda con IA. Después de evaluar varias soluciones de motores de búsqueda para la búsqueda vectorial, Elasticsearch demostró ser el más eficiente en términos de recursos informáticos y ofreció el mejor rendimiento para el algoritmo KNN, lo que aceleró significativamente la búsqueda vectorial. Lo más importante, Elasticsearch era compatible con los módulos vectoriales dispersos que LG CNS requería.

"Descubrimos que solo Elasticsearch ofrecía soporte para nuestros casos de uso de búsqueda semántica. La búsqueda vectorial dispersa desarrollada durante nuestra investigación mostró un rendimiento muy bueno, y queríamos un motor de búsqueda que pudiera estar equipado con él", dice Kim. "El módulo vectorial disperso de Elasticsearch nos permite realizar búsquedas incluso cuando las palabras clave no coinciden exactamente y cuando incluyen palabras con significados similares o contienen errores tipográficos. Los resultados de adoptar Elasticsearch con la ayuda de nuestros socios han sido notables".

"Probamos el modelo de KeyLook AI en el conjunto de datos KorQuAD 2 y combinamos tres módulos, incluidos la búsqueda de texto completo, la búsqueda vectorial y la búsqueda semántica de Elasticsearch. Como resultado, nuestra precisión en las búsquedas aumentó un 20%: del 75% al 95%" dice Kim. "La búsqueda vectorial dispersa nos permite encontrar documentos que contienen sinónimos del término de búsqueda, mientras que la búsqueda vectorial densa se centra en reconocer oraciones coloquiales y comprender la intención. Al combinar estos módulos con la búsqueda híbrida, mejoramos significativamente el rendimiento".

Las mejoras de búsqueda van más allá de mejorar la precisión. Para procesar grandes cantidades de datos, debes ser capaz de recuperar rápidamente la información que deseas para la búsqueda. Inicialmente, LG CNS empleaba datos en memoria y experimentaba un procesamiento de búsqueda lento y limitaciones en la expansión de la memoria.

Dado que Elasticsearch puede procesar grandes cantidades de datos a escala, LG CNS incorporó la plataforma local para mejorar la velocidad de búsqueda de su algoritmo de búsqueda, KeyLook AI.

"Nos beneficiamos de la plataforma Elasticsearch en términos de administración de memoria," dice Kim. "Cuantos más datos tengamos, más rápido podrá procesarlos Elasticsearch." Con la optimización y el soporte híbrido de Elasticsearch, el tiempo que lleva la búsqueda de 110 000 preguntas y 10 000 documentos en documentos web coreanos se ha reducido en más de la mitad, de 0.2 a 0.1 segundos".

La adopción de Elasticsearch también fue beneficiosa para los empleados de LG CNS.

El algoritmo de KeyLook AI aprovecha modelos de IA generativa para codificar datos empresariales e indexarlos dentro de Elasticsearch. Cuando un usuario introduce una pregunta en un sitio de búsqueda, KeyLook AI identifica documentos relacionados y entrega respuestas a ChatGPT. ChatGPT luego entrega resultados de búsqueda a los usuarios compilando respuestas claras y fáciles de entender.

Gracias a las sólidas capacidades de indexación y seguridad de Elasticsearch, LG CNS desplegó su función de búsqueda actualizada y actualmente la está probando en el sector de gestión del conocimiento.

Los administradores emplean estas características de seguridad para filtrar la información según los derechos de acceso por nivel y proporcionar resultados de búsqueda, lo que mejora el rendimiento general de la búsqueda de conocimiento empresarial.

A diferencia de los métodos tradicionales de búsqueda de texto completo, que se ven entorpecidos por información irrelevante, Elasticsearch ofrece velocidades de búsqueda rápidas gracias a su método de índice invertido. Este método le permite al usuario encontrar rápidamente documentos que contienen la información deseada.

"Pudimos hacer que nuestro modelo de negocio de servicios de gestión del conocimiento evolucione al codificar documentos empresariales usando modelos de IA y el enfoque único de indexación inversa de Elasticsearch, que les permite a los usuarios encontrar rápidamente la información que buscan", explica Kim.

Al innovar con Elasticsearch, el equipo de LG CNS priorizó la satisfacción y la comodidad del usuario.

Recordando el camino para mejorar el rendimiento del algoritmo de búsqueda con IA de KeyLook, Kim expresa su confianza en la versatilidad y el soporte de Elasticsearch. "Estuvimos muy satisfechos con Elasticsearch", dice. "Vimos una buena sinergia entre las diversas características que Elasticsearch proporciona a través de las búsquedas y el modelo de búsqueda de IA en el que LG CNS se centró. Las capacidades de agregación de Elastic nos permiten procesar y analizar datos en tiempo real, lo que nos permite acceder rápidamente a la información más reciente, como la lista de los principales 10 términos de búsqueda y consultas similares a las preguntas de los usuarios. Esto sirve de soporte a nuestro proceso de toma de decisiones y nos permite responder rápidamente".

"Estamos explorando formas de aumentar la velocidad y precisión de KeyLook AI aprovechando más características compatibles con Elasticsearch", continúa Kim. "Además, LG CNS está expandiendo su negocio en servicios de gestión del conocimiento de próxima generación que transforman la información dispersa en activos valiosos".

Según su roadmap para adquisición tecnológica, LG CNS planea ofrecer soporte técnico multilingüe además del coreano con la característica de KeyLook AI y pretende ampliar su mercado global para estos servicios de IA.

• ¿Eres nuevo en Elasticsearch? Mira este video de "Primeros pasos con Elasticsearch".
• Descarga nuestro documento técnico, "Búsqueda semántica: Llevar experiencias de búsqueda a la era de la IA"
• Prueba Elasticsearch gratis y comprueba en carne propia por qué tantas empresas confían en Elastic.
• Entérate más sobre otros clientes y sus experiencias con Elasticsearch