LG CNS, Elasticsearch의 하이브리드, 벡터 및 생성형 AI 기능을 구현해 정확도 향상 및 데이터 검색 시간 단축

LG CNS는 한국을 대표하는 IT 서비스 기업입니다. 1987년에 LG 그룹의 자회사로 설립되어 컨설팅, 시스템 통합, 네트워크 통합, 비즈니스 프로세스 아웃소싱 서비스를 제공합니다.

LG CNS는 대규모 공공 IT 인프라 프로젝트에 참여하는 것 외에도, 개발 센터 및 글로벌 기업과의 파트너십을 통해 글로벌 시장에 적극적으로 진출하고 있습니다.

생성형 AI의 등장과 함께 많은 기업들이 이러한 발전을 따라잡기 위해 관련 기술을 도입하고 있습니다. 이러한 수요를 해결하기 위해 LG CNS는 생성형 AI로 프로젝트를 개발하고 해당 기업들에 서비스를 제공하고 있습니다. 특히, KeyLook AI 검색 알고리즘은 LG CNS D&A Lab이라는 사내 AI 센터에서 개발 중인 Retrieval-Augmented Generation(RAG) 시스템입니다.

최종 목표는 KeyLook의 전체 검색 기능을 개선하여 애플리케이션이 모든 검색 관련 분야를 포괄할 수 있도록 하는 것입니다. LG CNS는 또한 검색 알고리즘을 통해 지식 관리(KM) 분야 혁신이라는 비전을 달성하기를 희망하고 있습니다. 이를 위해서는 먼저 여러 가지 장애물을 극복해야 했습니다.

LG CNS는 Retrieval Augmentation Generation(RAG) 시스템을 배포하는 과정에서 기존 검색 알고리즘이 사용자 의도를 제대로 파악하지 못하는 문제를 해결해야 했습니다. 이를 위해서는 키워드 기반 검색 알고리즘에서 문맥 기반 벡터 검색 방식으로 전환해야 했습니다. 데이터베이스 검색 기능을 개선하여 저장하고 검색을 수행할 수 있도록, 연구 센터는 검색 정확도를 높이기 위한 검색 모델 개발에 집중했으며, 외부 솔루션 도입도 고려했습니다.

"사용자가 한국어로 ‘블록체인’이라는 용어를 검색할 경우 영어 검색어에 대한 결과는 표시되지 않습니다. 이 문제는 수동으로 해결할 수 있으나 예상보다 훨씬 더 많은 인력이 필요했습니다."라고 LG CNS AI 연구소 언어 총괄 컨설턴트인 김영민 님은 말합니다.

LG CNS는 AI 검색 모델의 정확성과 속도를 향상시키기 위해 Elasticsearch를 채택했습니다. 벡터 검색을 위한 다양한 검색 엔진 솔루션을 평가한 결과, Elasticsearch가 컴퓨팅 리소스 측면에서 가장 효율적이며 KNN 알고리즘에서 최고의 성능을 제공하여 벡터 검색 속도를 크게 향상시키는 것으로 나타났습니다. 무엇보다 중요한 것은 Elasticsearch가 LG CNS에 필요한 희소 벡터 모듈을 지원한다는 점입니다.

"Elasticsearch만이 시맨틱 검색 사용 사례를 지원한다는 것을 확인하였습니다. 연구 중 개발된 희소 벡터 검색은 매우 우수한 성능을 보였으며, 이를 장착할 수 있는 검색 엔진을 원했습니다."라고 김영민 님은 말합니다. "Elasticsearch의 희소 벡터 모듈은 키워드가 정확히 일치하지 않을 때, 또는 의미가 비슷하거나 오타가 있어도 검색을 수행할 수 있습니다. 파트너들의 도움을 받아 Elasticsearch를 채택한 결과는 놀라웠습니다."

"KorQuAD 2 데이터 세트에서 KeyLook AI 모델을 테스트했고, Elasticsearch의 풀텍스트 검색, 벡터 검색, 시맨틱 검색 등 세 가지 모듈을 결합했습니다. "그 결과 검색 정확도가 75%에서 95%로 20% 향상되었습니다." 김영민 님은 이렇게 설명합니다. "희소 벡터 검색은 검색어의 동의어가 포함된 문서를 찾는 데 유용하고, 밀집 벡터 검색은 구어체 문장을 인식하고 의도를 파악하는 데 중점을 둡니다. 이러한 모듈들을 하이브리드 검색과 결합함으로써 성능을 크게 향상시켰습니다."

검색 기능 개선은 정확도 향상 이상에서 실현되었습니다. 대량의 데이터를 처리하려면 원하는 정보를 신속하게 조회할 수 있어야 합니다. 초기에 LG CNS는 메모리의 데이터를 사용했으나 검색 처리 속도가 느리고 메모리 확장에 한계가 있었습니다.

Elasticsearch는 대량의 데이터를 대규모로 처리할 수 있기 때문에, LG CNS는 KeyLook AI 검색 알고리즘의 검색 속도를 높이기 위해 온프레미스 환경에 이 플랫폼을 도입했습니다.

"메모리 관리 측면에서 Elasticsearch 플랫폼의 이점을 이용했습니다."라고 김영민 님은 말합니다. "데이터가 많을수록 Elasticsearch가 더 빠르게 처리할 수 있습니다. Elasticsearch의 최적화 및 하이브리드 지원 덕분에 한국어 웹 문서에서 110,000개의 질문과 10,000개의 문서를 검색하는 데 걸리는 시간이 0.2초에서 0.1초로 절반 이상 단축되었습니다."

Elasticsearch 도입은 LG CNS 직원들에게도 여러 이점을 가져다주었습니다.

KeyLook AI 알고리즘은 생성형 AI 모델을 활용해 기업 데이터를 인코딩하고 Elasticsearch 내에서 인덱싱합니다. 사용자가 검색 사이트에 질문을 입력하면, KeyLook AI는 관련 문서를 식별하고 ChatGPT에 답변을 제공합니다. ChatGPT는 사용자 친화적이고 이해하기 쉬운 답변을 모아 사용자에게 검색 결과를 전달합니다.

Elasticsearch의 강력한 보안 및 인덱싱 기능을 이용해 LG CNS는 업데이트된 검색 기능을 배포했으며 현재 지식 관리 분야에서 시범 운영 중입니다.

관리자는 이러한 보안 기능을 활용하여 접근 권한 수준에 따라 정보를 필터링하고 검색 결과를 제공함으로써 기업 전반의 지식 검색 성능을 향상시킵니다.

기존의 풀텍스트 검색 방법은 관련 없는 정보로 인해 느려지지만, Elasticsearch는 역 인덱싱 방식을 통해 빠른 검색 속도를 제공합니다. 이 방법은 검색자가 원하는 정보를 담은 문서를 빠르게 찾을 수 있게 해줍니다.

"우리는 AI 모델과 Elasticsearch의 독특한 역인덱싱 방식을 활용해 기업 문서를 인코딩함으로써 지식 관리 서비스 비즈니스 모델을 발전시킬 수 있었습니다. 이 접근법은 사용자가 원하는 정보를 빠르게 찾을 수 있게 합니다."라고 김영민 님은 설명합니다.

Elasticsearch로 혁신하는 동안 LG CNS 팀은 사용자 만족과 편의성을 최우선으로 생각했습니다.

KeyLook의 AI 검색 알고리즘 성능 향상 과정을 회상하며 김영민 님은 Elasticsearch의 다재다능함과 지원 기능에 대한 확신을 표명했습니다. "Elasticsearch에 매우 만족했습니다." 그는 이렇게 말합니다. "Elasticsearch가 쿼리를 통해 제공하는 다양한 기능과 LG CNS가 집중한 AI 검색 모델 사이에 좋은 시너지를 확인했습니다. Elastic의 집계 기능 덕분에 실시간으로 데이터를 처리하고 분석할 수 있어 상위 10개 검색어나 사용자 질문과 비슷한 쿼리 같은 최신 정보에 빠르게 액세스할 수 있습니다. 이를 통해 의사 결정 과정을 지원하고 신속하게 대응할 수 있습니다."

"Elasticsearch가 지원하는 더 많은 기능을 활용해 KeyLook AI의 속도와 정확도를 높이는 방법을 모색하고 있습니다." 그는 이어서 설명합니다. "더 나아가, LG CNS는 흩어진 정보를 가치 있는 자산으로 전환하는 차세대 지식 관리 서비스 사업을 확장하고 있습니다."

기술 인수 로드맵에 따르면, LG CNS는 KeyLook AI 기능을 통해 한국어 외 다국어 기술 지원을 제공할 계획이며, 이러한 AI 서비스의 글로벌 시장 확장을 목표로 하고 있습니다.

• Elasticsearch를 처음 사용하시나요? "Elasticsearch 시작하기" 영상을 시청하세요.
• "시맨틱 검색: AI 시대에 맞는 검색 경험" 백서를 다운로드하세요.
• 무료 평가판으로 Elasticsearch를 사용해 보고, 많은 기업들이 Elastic을 신뢰하는 이유를 직접 확인하세요.
• 다른 고객들의 경험을 통해 Elasticsearch에 대해 더 자세히 알아보세요.