通过混合搜索实现了 95% 的搜索相关性
搜索准确率显著提高，从仅使用全文本搜索的 75% 提高到使用混合搜索的 95%。
将大量数据搜索时间缩短了一半以上
通过生成式 AI 提高了回答生成速度，大量数据检索时间从 0.2 秒缩短到 0.1 秒。
提升了员工在知识管理方面的搜索体验
LG CNS 通过 AI 模型对企业文档进行编码，并在 Elasticsearch 中编制索引，从而推进了其 KM 模型。
KeyLook AI 算法与 Elasticsearch 合并，可将搜索时间缩短一半，并增强知识管理
LG CNS 是韩国领先的 IT 服务公司。该公司于 1987 年作为 LG 集团的子公司成立，提供咨询、系统集成、网络集成和业务流程外包服务。
除了参与大型公共 IT 基础设施项目外，LG CNS 还通过与开发中心和跨国公司的合作积极进入全球市场。
随着生成式 AI 的出现，许多公司都引入了相关技术来跟上这些进步。为了满足这一需求，LG CNS 正在开发具有生成式 AI 的项目，并向相关公司提供服务。特别是，其 KeyLook AI 搜索算法是一款由其内部 AI 中心 LG CNS D&A Lab 开发的检索增强生成 (RAG) 系统。
最终目标是改进 KeyLook 的整体搜索功能，使其应用能够涵盖所有与搜索相关的领域。LG CNS 还希望通过其搜索算法实现知识管理 (KM) 领域的创新愿景。为此，首先必须克服几个障碍。
采用向量搜索算法方法的必要性
在部署检索增强生成 (RAG) 系统期间，LG CNS 需要解决现有搜索算法无法理解用户意图的问题。这需要从基于关键词的搜索算法转向基于上下文的向量搜索方法。为了提升数据库用于存储和执行搜索的能力，研究中心专注于开发模型以提升搜索准确性，并考虑引入外部解决方案。
“如果用户用韩语搜索‘区块链’一词，则不会得到与英语搜索词相同的结果。”LG CNS AI 实验室语言通用顾问 Youngmin Kim 表示：“这个问题虽然可以手动解决，但需要的人工时间远远超过预期。”
借助混合搜索实现 95% 的搜索准确率
LG CNS provides comprehensive consulting, system construction, and operation services in Korea and around the world, using expertise earned from years of large-scale IT project success.
LG CNS 采用 Elasticsearch 来提高其 AI 搜索模型的准确性和速度。在评估了用于向量搜索的各种搜索引擎解决方案后，Elasticsearch 被证明在计算资源方面效率最高，并且为 KNN 算法提供了最佳性能，显著加快了向量搜索速度。最重要的是，Elasticsearch 支持 LG CNS 所需的稀疏向量模块。
“我们发现只有 Elasticsearch 支持我们的语义搜索用例。我们研究中开发的稀疏向量搜索表现非常好，我们希望有一个能够支持它的搜索引擎。”Kim 说。“Elasticsearch 的稀疏向量模块允许我们在即使关键词不完全匹配，且包含含义相似或带错别字的词语时，也能进行搜索。在合作伙伴的帮助下，采用 Elasticsearch 取得了显著成效。”
“KeyLook 算法与 Elasticsearch Platform 的整合，对于我们以生成式 AI 驱动的对话形式搜索和利用所需知识起到了至关重要的作用。”
“我们在 KorQuAD 2 数据集上测试了 KeyLook AI 模型，并组合了三个模块，包括 Elasticsearch 的全文搜索、矢量搜索和语义搜索。结果，我们的搜索准确率从 75% 提升到 95%，增加了 20%。稀疏向量搜索使我们能够找到包含搜索项同义词的文档，而密集向量搜索则侧重于识别口语句子并理解意图。”Kim 说。“通过将这些模块与混合搜索结合，我们显著提升了性能。”
将大规模数据搜索时间缩短一半以上
搜索功能的改进不仅限于提高准确率。要处理大量数据，必须要能够快速检索到想要搜索的信息。最初，LG CNS 使用内存数据，但搜索处理速度较慢，内存扩展受限。
鉴于 Elasticsearch 能够大规模处理大量数据，LG CNS 在本地集成了该平台，以提升其 KeyLook AI 搜索算法的搜索速度。
“我们在内存管理方面受益于 Elasticsearch 平台。”Kim 说。“我们拥有的数据越多，Elasticsearch 处理速度就越快。”借助 Elasticsearch 的优化和混合支持，搜索韩语网页文档中 11 万个问题和 1 万份文档所需的时间已缩短一半以上，从 0.2 秒缩短至 0.1 秒。
利用知识管理改善员工搜索体验
采用 Elasticsearch 也为 LG CNS 的员工带来了诸多好处。
KeyLook AI 算法利用生成式 AI 模型对企业数据进行编码，并在 Elasticsearch 中为其编制索引。当用户在搜索网站上输入问题时，KeyLook AI 会识别相关文档并向 ChatGPT 提供答案。随后，ChatGPT 通过汇总用户友好、易懂的答案，向用户传递搜索结果。
得益于 Elasticsearch 强大的安全性和编制索引能力，LG CNS 部署了其更新的搜索功能，目前正在知识管理领域进行试点。
管理员利用这些安全功能，根据访问权限的级别筛选信息并提供搜索结果，从而提升整体企业知识搜索的性能。
与容易被无关信息拖累的传统全文本搜索方法不同，Elasticsearch 由于采用了倒排索引方法，因此拥有迅捷的搜索速度。这种方法使搜索者能够快速找到包含所需信息的文档。
“我们通过使用 AI 模型和 Elasticsearch 独特的倒排索引方法对企业文档进行编码，从而改进了我们的知识管理服务业务模式，使用户能够快速找到他们要找的信息。”Kim 解释道。
“Elasticsearch 是一个在搜索市场中提供高质量服务的平台，我们发现它是一个设计精良且可靠的解决方案。”
拓展业务进入新一代 KM 服务行业
LG CNS 团队在使用 Elasticsearch 进行创新时，始终将用户满意度和便利性放在首位。
回顾提升 KeyLook AI 搜索算法性能的历程，Kim 表达了他对 Elasticsearch 的多功能性和支持能力的信心。他说：“我们对 Elasticsearch 非常满意。我们看到 Elasticsearch 通过查询提供的各种功能与 LG CNS 所关注的 AI 搜索模型之间具有良好的协同效应。Elastic 的聚合功能使我们能够实时处理和分析数据，从而快速获取最新信息，例如排名前 10 的搜索词和与用户问题类似的查询。这支持了我们的决策过程，使我们能够迅速响应。”
“我们正在探索如何利用 Elasticsearch 支持的更多功能来提高 KeyLook AI 的速度和准确性。”Kim 继续说道。“此外，LG CNS 正在扩展其在下一代知识管理服务领域的业务，这些服务将分散的信息转化为有价值的资产。”
根据其技术收购路线图，LG CNS 计划通过 KeyLook AI 功能提供除韩语外的多语言技术支持，并致力于扩大其此类 AI 服务的全球市场。
