什么是非结构化数据？

非结构化数据指未按照所设计的模型或结构进行组织的数据。非结构化数据通常被分类为定性数据，可由人类或机器生成。非结构化数据是可供使用的数据量最大的一类数据，对其进行分析后，它可用来引导业务决策并在很多其他用例中实现业务目标。

非结构化数据通常以其原生格式进行存储。这进一步加大了将该数据转换为行之有效的见解的挑战。尽管与结构化数据相比，使用非结构化数据更具有挑战性，但它通常包含结构化数据所不提供的丰富、详尽的信息。因此很多组织都投资于相关技术，例如 Machine Learning (ML) 和自然语言处理 (NLP)，来更好地分析非结构化数据并从中获得洞察。

非结构化数据是定性数据，通常以文本、图像、音频或视频的格式存在。非结构化数据的不同示例包括：

• 富媒体，例如音频或视频数据、监控数据、地理空间数据、图像和天气数据。
• 物联网 (IoT) 数据，例如来自设备的断续器或传感器数据。
• 文本数据，例如电子邮件、文本消息、发票、记录以及生产力应用程序通信数据。
• 科学数据，例如机器生成的空间探索或地震报告。
• 医疗保健数据和成像，例如 MRI、X 光、CT 扫描以及其他医学数据，例如医生的病志和处方。

随着新的数据捕获技术的发展，当然会涌现出更多的非结构化数据示例。

结构化数据不同于非结构化数据，它是定量数据，以预定义的结构或模型而存在。此类数据的组织结构十分清晰，因此企业和 Machine Learning 算法可轻松处理这类数据。

可以将结构化数据看作能够以条理有序的方式放到电子表格或关系数据库（例如 SQL、MySQL 和 PostgreSQL）中的一类数据，用户能够按照预定义的结构轻松地映射结构化数据。结构化数据可用于管理客户关系，因为它能为业务部门提供易于解读的信息：日志、指标、日期、名称、邮政编码、信用卡号等。

相反，非结构化数据是定性数据，并没有任何一致的内部结构。所以，如果没有正确的工具集和专业技能，用户很难解读非结构化数据。

了解如何改进非结构化数据的管理流程

结构化数据能够为业务部门提供有关其客户行为（即是什么，例如名称、购物历史和地理位置）的概览。非结构化数据更适合用来为业务部门提供有关其客户意向和行为的更深入理解（即为什么和如何做，例如产品评价、支持票据以及网站导航模式）。

对于希望处理、管理和分析非结构化数据的组织而言，非结构化数据的数据量、类别和异质性是常见挑战。

• 数据量：非结构化数据的数据量很大。它占到了已有数据量的 80%¹，而且各行各业仍在源源不断地生成非结构化数据。研究公司 ITC 预计数据量在从 2018 年到 2025 年期间将会增长 430%²。
• 数据种类：非结构化数据由各种各样的数据类型组成，例如文本数据、图像和视频。用户需要诸如数据湖等大型数据存储库来将非结构化数据存储到一处。非结构化数据的内在多样性也在确立关联方面带来了挑战：您如何交叉参考图像、视频和文本？
• 数据质量：非结构化数据的质量不一致，很大程度上是因为其种类多样。非结构化数据会包含错误、不一致或不相关的信息，而这会让您很难获得准确信息。对非结构化数据进行预处理和清理以改善质量是一项特别耗时的复杂任务。
• 分析：不同于可快速进行查询和分析的结构化数据，非结构化数据通常都包含大量文本，不能以条理有序的方式放入到数据库中。非结构化数据以其原生格式进行存储，只有在需要查看时，非结构化数据才会得到处理。
• 安全和隐私：非结构化数据可能包含敏感信息。确保这一数据的安全并维护隐私会是个巨大挑战。
• 集成：由于缺少预定义的数据模型，将非结构化数据与结构化数据进行集成以获得整体视图是个非常复杂的过程。

因此，管理和分析非结构化数据的挑战主要是由于数据量非常之大。组织可能会遇到规模大小不一的项目、对象或文件，小到只有几个 GB，例如电子邮件；大到有数个 PB，例如全长多媒体文件。所以，尽管您可以手动管理，很多数据库和工具并不能处理非结构化数据的数据量和种类。组织需要特定的工具和技术来存储和处理呈指数级增长的数据。

经过分析后，非结构化数据能够为企业提供大量机会。作为定性数据，非结构化数据能够帮助企业更好地理解他们的客户、客户意向和市场变化。这能为企业赋能，让他们提供更出色、更安全、更灵活的客户体验。

非结构化数据的一些应用包括：

• 改善客户体验：分析客户支持聊天、电子邮件和通话转录脚本，这能够帮助识别常见客户问题、改善支持协议、个性化客户搜索体验，并更有效地培训客户服务代表。
• 预测患者的医疗保健结果：患者医疗记录通常包含非结构化数据，例如医生的病志，组织可以分析这些非结构化数据来识别模式、预测患者结果或者帮助制定医疗计划。
• 检测欺诈：在金融服务领域，非结构化数据可用来检测欺诈活动。例如，通过分析电子邮件通信，揭示表示存在欺诈行为的可疑模式。
• 提供推荐：电商平台和流媒体服务可分析非结构化数据，例如产品描述或电影脚本，来改善其推荐算法。
• 训练自然语言处理 (NLP) 模型：在训练 NLP 中用到的 AI 模型的过程中，非结构化数据发挥着至为关键的作用。例如，聊天机器人可以从大型文本数据语料库中学习，而这个语料库本质上就是非结构化的。
• 训练 AI 进行图像识别：在训练 Machine Learning 模型完成诸如面部识别、对象检测等任务的过程中，图像形式的非结构化数据发挥着根本性作用。
• 提供预测性数据分析：通过分析非结构化数据，企业能够预测市场趋势并相应进行调整。
• 开展情感分析：通过挖掘非结构化数据，企业能够获得有关客户情感、行为和购物模式的洞察。企业还可以通过分析来自社交媒体贴文、产品评价和客户反馈的数据，理解客户对其产品、服务或整体品牌的情感。

非结构化数据的这些应用为企业带来了大量优势。

降低安全风险

通过分析遥测数据，帮助收获宝贵洞察并让用户随时了解真实的网络安全威胁热点和趋势。通过使用现代安全信息和事件管理 (SIEM) 工具，安全团队能够大规模搜索任何类型的海量数据，包括非结构化数据，协助进行监测和实现合规，帮助开展威胁的检测、预防和猎捕工作，优化事故响应。

改善运营弹性

因为组织需要确保对应用程序进行优化以保证可用性和性能，所以需要对其系统产生的非结构化数据进行观测。日志和指标能够实时显示用户需求是否超出了容量或者服务器错误是否影响了性能。知道了根本原因之后，团队就能采取措施加以解决。

增强客户体验

企业可以通过管理非结构化数据向客户提供更好的搜索体验，进而打造更好的用户体验。丰富的搜索附加功能可为客户和开发人员等改善前端和后端搜索体验。顾客可以轻松为孩子找到带条纹的黄色玩具；员工无论身处什么环境，都能轻松找到所需的文件、图像或视频剪辑。

从本质上来说，非结构化数据并没有预定义的结构来支持用户轻松地对其进行管理和分析。所以，为了分析非结构化数据，您首先需要通过定义一个结构来管理它。这能够让您存储和整理非结构化数据，并确保它的安全。

整理有序的非结构化数据然后就可用于处理和分析了。这些分析可为组织提供行之有效的见解。

市面上有很多工具和技术能够支持您对非结构化数据进行管理和分析。

自然语言处理 (NLP)：NLP 技术专注于计算机和人类之间通过语言进行的交互。NLP 的目的是通过有价值的方式阅读、破译、掌握和理解人类语言。

Machine Learning (ML)：Machine Learning 是人工智能 (AI) 的一个子领域，可让计算机学习并做出基于数据的决策，无需通过显式编程就能逐渐提升性能。它会使用统计学技巧来识别结构化数据和非结构化数据中的模式，从而做出预测或决策。

数据湖：鉴于非结构化数据的种类和数据量，非结构化数据可以存储在数据湖中或者生成数据的位置（“边缘”）。数据湖适合大量的不同类型的数据。数据湖能够以原生格式容纳数据，所以视频、音频、文本和文档都可以存储在一起。

内容管理系统 (CMS)：作为一个应用程序，CMS 允许企业存储、检索、搜索和索引非结构化数据并将其发布到网络上。

了解为什么说难以查找的数据是数字化转型面临的一大威胁

各行各业的组织都在以多种方式利用非结构化数据。从医疗保健到制造业，非结构化数据能够支持组织基于洞察提供更出色的服务。

医疗保健

医疗保健行业在各种不同的运营层面上受益于非结构化数据。复杂的聊天机器人能够支持医疗保健专业人员理解对话模式，从而确定特定病症。对数据进行处理后，健康日志应用可帮助识别医疗风险。通过将非结构化数据与结构化数据结合在一起，医疗保健专业人员能够得出患者的护理结果。

金融服务

预测性数据分析对于金融业至为关键，可用来跟踪市场趋势和变动。这一情报能够允许组织相应做出调整。在更细粒度的层面上，非结构化数据可用来为普通贷款、抵押贷款、业务规划和合同生成文档。非结构化数据分析还可用来协助打击金融犯罪。组织可以识别欺诈签名，或者识别并响应网络钓鱼骗局。

公共领域

对于公共领域的组织来说，数据是一项战略性资产。组织可以借助将网络安全、日志和 AIOps 集成到一起的整体数据战略，降低成本，简化运营并减少工具和数据蔓延，从而最大程度提升价值。

电信

电信公司能够打破孤岛，为用户提供电信即服务并提升网络的可用性，进而从数据中收获更多价值。通过利用非结构化数据，他们能够更快地交付数据分析结果，并实现流程自动化，进而打造更卓越的客户体验。

营销

数据挖掘和预测性数据分析都是很常用的营销实践，可用来识别和理解市场机会和趋势、客户需求，以及客户行为和意向。营销专业人士能够生成和使用非结构化数据来更好地与客户交流，并最终提升客户体验。

制造业

非结构化数据，例如计划、模型、蓝图等，是制造业实践中的必要组成部分。管理和分析农业领域非结构化数据的能力可以帮助预测和管理产量。汽车行业依赖非结构化数据来理解并满足需求。

随着管理和分析非结构化数据的技术的发展，组织利用其非结构化数据的能力也在不断发展。

人工智能 (AI) 和 Machine Learning (ML) 领域的最近发展将非结构化数据的使用推进到了一个新时代。随着 AI 和 Machine Learning 技术的发展，处理非结构化数据的能力，以及合并结构化数据与非结构化数据以得出更好的业务洞察的能力都在发展。

随着业界开发出捕获数据的新方法，非结构化数据的应用场景会持续增加。对于大部分智能手机用户来说，面部识别已经特别常见。面部识别技术发展迅猛，现在支持情绪识别，这对于医疗保健和客户服务行业特别重要。

随着虚拟个人助手技术变得越来越普及，非结构化数据也将会提高人们的效率。某些工作可实现自动化，所以用户能够提高效率和产出。借助虚拟个人助手，医生能够花更长时间与患者讨论病情，减少花在书面工作上的时间。

在您引入非结构化数据后，您可以对其进行处理并应用特定结构，以便您能使用数据。Elastic 提供很多非结构化数据管理解决方案。

面向 AI 的 Elasticsearch 相关性引擎能够为组织提供强大的工具集，以构建由 AI 提供支持且可利用非结构化数据的搜索应用程序。

探索如何在包括搜索、可观测性和安全在内的用例中，借助 Elasticsearch 来存储、搜索和分析您的非结构化数据。

• 了解可通过哪些步骤让尚未得到有效利用的数据实时发挥作用，以实现业务转型
• 了解如何将数据转化为行之有效的见解
• 发现您在数据成熟度旅程中的位置，以便采取措施实现继续发展