Elasticsearch：什么是非结构化数据？

非结构化数据定义

非结构化数据是指未按照设计的模型或结构组织的数据。非结构化数据通常被归类为定性数据，可以是人类或机器生成的。非结构化数据是最丰富的可用数据类型，经过分析后，可用于指导业务决策并在许多其他用例中实现业务目标。

非结构化数据通常以其本机格式存储。这增加了将这些数据转化为可操作的见解的挑战。虽然非结构化数据比结构化数据处理起来更具挑战性，但它通常也包含结构化数据中所没有的丰富、详细的信息。因此，许多组织正在投资机器学习 (ML) 和自然语言处理 (NLP) 等技术，以更好地分析非结构化数据并从中获取见解。

非结构化数据的示例

非结构化数据是定性的，以文本、图像、音频或视频格式存在。非结构化数据的不同示例包括：

富媒体（rich media），例如音频或视频数据、监控数据、地理空间数据、图像和天气数据。
物联网 (IoT) 数据，例如来自设备的股票行情或传感器数据。
文本数据，例如电子邮件、短信、发票、记录和生产力应用程序通信数据。
科学数据，例如机器生成的太空探索或地震报告。
医疗保健数据和成像，例如 MRI、X 射线和 CT 扫描以及其他医疗数据，例如医生的笔记和处方。

随着新数据捕获技术的发展，更多的非结构化数据示例自然会出现。

结构化数据 vs. 非结构化数据

与非结构化数据不同，结构化数据是存在于预定义结构或模型中的定量数据。这些数据组织严密，因此很容易被企业和机器学习算法处理。

将结构化数据视为完全适合电子表格或 SQL、MySQL 和 PostgreSQL 等关系数据库的数据类型 - 它可以轻松映射到预定义的结构中。结构化数据用于管理客户关系，因为它为企业提供易于解释的信息：日志、指标、日期、姓名、邮政编码、信用卡号等。

相比之下，非结构化数据是定性数据，不具有任何一致的内部结构。因此，如果没有正确的工具和专业知识，非结构化数据就很难解释。

了解如何在管理非结构化数据方面取得进展

结构化数据可以让企业全面了解客户的行为，例如姓名、购买历史记录和地理位置。非结构化数据更适合让企业更深入地了解客户的意图和行为 —— 原因和方式，例如产品评论、支持票证和网站导航模式。

非结构化数据的挑战

非结构化数据的数量、种类和质量差异是寻求处理、管理和分析数据的组织面临的常见挑战。

数据量：非结构化数据丰富。它占现有数据的 80%，并且不断生成。研究公司 ITC 预计，从 2018 年到 20252 个数据量将增长 430%。
数据多样性：非结构化数据由多种数据类型组成，例如文本数据、图像或视频。需要大型数据存储库（例如数据湖）将非结构化数据存储在一个地方。非结构化数据固有的多样性也带来了链接挑战 —— 如何交叉引用图像、视频和文本？
数据质量：非结构化数据的质量不一致，部分原因在于其多样性。非结构化数据可能包含错误、不一致或不相关的信息，这使得获取准确的信息变得困难。预处理或清理非结构化数据以提高质量可能是一项耗时且复杂的任务。
分析：与可以快速查询和分析的结构化数据不同，非结构化数据通常包含大量文本，并且不能完全适合数据库。非结构化数据以其本机格式存储，并且仅在查看时进行处理。
安全和隐私：非结构化数据可能包含敏感信息。确保这些数据的安全和维护隐私可能具有挑战性。
集成：由于缺乏预定义的数据模型，将非结构化数据与结构化数据集成以获得整体视图可能会很复杂。

因此，管理和分析非结构化数据的挑战主要来自数据量。组织可能会遇到大小从几 GB（例如电子邮件）到数 PB（例如全长媒体文件）的项目、对象或文件。因此，虽然可以手动管理，但许多数据库和工具无法处理如此数量和种类的非结构化数据。需要特定的工具和技术来存储和处理呈指数级增长的数据。

非结构化数据的应用

经过分析后，非结构化数据为企业提供了各种机会。作为定性数据，非结构化数据可以帮助企业更好地了解客户、客户意图和市场变化。这使企业能够提供更好、更安全、更有弹性的客户体验。

非结构化数据的一些应用包括：

改善客户体验：分析客户支持聊天、电子邮件和通话记录可以帮助识别常见的客户问题，改进支持协议，个性化客户搜索体验，并更有效地培训客户服务代表。
预测患者的医疗保健结果：患者的医疗记录通常包含非结构化数据，例如医生的笔记，可以通过分析这些数据来识别模式、预测患者的结果或为治疗计划提供信息。
检测欺诈：在金融服务中，非结构化数据可用于检测欺诈活动。例如，对电子邮件通信的分析可能会揭示表明欺诈行为的可疑模式。
提供推荐：电子商务平台和流媒体服务可以分析非结构化数据，例如产品描述或电影脚本，以改进其推荐算法。
训练自然语言处理 (NLP) 模型：非结构化数据对于训练 NLP 中的 AI 模型至关重要。例如，聊天机器人从本质上非结构化的大量文本数据中学习。
训练人工智能进行图像识别：图像形式的非结构化数据是训练机器学习模型以执行面部识别、物体检测等任务的基础。
提供预测数据分析：分析非结构化数据使企业能够预测市场趋势并进行相应调整。
进行情绪分析：挖掘非结构化数据可以让企业深入了解客户情绪、行为和购买模式。企业还可以分析来自社交媒体帖子、产品评论和客户反馈的数据，以了解客户对其产品、服务或品牌的整体情绪。

这些非结构化数据的应用为企业提供了许多好处。

降低安全风险

遥测数据分析可以帮助收集有价值的见解，并使用户了解现实世界的网络安全威胁现象和趋势。通过使用现代安全信息和事件管理 (SIEM) 工具，安全团队可以大规模搜索大量任何类型的数据（包括非结构化数据），以协助监控和合规性、威胁检测、预防和搜寻，以及事件响应。

提高运营弹性

由于需要确保应用程序的可用性和性能得到优化，组织需要能够观察其系统生成的非结构化数据。日志和指标可以实时指示用户需求超出容量或服务器错误正在影响性能。当知道根本原因时，就可以解决它。

增强客户体验

企业可以通过管理非结构化数据为客户提供更好的搜索体验，从而提供更好的用户体验。丰富的搜索添加功能改善了客户和开发人员的前端和后端搜索体验。客户可以轻松地为他们的孩子找到带有条纹的黄色玩具，或者员工可以轻松找到他们需要的文件、图像或视频剪辑，无论处于什么环境。

如何管理和分析非结构化数据

从本质上讲，非结构化数据不具有可轻松管理和分析的预定义结构。因此，为了分析非结构化数据，你首先需要通过定义结构来管理它。这使你可以存储、组织和保护非结构化数据。

组织好的非结构化数据即可用于处理和分析。这些分析为组织提供了可行的见解。

有多种工具和技术可供您管理和分析非结构化数据。

自然语言处理（NLP）：NLP是一种专注于计算机与人类通过自然语言进行交互的技术。 NLP 的目标是以有价值的方式阅读、破译、理解和理解人类语言。
机器学习 (ML)：机器学习是人工智能 (AI) 的一个子集，它使计算机能够学习并做出基于数据的决策，从而随着时间的推移提高性能，而无需进行显式编程。它使用统计技术来识别结构化和非结构化数据中的模式以做出预测或决策。
数据湖：由于其种类和数量，非结构化数据可以存储在数据湖中或创建数据的地方（“边缘”）。数据湖适用于大量各种类型的数据。数据湖以本机格式容纳数据，因此视频、音频、文本和文档都可以存储在一起。
内容管理系统 (content management systems - CMS)：作为一种应用程序，CMS 使企业能够在 Web 上存储、检索和搜索、索引和发布非结构化数据。

了解寻找数据有多么困难是数字化转型的关键