目录

一、大数据安全的挑战与对策

（一）数据加密技术

（二）大数据安全与隐私

（三）大数据安全保障体系

（四）华为大数据安全解决方案

二、基础设施安全

（一）认证技术

（二）访问控制

（三）公钥基础设施

（四）华为大数据平台

---

        大数据安全是指在大数据环境下，为了保护数据不被非法获取、篡改或破坏，确保数据的安全性、完整性和可用性的一系列措施和技术。

一、大数据安全的挑战与对策

（一）数据加密技术

1、对称密码

        对称密码的特征是加密密钥和解密密钥相同。对称密码不仅可用于数据加密，也可用于消息的认证，最有影响的对称密码是美国国家标准局颁布的DES/AES算法。对称密码系统的保密性主要取决于密钥的安全性，因此必须通过安全可靠的途径（如信使递送）将密钥送至接收端。

2、密钥管理

        如何将密钥安全、可靠地分配给通信对方，包括密钥产生、分配、存储和销毁等多方面的问题统称为密钥管理。

3、非对称密码

        非对称密码(公钥密码体制)的特征是加密密钥与解密密钥不同，而且很难从一个推出另一个。两个密钥形成一个密钥对，一个密钥用于加密，另一个密钥用于解密。非对称密码算法基于数学问题求解的困难性，而不再是基于代替和换位方法；另外，非对称密码使用两个独立的密钥，一个可以公开，称为公钥，另一个不能公开，称为私钥。
        两个因素促进了双钥密码体制的产生：一个是密钥管理与分配的问题；另一个是数字签名的需求。双钥密码体制在数据加密、密钥分配和认证等领域都有重要的应用。
        在非对称密码体制中，公钥是可以公开的，私钥是需要保密的。加解密算法都是公开的，用公钥加密后，只能用与之对应的私钥才能解密。

（二）大数据安全与隐私

        大数据安全与隐私涉及众多领域，包括数据安全，系统安全和网络安全，数据安全涉及数据加密和隐私保护，系统安全涉及操作系统安全和数据库安全，网络安全涉及身份认证、访问控制和审计技术。 大数据安全的核心技术主要包括加密技术，访问控制和认证机制。

1、基础设施安全

        基础设施安全主要体现在分布式计算和数据存储的保护方面。
        一方面，在分布式编程框架下的计算安全性，面临着如何保证分布式数据映射的安全，以及在不可信任的数据映射下如何确保数据安全的挑战。具体包括:计算节点配置错误或篡改导致计算结果错误或重要数据泄露；计算节点间通信的重放攻击、中间人攻击或拒绝服务攻击等；以及伪造计算节点等方面的问题。
        另一方面，在大数据系统中广泛使用的，以NoSQL为代表的，非关系型数据存储的安全性面临挑战。具体表现在:缺少完整性保护；弱认证技术和弱口令，易遭受重放攻击和暴力破解；缺少基于角色的访问控制和授权机制；防注入攻击的方案不成熟等。

2、数据管理安全

        数据管理安全是指针对分布式可扩展数据集的数据存储、审计和溯源安全方案。分布式可扩展数据集在大数据系统中广泛应用。由于数据所有者与物理存储的分离，以及不可信、不一致的存储和安全策略等原因，分布式可扩展数据集产生了新的漏洞。主要表现在:数据保密性和完整性无法保证、拒绝服务攻击风险、副本间一致性无法保证、数据篡改存在纠纷和抵赖等。上述漏洞对数据安全存储和事件日志技术的防御方案提出了挑战。
        很多行业的合规性要求大数据系统提供细粒度的审计记录，而审计数据的完整性、实时性、准确性等关键因素面临未授权访问、数据清除和日志篡改等威胁，成为审计数据和过程的难题。
在大数据应用中，数据的起源信息变得十分复杂，同时也容易受到内、外部的伪造、篡改和重放等攻击。因此，大数据起源信息的可靠记录、安全集成、隐私保护和访问控制也是研究人员面临的挑战之一。

3、数据隐私

        大数据的挖掘和分析，为隐私的获取提供了可能。在数据挖掘过程中，可能存在侵犯或泄露隐私、侵入式营销、降低公民自由等风险。如何避免公司内部及合作伙伴对隐私数据的滥用，以及共享数据的匿名处理也是目前面临的难题。
        在大数据环境下，传统的通过系统访问控制确保数据可见性的方法暴露了更大的系统安全性攻击面，如缓冲溢出、提权等。因此，基于加密的数据保护在大数据环境更为有效。提供更强的加密算法，并有效应用于大数据的保护，是大数据安全技术的发展方向之一。
        大数据分析越来越侧重于处理不同来源的数据，而不同的数据来源对数据的法律和政策限制、隐私策略、共享协议等方面的要求各异。因此，如何进行更细颗粒度的访问控制也是大数据安全面临的挑战。

4、安全验证和监控

        多数大数据系统数据来源广泛，可能存在攻击者篡改或伪造数据源，甚至提供恶意输入的风险，这对输入数据的验证和过滤技术提出了挑战。
        大数据对实时安全监视技术也提出了更高的需求。一方面，需要对大数据环境和应用本身进行监视，以保证大数据处理节点、通信和应用程序的健康；另一方面，通过大数据技术对其他安全设备产生的海量报警，以及系统事件、网络流量等海量数据进行挖掘，以提供实时的系统异常检测和保护。
        除此之外，还包括如何建立形式化的威胁模型以覆盖大数据系统的网络攻击和数据泄露，并设计易用的基于威胁模型的分析方案，以及应对上述所有挑战的大数据安全和隐私保护解决方案如何在现有大数据系统实施的问题。

（三）大数据安全保障体系

1、基础设施安全

        大数据部件的整体安全防护、认证和租户等安全特性，包括身份认证、访问控制、数据加密、日志审计和多租户安全等技术方向。

2、数据管理安全

        负责数据在采集、存储和分发使用过程的安全保障，包括数据生命周期管理、数据水印、数据溯源、访问校验、细颗粒度访问控制、完整性保护和数据管理安全策略等技术方向。

3、隐私保护

        支撑数据隐私保护的合法性原则、透明原则、数据主体参与原则、目的限制原则、最小化原则、准确原则、安全原则和可追溯原则，包括匿名化/假名化、隐私还原管理、隐私策略管理、校验与监控和隐私风险识别等技术方向。

4、安全分析

        利用大数据分析做安全态势感知，实现威胁的检测、响应和防御，包括智能监测、威胁预测、智能响应和可视化分析等技术方向。

5、数据运营安全

        通过运营管理策略，实现安全合规、风险管控和安全合作等。

（四）华为大数据安全解决方案

1、基础设施安全

        基础设施安全包括所有大数据部件的整体安全防护、认证、租户等安全特性，是大数据安全架的基础。提供大数据Hadoop体系部件的身份认证、数据加解密和访问控制，大数据平台的安全日志审计、多服务实例与实例级资源隔离。

2、数据管理安全

        数据管理安全贯穿大数据安全架构中数据流的生命周期，负责数据在采集、存储和分发使用全过程的安全保障。

3、大数据分析

        利用大数据分析实现对威肋检测和响应，集成基于流采样的分布式拒绝服务（Distributed Denial Of Service，DDOS）检测、基于多源复杂事件关联的安全态势感知和安全事件调査、基于软件定义网名（Software Defined Network，SDN）的安全联动响应等技术，并实现灵活的分析配置、智能数据分新以及高级可视化。

4、数据隐私保护

        以特性功能和场景规格实现隐私保护，并实现灵活的隐私策略管理和可度量的隐私风险评估。

二、基础设施安全

（一）认证技术

        认证是阻止非法实施信息攻击的一种技术，其作用为：

（1）消息完整性认证，验证信息在传输或存储过程中是否被篡改；
（2）身份认证，验证消息的收发者是否持有正确的身份认证符，如口令、密钥；
（3）消息序号和操作时间（时间性）等认证，防止消息重放或会话劫持等攻击。

        认证体制分为三个层次：

安全管理协议、认证体制和密码体制。  

        认证体制必须考虑下列因素：

（1）接收者能够验证消息的真实性、完整性以及合法性。
（2）消息的发送者不能抵赖发出的消息，消息的接收者不能否认接收的消息。
（3）只有合法的发送者可以发送消息，其他人不能伪造消息发送。

        认证体制基本模型如下 。

        认证体制相关技术包括数字签名，消息认证和身份认证。

1、数字签名技术

        一个完整的数字签名解决方案包括消息空间、签名及验证算法、安全参数、密钥生成算法等部分。数字签名可分为真数字签名和公证数字签名两大类。

（1）真数字签名：签名者直接把签名消息传送给接收者，接收者无须求助于第三方就能验证签名。

（2）公证数字签名：签名者把签名消息通过可信第三方（公证者）发送给接收者，接收者通过可信第三方（公证者）作为媒介来验证签名的合法性。

2、消息认证技术

        消息认证通过对消息（及附加信息）进行加密或签名认证，其作用包括消息完整性认证（内容认证）、消息的身份认证（发送者和接收者的合法性），以及消息的发送时间和发送序列号认证等。

（1）消息完整性认证（内容认证）
        消息发送者在消息中增加认证码，经加密后发送给接收者进行认证验算，接收者用约定的算法对解密后的消息进行验算，若通过，则接收；若未通过，则拒绝接收。

（2）消息的身份认证
        在消息认证中，消息发送者和接收者的确认有两种方法：第一种是双方事先约定消息数据加密的密钥，接收者只需验证该密钥是否能把消息还原成明文就能认证发送者；第二种是双方事先商定发送消息的特征字，在发送消息时将特征字一起加密发送，接收者只需检验消息中解密的特征字是否与约定特征字相同就可认证发送者。

（3）消息的发送时间和发送序列号认证
        消息的发送时间和发送序列号的认证用于防止消息的重放攻击，常用的认证信息包括:消息链接认证符、消息认证随机数和消息时间戳等。

3、身份认证

        身份认证是确认系统用户身份的过程，明确用户拥有对资源的访问和使用权限。身份认证是通过将一个证据与实体身份绑定来实现的，实体可能是用户、计算单元、程序或进程。以身份认证为基础，访问控制、安全审计、入侵检测等安全机制才能实施。
        用户身份主要通过以下三种方式来确认。

（1）根据用户所知道的信息来确认用户的身份，如约定信息。
（2）根据用户所拥有的东西来确认用户的身份，如用户的身份信息。
（3）根据用户的特征来确认用户的身份，例如，生理特征（如DNA、人脸等）。

        仅通过一个条件来验证一个人的身份，称为单因子认证。由于仅使用一种条件判断用户的身份，很容易被伪造，存在很大的安全隐患，作为改进，我们可以通过组合多种不同的条件，来证明一个人的身份，如双因子认证。
        目前有很多身份认证方法:用户名/密码方式、IC卡认证、USB Key、生物特征识别、动态密码
和数字签名等。

（二）访问控制

        认证、访间控制和审计共同保障计算机系统的安全。
        认证是用户进入系统的第一关，访问控制是在用户以合法合法身份进入系统后，通过监控器控制用户对数据信息的访问动作。

1、访问控制原理

        认证服务建立用户的身份标识，访问控制必须结合审计来解决系统安全问题。审计监控和记录系统监控所有用户的请求和活动，并做事后分析。
        访问控制按照安全策略实施，管理针对所有资源的访问请求。根据系统安全策略，访问控制对每个资源请求做出判断（许可或限制访问），防止用户非法访问和使用系统资源。
        访问控制系统包括以下要素。

（1）主体：访问操作的主动方（用户、主机或应用程序），主体可以访问客体。
（2）客体：被调用的程序或访问的资源等（数据、处理器和存储单元）。

（3）安全访问政策：用于确定一个主体是否对客体拥有访问能力的一套规则。

        在访问控制系统中，主体发起对客体的操作由系统的授权来决定，主体可以创建子主体，并由父主体控制子主体。主体与客体的关系是相对的，一个主体被另一主体访问时，就成为访问目标（客体）。

2、访问控制技术

        访问控制技术是指为了实现访问控制所采取的管理措施。访问控制受操作系统指挥，按照访问控制规则决定主体是否可以访问客体，在系统工作的所有过程都有体现。

访问访问控制模型：

（1）基于访问控制表的访问控制。
（2）基于能力关系表的访问控制。
（3）基于权限关系表的访问控制。 

（三）公钥基础设施

        PKI是一个依据公钥密码原理来提供公共安全服务支持的基础平台，用户可利用PKI平台提供的安全服务进行安全通信认证。PKI按照密钥管理规则，为所有交互应用提供加密和数字签名等服务所需的密钥和证书管理。
        公钥基础设施主要包括认证机构、证书库、密钥备份和PKI应用接口系统等，下面是PKI的几个特色。

1、认证机构

        公钥技术面临的一个基本问题是，发送方如何获得接收方的真实公钥。PKI使用公钥证书来处理基本问题，公钥证书是接收方的身份标识与其持有公钥的结合，在生成公钥证书之前，由一个可信认证机构（CA）来证实用户的身份，然后CA对由该用户身份标识及对应公钥组成的证书进行数字签名，以证明公钥的有效性。

2、身份强识别

        本地安全登录启动系统，其操作过程是用户输入用户名和密码，计算机通过检查这两个输入来验证用户身份，确认登录的合法性。在远程登录时，口令在普通网络上传送，很容易被截取或监听，因此这种简单方法不安全。
        PKI采用公钥技术、高级通信协议和数字签名等方式进行远程登录，不需要建立共享密钥，不在网上传递密码等敏感信息。与简单的身份识别机制相比， PKI的身份识别机制被称为身份强识别。

3、透明性和一致性

        PKI对终端用户的操作是透明的，所有安全操作在后台自动进行，无须用户干预，也不会由于用户的错误操作对安全造成危害。除初始登录操作外，PKI对用户是完全透明的。
        PKI的优势是在应用环境中使用单一可信的安全技术，如公钥技术，它能保证很多程序和设备高效协同工作，安全地进行数据通信和事务处理等操作。

（四）华为大数据平台

        华为大数据平台FusionInsight 包括FusionInsight HD和FusionInsight Stream两个组件：

（1）FusionInsight HD包含了开源社区的主要软件及其生态圈中的主流组件，并进行了优化；

（2）FusionInsight Stream是FusionInsight大数据分析平台中的实时数据处理引擎，是以事件驱动模式处理实时数据的大数据技术，解决高速事件流的实时计算问题，提供实时分析、实时决策能力。

        FusionInsight增强了网络隔离，数据保密性等功能，进一步提高安全性。

1、身份鉴别和认证

        FusionInsight支持用户使用浏览器、组件客户端的方式登录集群。浏览器登录方式，FusionInsight提供了基于CAS的单点登录，用户在任意Web界页面登录后，访问其他各组件Web页面，无需再次输入用户口令进行认证。

2、用户和权限管理

        FusionInsight提供基于角色的权限控制，用户的角色决定了用户的权限。通过指定用户特定的角色给他赋予相应的权限。每种角色具有的权限，根据需要访问的组件资源进行配置。 

3、审计安全

        FusionInsight支持记录审计日志，审计日志可用于安全事件中定位问题原因及划分事故责任，FusionInsight审计日志中记录了用户操作信息，可以快速定位系统是否遭受恶意的操作和攻击。

审计日志类别	审计日志内容
审计日志内容	1、事件类型； 2、事件的风险级别； 3、事件发生的时间； 4、用户； 5、被操作的主机、服务或实例； 6、事件的结果。
审计日志范围（用户活动）	1、登录和注销； 2、增加、删除用户和用户属性（帐号、口令等）的变更； 3、用户的锁定和解锁； 4、角色权限变更。
审计日志范围（操作指令）	1、对系统配置参数的修改； 2、对系统进行启动、关闭、重启、暂停、恢复、倒换； 3、对服务的加载、卸载； 4、软件的升级操作，包括远程升级和本地升级； 5、对重要业务数据的创建、删除、修改； 6、所有帐户的命令行操作命令。

4．多租户安全

        FusionInsight提供企业级的安全平台，提供系统的安全解决方案：

（1）认证（Authentication）：FusionInsight平台集成Kerberos + Ldap的认证方式，保证企业级的帐户安全。
（2）授权（Authorization）：基于用户和角色的认证统一体系，遵从帐户/角色RBAC（Role-Based Access Control）模型，实现通过租户角色进行权限管理，对用户进行批量授权管理。
（3）审计（Auditing）：对登录FusionInsight Manager的用户的所有操作进行审计，及时发现违规操作和安全风险。

未完，待续……