1.hadoop安全机制历史
在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。 尽管在版本0.16以后， HDFS增加了文件和目录的权限，但是并没有强认证的保障，这些权限只能对偶然的数据丢失起保护作用。恶意的用户可以轻易的伪装成其他用户来篡改权限，致使权限设置形同虚设。不能够对Hadoop集群起到安全保障。
在Hadoop1.0.0或者CDH3版本后，加入了Kerberos认证机制。使得集群中的节点就是它们所宣称的，是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时，集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信。防止了恶意的使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠安全。
2.Hadoop面临的安全问题
2.1 用户到服务器的认证问题
1)NameNode，,JobTracker上没有用户认证
用户可以伪装成其他用户入侵到一个HDFS 或者MapReduce集群上。
2)DataNode上没有认证
Datanode对读入输出并没有认证。导致如果一些客户端如果知道block的ID，就可以任意的访问DataNode上block的数据
3)JobTracker上没有认证
可以任意的杀死或更改用户的jobs，可以更改JobTracker的工作状态
2.2 服务器到服务器的认证问题
1)没有DataNode, TaskTracker的认证
用户可以伪装成datanode ,tasktracker，去接受JobTracker, Namenode的任务指派。
3.安全机制
3.1Java的安全机制
详细介绍请参考JAAS:灵活的Java安全机制
简单来说,用户首先使用LoginContext的接口进行登录验证。LoginContext可以配置使用不同的验证协议。验证通过后，用户得到一个subject，里面包含凭证，公私钥等。之后，在涉及到需要进行权限认证的地方(例如，资源访问，外部链接校验，协议访问等)，使用doAs函数()代替直接执行。
这样，java的权限认证就和用户的业务逻辑分离了。
//一段典型的代码如下
LoginContext lc = new LoginContext("MyExample");
try {
lc.login();
} catch (LoginException) {
// Authentication failed.
}
// Authentication successful, we can now continue.
// We can use the returned Subject if we like.
Subject sub = lc.getSubject();
Subject.doAs(sub, new MyPrivilegedAction());
3.2Kerberos认证协议
Kerberos是一种网络认证协议，其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。
简单介绍
使用Kerberos时，一个客户端需要经过三个步骤来获取服务:
认证：客户端向认证服务器发送一条报文，并获取一个含时间戳的Ticket-Granting Ticket(TGT)。
授权：客户端使用TGT向Ticket-Granting Server(TGS)请求一个服务Ticket。
服务请求：客户端向服务器出示服务Ticket，以证实自己的合法性。该服务器提供客户端所需服务，在Hadoop应用中，服务器可以是namenode或jobtracker。
为此，Kerberos需要The Key Distribution Centers(KDC)来进行认证。KDC只有一个Master，可以带多个slaves机器。slaves机器仅进行普通验证。Mater上做的修改需要自动同步到slaves。
另外，KDC需要一个admin，来进行日常的管理操作。这个admin可以通过远程或者本地方式登录。
4.Hadoop Kerberos安全机制安装
安装这里就不讲解了，网上资料一大堆
5.kerberos安装后，hbase客户端链接的变化
5.1 客户端链接kerberos的准备
一台机器叫hbaseclient.com,首先在其上安装kerberos客户端，安装后连接kadmin工具创建用户test，并生成keytab文件
kinit admin/admin
kadmin: addprinc -randkey test
kadmin: xst -k test.keytab test
5.2 未安装kerberos之前，hbase客户端链接代码
public class Test1 {
public static void main(String[] args) throws IOException {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "zookeeperserver1,zookeeperserver2,zookeeperserver3");
conf.set("hbase.zookeeper.property.clientPort", "2181");
HTable t = new HTable(conf, "test");
Scan s = new Scan();
ResultScanner rs = t.getScanner(s);
try{
for(Result r:rs){
for(Cell cell:r.rawCells()){
System.out.println("Row: "+new String(CellUtil.cloneRow(cell)));
System.out.println("CF: "+new String(CellUtil.cloneFamily(cell)));
System.out.println("Qualifier: "+new String(CellUtil.cloneQualifier(cell)));
System.out.println("Value: "+new String(CellUtil.cloneValue(cell)));
}
}
}finally{
t.close();
}
System.out.println("Done!");
}
5.3 安装kerberos之后，hbase客户端链接代码
public class Test1 {
public static void main(String[] args) throws IOException {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "zookeeperserver1,zookeeperserver2,zookeeperserver3");
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("hadoop.security.authentication", "kerberos");
UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab("hbaseclient.com", "/home/test/test.keytab");
HTable t = new HTable(conf, "test");
Scan s = new Scan();
ResultScanner rs = t.getScanner(s);
try{
for(Result r:rs){
for(Cell cell:r.rawCells()){
System.out.println("Row: "+new String(CellUtil.cloneRow(cell)));
System.out.println("CF: "+new String(CellUtil.cloneFamily(cell)));
System.out.println("Qualifier: "+new String(CellUtil.cloneQualifier(cell)));
System.out.println("Value: "+new String(CellUtil.cloneValue(cell)));
}
}
}finally{
t.close();
}
System.out.println("Done!");
}
6.spring-data-hadoop中如何使用kerberos
6.1 kerberos安装之前配置
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hdp="http://www.springframework.org/schema/hadoop"
xmlns:beans="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context"
xsi:schemaLocation="
http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/hadoop
http://www.springframework.org/schema/hadoop/spring-hadoop.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context-3.1.xsd">
fs.defaultFS=hdfs://master:9000/
6.2 kerberos安装之后配置
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hdp="http://www.springframework.org/schema/hadoop"
xmlns:beans="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context"
xsi:schemaLocation="
http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/hadoop
http://www.springframework.org/schema/hadoop/spring-hadoop.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context-3.1.xsd">
fs.defaultFS=hdfs://master:9000/
hadoop.security.authentication=kerberos
hadoop.security.authorization=true
keyTab=/home/test/test.keytab
principal=hbaseclient.com
7.以上配置是参见hadoop-common-2.6.0.jar中源码org.apache.hadoop.security.UserGroupInformation.java得知
8.参考资料
