在hadoop集群部署hbase并开启kerberos

在hadoop集群部署hbase并开启kerberos

系统:LXC-CentOS6.3x86_64

hadoop版本:cdh5.0.1(安装了manmual，但没有安装cloudera-manager)

集群现有环境:节点*6；JDK1.7.0_55；Zookeeper、hdfs(HA)、yarn、historyserver和httpfs已经安装，Kerberos已经启动(KDC部署在集群的一个节点上)。

要安装的软件包:所有节点->:installhbase的主节点->；yumhbase-masterhbase-thrifthbase-restslavenode-->:yuminstallhbase-regionserver

要修改的配置文件如下:

主配置文件及其内容:/etc/hbase/conf/hbase-site.XML

<配置>

<属性>

<名称>hbase.cluster.distributed<；/name>；

<值>true</value>；

</property>；

<属性>

<名称>hbase.rootdir</name>；

<值>HDFS://IRS-HDP-HA/hbase<；/value>；

</property>；

<属性>

<名称>hbase.rest.port<；/name>；

<值>60050</value>；

</property>；

<属性>

<名称>hbase.zookeeper.quorum<；/name>；

<值>cdh01.barry.com，cdh02.barry.com，CDH03.Barry.com<；/value>；

</property>；

<属性>

<名称>hbase.replication</name>；

<值>true</value>；

</property>；

<属性>

<名称>hbase.security.authorization<；/name>；

<值>true</value>；

</property>；

<属性>

<名称>hbase.协处理器.</name>；

<值>org.Apache.Hadoop.hbase.security.access.accesscontroller<；/value>；

</property>；

<属性>

<名称>hbase.协处理器.</name>；

<值>org.Apache.Hadoop.hbase.security.token.tokenprovider，org.Apache.Hadoop.hbase.security.access.accesscontroller<；/value>；

</property>；

<属性>

<名称>hbase.security.authentication<；/name>；

<值>kerberos</value>；

</property>；

<属性>

<名称>hbase.RPC.engine<；/name>；

<值>org.Apache.Hadoop.hbase.IPC.securerpencengine<；/value>；

</property>；

<属性>

<名称>hbase.regionserver.Kerberos.principal<；/name>；

<值>hbase/_HOST@HADOOP。COM</value>；

</property>；

<属性>

<名称>hbase.regionserver.keytab.file<；/name>；

<值>/etc/Hadoop/conf/hbase.keytab<；/value>；

</property>；

<属性>

<名称>hbase.master.Kerberos.principal<；/name>；

<值>hbase/_HOST@HADOOP。COM</value>；

</property>；

<属性>

<名称>hbase.master.keytab.file<；/name>；

<值>/etc/Hadoop/conf/hbase.keytab<；/value>；

</property>；

<属性>

<名称>hbase.thrift.keytab.file<；/name>；

<值>/etc/Hadoop/conf/hbase.keytab<；/value>；

</property>；

<属性>

<名称>hbase.thrift.Kerberos.principal<；/name>；

<值>hbase/_HOST@HADOOP。COM</value>；

</property>；

<属性>

<名称>hbase.rest.keytab.file<；/name>；

<值>/etc/Hadoop/conf/hbase.keytab<；/value>；

</property>；

<属性>

<名称>hbase.rest.Kerberos.principal<；/name>；

<值>hbase/_HOST@HADOOP。COM</value>；

</property>；

<属性>

<名称>hbase.rest.authentication.type<；/name>；

<值>kerberos</value>；

</property>；

<属性>

<名称>hbase.rest.authentication.Kerberos.principal<；/name>；

<值>HTTP/_HOST@HADOOP。COM</value>；

</property>；

<属性>

<名称>hbase.rest.authentication.Kerberos.keytab<；/name>；

<值>/etc/Hadoop/conf/hbase.keytab<；/value>；

</property>；

</configuration>；

安全相关配置文件/etc/hbase/conf/ZK-贾亚斯.conf

客户端{

需要com.sun.security.auth.module.krb5loginmodule

useKeyTab=true

useTicketCache=false

keyTab="/etc/Hadoop/conf/hbase.keyTab"

principal="hbase/CDH01.Barry.com@HADOOP。COM”；

};

与hbase相关的环境变量文件:/etc/hbase/conf/hbase-env.sh

exportHBASE_OPTS="-XX:+UseConcMarkSweepGC"

导出HBASE_OPTS="$HBASE_OPTS-DJava.security.auth.login.config=/etc/hbase/conf/ZK-JAAS.conf"

出口HBASE_管理_ZK=假

zookeeper配置文件(hbase配置只需要追加最后两行):/usr/lib/zookeeper/conf/zoo.CFG

maxClientCnxns=50

售票时间=2000

initLimit=5

syncLimit=2

dataDir=/var/lib/zookeeper

客户端端口=2181

server.1=CDH01.Barry.com:2888:3888

server.2=CDH02.Barry.com:2888:3888

server.3=CDH03.Barry.com:2888:3888

authprovider.1=org.Apache.zookeeper.server.auth.saslauthenticationprovider

jaasLoginRenew=3600000

Kerberos.removehostfromcprincipal=true

Kerberos.removerealmpromprincipal=true

参考文档(hortonworks将被称为hdp简称；Cloudera是CDH):

1.创建系统模板。由于作者在openvz中找到了centos6.5的模板，并且在测试环境时尽量使用CentOS6.3，所以笔记根据官方文档自动创建了一个模板。链接如下:http://openvz.org/Creating_a_CentOS_6_Template

2.安装集群参考官方cdh文档:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-installation-guide/CDH5-installation-guide.html。

3.在kerberos和hadoop的集成阶段，引用了大量的hortonworks文档，因为cloudera的文档给笔者的感觉都是OK(简直疯了...).具体链接如下:

hortonworks的Kerberos配置链接:http://docs.hortonworks.com/hdpdocuments/ambari-1.6.1.0/bk_安巴里_安全/内容/索引.html

cloudera的Kerberos配置链接:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-security-guide/CDH5-security-guide.html

Kerberos:官方网站中的http://web.mit.edu/kerberos/krb5-latest/doc/

4.这次主要参考cloudera的文档和hbase的官方文档(因为cdh在安装thrift和rest的时候没有提到相关配置，所以无法启动...).相关链接如下:

cdh的文档:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-installation-guide/CDH5ig_hbase_installation.html

鼎晖的hbase和kerberos部署集成文档:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-security-guide/CDH5SG_hbase_security.html

Hbase正式文件:http://hbase.apache.org/book/security.html