1+xHadoop初级

1+xHadoop初级 Hadoop的部署

1、 将/h3cu的jdk安装包解压缩到/usr/local/src/。

tar -zxvf /h3cu/jdk-8u144-linux-x64.tar.gz -C /usr/local/src

2、配置jdk环境变量只对当前root用户生效。

vi /root/.bash_profile

export JAVA_HOME=/usr/local/src/jdk1.8.0_144
export JRE_HOME=/usr/local/src/jdk1.8.0_144/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3、分发主节点的jdk的环境变量文件到slave1、slave2。

scp -r /root/.bash_profile slave1:/root
————————结果 ------

scp -r /root/.bash_profile slave2:/root
--------结果--------

4、配置ssh免密登录，实现从主节点登录到子节点。

ssh slave1
————————结果 ------

ssh slave2
————————结果 ------

5、hadoop-env.sh、core-site.xml配置内容

hadoop-env.sh:

export JAVA_HOME=/usr/local/src/jdk1.8.0_144

core-site.xml

           fs.defaultFS

           hdfs://master:9000






           io.file.buffer.size

           131072






           hadoop.tmp.dir

           file:/usr/local/src/hadoop/tmp

6、hadoop初始化

hdfs namnode -format

---------结果--------

7、查看jps进程

主节点：4个进程

子节点：3个进程

jps

Hive的部署

1、hive的解压缩命令

tar -zxvf /h3cu/apache-hive-1.1.0-bin.tar.gz -C /usr/local/src

2、配置hive环境变量只对当前root用户生效

vi /root/.bash_profile

3、hive配置文件

    hive.metastore.warehouse.dir
    /data/hive/warehouse


    hive.metastore.local
    true


    javax.jdo.option.ConnectionURL
    jdbc:mysql://master/hive?createDatabaseIfNotExist=true&useSSL=false


    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver


    javax.jdo.option.ConnectionUserName
    root


    javax.jdo.option.ConnectionPassword
    root


    hive.metastore.schema.verification
    false

4、hive初始化

schematool -initSchema -dbType mysql

5、进入hive终端

hive

Sqoop部署

1、sqoop解压缩命令

2、配置sqoop环境变量只对当前root用户生效

3、sqoop配置文件sqoop-env.sh

4、sqoop连接mysql，查询数据库

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P