Hadoop运行环境搭建

Hadoop运行环境搭建 1、虚拟机环境准备

1）克隆虚拟机，虚拟机配置要求如下：
（1）最小系统安装需要安装环境
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop
（2）设置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=“Ethernet”
PROXY_METHOD=“none”
BROWSER_onLY=“no”
BOOTPROTO=“static”（将dhcp改为static）
DEFROUTE=“yes”
IPV4_FAILURE_FATAL=“no”
IPV6INIT=“yes”
IPV6_AUTOCONF=“yes”
IPV6_DEFROUTE=“yes”
IPV6_FAILURE_FATAL=“no”
IPV6_ADDR_GEN_MODE=“stable-privacy”
NAME=“ens33”
UUID=“c23fa440-f025-48da-a724-ca59ae3c9a40”
DEVICE=“ens33”
onBOOT=“yes”
IPADDR=192.168.1.101（自己添加IP地址）
GATEWAY=192.168.1.2（自己添加网关）
DNS1=192.168.1.2（自己添加dns）
（3）设置主机名
vim /etc/hostname
hadoop101
（4）配置主机名映射，打开/etc/hosts（ip地址需要配置为自己的）
vim /etc/hosts
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
（5）关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
（6）创建atguigu用户
useradd atguigu
passwd 123456
（7）配置atguigu用户具有root权限
vim /etc/sudoers
定位到91行，在root下面添加一行
atguigu ALL=(ALL) NOPASSWD:ALL
（8）在/opt目录下创建module、software文件夹
mkdir module
mkdir software
修改module、software文件夹的所有者
chown atguigu:atguigu /opt/module /opt/software

2、安装JDK，HADOOP

（1）将jdk包，hadoop包上传到/opt/software中
（2）解压jdk，hadoop到/opt/module
tar -zxvf jdk-8u60-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
（3）配置环境变量

	新建/etc/profile.d/my_env.sh
	vim /etc/profile.d/my_env.sh
	
		JAVA_HOME=/opt/module/jdk1.8.0_60
		HADOOP_HOME=/opt/module/hadoop-3.1.3
		PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
		export PATH JAVA_HOME HADOOP_HOME

3、Hadoop运行模式

1）在hadoop-3.1.3文件下面创建一个input文件夹
cd /opt/module/hadoop-3.1.3
mkdir input
2）将Hadoop的xml配置文件复制到input
cp /etc/hadoop/*.xml input
3）执行share目录下的MapReduce程序
hadoop jar share/hadoop/mapreducehadoop-mapreduce-examples-3.1.3.jar grep input output ‘dfs[a-z]+’
注意：输出路径output不能存在。如果存在，会抛出FileAlreadyExistsException异常。
4）查看输出结果
cd output
cat part-r-00000

5）自己创建文件验证结果，在/input目录下创建my.txt
vim my.txt
dfsaaa
dfsbbb
dfsccc
dfs123
dfsaaa
dfsbbb
dfs123

hadoop jar share/hadoop/mapreducehadoop-mapreduce-examples-3.1.3.jar grep input output1 ‘dfs[a-z]+’

输出内容：
cd output
cat part-r-00000