配置Hadoop集群

配置Hadoop集群

xshell

接着安装xshell，xftp等工具，并连接

然后在root权限下安装插件

yum install -y epel-release

如若不成功，找到端口号

kill -9 端口号

然后在执行上述命令

关闭防火墙

system stop firewalld（关闭防火墙）

system dissable firewalld.service （关闭开机防火墙）

给用户添加root权限

vim /etc/sudoers

在这之中，拉到最下面

更改权限

gaofei ALL=(ALL) NOPASSWD:ALL

cd /opt

可查看里面文件

rm -rf rh/

发现权限不够

可用sudo rm - rf rh/

然后创建一个文件夹module，日后文件安装的地方

sudo mkdir modle

接着创建一个文件夹software

sudo mkdir software

此时俩个文件夹都在root权限下，进行权限更改

sudo chown gaofei:gaofei module/ software

改在gaofei权限下

卸载jdk

su root

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps（删除）

rpm -qa | grep -i java（查看）

之后重启虚拟机repoot

克隆虚拟机

克隆虚拟机，在vm中直接克隆即可

克隆完毕之后，先配置iIP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

vim /etc/hostname

输入代码后将对应的IP地址改成对应的虚拟机

然后重启

ifconfig 查看ip地址

ping 百度查看成功

连接xshell

安装jdk

连接主机102，使用xftp将jdk压缩包导入software中

cd /opt/software

使用xftp导入

tar -zxvf jdk-8u212-linux-x64.tar.gz -C 、opt/module/

解压到了module的路径下

先进入jdk进行环境变量的配置

cd /opt

cd module

cd jdk-8u212

进入jdk中之后

sudo cd /etc/profile.d

cd /etc/profile.d

创建自己的文件

sudo vim my_env.sh

在里面这样配置

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

重新加载

source /etc/profile

安装Hadoop

cd /opt/software

解压缩

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

然后进入hadoop

cd /opt/module

cd hadoop-3.1.3

pwd,记录文件目录

sudo cd /etc/profile.d

sudo vim my_env.sh

在里面配置

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export path=$path:$HADOOP_HOME/sbin

退出编辑,

重新启动

source /etc/profile

创建一个表，查看表中数据出现多少次（本地运营模式）

进入hadoop-3.1.3

创建一个文件wcinput

mkdir wcinput

cd wcinput/

vim word.txt

文件中随意输入数据

导入jar包，

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutpu

进入 cd wcoutpu/

此时数据已经分析完毕在 part-r-00000 中

查看数据出现次数

cat part-r-00000

切记

执行源码时输出路径不能存在

完全分布式搭建

1.scp拷贝工具，，将102上的jdk拷贝到103，104

scp -r $pidir/$fname $name@$host:$pdir/$fname

命令 递归 要拷贝的文件名称路径 目的地用户@主机目的地路径名称

scp -r gaofei@192.168.10.103 :/opt/module

(从102拷贝到103)

scp -r gaofei@192.168.10.102:/opt/module/hadoop-3.1.3 ./

（在102拿文件拷贝到103，在103中 *** 作）

scp -r gaofei@192.168.10.102:/opt/module/* gaofei@192.168.10.104:/opt/module/

（站在103，拿102文件拷贝到104）

2.rsync 远程同步工具

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径 目的地用户@主机：目的地路径、名称

rsync -av hadoop-3.1.3/ gaofei@192.168.10.103:/opt/module/hadoop-3.1.3/

将102数据同步到103

3.xsync（观看）

家目录下

mkdir bin

cd bin

vim xsync

（在其中编写）

#!/bin/bash

#1. 判断参数个数if [ $# -lt 1 ] then

echo Not Enough Arguement! exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104 do

echo ==================== $host ====================

#3. 遍历所有目录，挨个发送

for file in $@ do

#4. 判断文件是否存在

if [ -e $file ] then

#5. 获取父目录

pdir=$(cd -P $(dirname $file); pwd)

#6. 获取当前文件的名称fname=$(basename $file) ssh $host "mkdir -p $pdir"

rsync -av $pdir/$fname $host:$pdir else

echo $file does not exists!

fi done

done

保存退出后

加权限

chmod 777 xsync

ssh免密登录

家目录下

ls -al

cd .ssh

ssh -keygen -t rsa

ssh-copy-id 192.168.10.102

ssh-copy-id 192.168.10.103

ssh-copy-id 192.168.10.104

102,103,104同理