Hadoop之伪分布式配置安装

Hadoop之伪分布式配置安装

        Hadoop支持本地模式、伪分布式模式、完全分布式模式3种安装模式。本地模式，在系统中下载Hadoop,默认情况下，它会被配置为一个独立的模式， 用于运行Java程序;伪分布式模式，这是在单台机器上的分布式模拟，这种模式对开发非常有用:完全分布式模式，又叫集群安装，Hadoop 安装在最少两台计算机的集群中。

安装VMware并安装CentOS：

CentOS下载https://www.centos.org/download/系统安装完成后需要进行如下配置

一、配置CentOS 1. 设置IP

选择设置

选择网络、选择设置

记住IPv4地址

IPv4中如下设置

 2. 修改主机名

hostnamectl set-hostname hadoop0

3. 使用vim编辑/etc/hosts

vim /etc/hosts

在最后一行添加IP hadoop0

如图：

4. 关闭防火墙

systemctl stop firewalld.service 

systemctl disable firewalld.service 

 5. 禁用selinux

使用vim编辑/etc/selinux/config

vim /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

6. 设置SSH免密登陆

cd /root/.ssh

rm -rf *

使用ssh-keygen -t dsa命令生成密码，之后使用回车确认配置。

ssh-keygen -t dsa

将生成的id_dsa.pub复制到指定的密钥目录authorized_keys中。

cat id_dsa.pub >>authorized_keys

---

如果出现没有.ssh目录

登录localhost并输入密码就会生成

ssh localhost

---

 7. 重启CentOS

reboot

二、Hadoop伪分布式安装 1. 下载Hadoop3.0.0并解压

Hadoop3.0.0下载http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/在CentOS中解压文件

tar -xvf hadoop-3.0.0.tar.gz

2. 配置它的环境变量

mv hadoop-3.0.0 hadoop

将Hadoop安装目录配置到/etc/profile的PATH环境变量

3. 使用source命令执行一次才能生效

source /etc/profile

4. 配置hadoop-env.sh

修改其中JAVA_HOME为本机的

5. 配置core-site.xml

    fs.defaultFS
    hdfs://hadoop0:9000/
    NameNode URI

6. 配置hdfs-site.xml

    dfs.datanode.data.dir
    file:///usr/local/hadoop/data/datanode


    dfs.namenode.name.dir
    file:///usr/local/hadoop/data/namenode


    dfs.namenode.http-address
    hadoop0:50070


    dfs.namenode.secondary.http-address
    hadoop0:50090

7. 配置yarn-site.xml

    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.nodemanager.aux-services.mapreduce_shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler


    yarn.resourcemanager.resource-tracker.address
    hadoop0:8025


    yarn.resourcemanager.scheduler.address
    hadoop0:8030


    yarn.resourcemanager.address
    hadoop0:8050

完成以上 *** 作即可配置完成。

Hadoop验证

启动之前需要格式化，启动后开查看进程信息，浏览文件，验证是否能正常运行。

格式化命令：

hadoop namenode -format

如果没有报错则格式化成功

启动Hadoop

start-all.sh

若果没有报错则正常启动了

jps命令可查看进程信息

浏览文件

hadoop fs -ls /

浏览器中访问

http://本机IP:50070

结果如图：

个人学习，当做笔记记录。有误还望指出，仅供参考！