Hadoop笔记

Hadoop笔记

• 安装虚拟机（CentOS）
• 修改主机名（当前虚拟机的主机名）

1. 查看当前的主机名

命令：hostname

1. 修改主机名

命令：vi /etc/hostname

（1）一定要在vi的命令模式下（在编辑模式下按esc键）

:wq保存退出

:wq!强制保存退出

:q退出

:q!强制退出

（2）编辑模式下：i当前光标所在的位置。

1. 启动--

命令：reboot -h now

补充：第二种修改主机名的方式

Hostnamectl set -hostname <自己编写的主机名>

Bash

• 修改ip地址（当前虚拟机的ip地址）

命令：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1. 修改为静态获取ip

BOOTPROTO=”static”

1. 添加IP地址

IPADDR=192.168.1.100

1. 添加网关

GATEWAY=192.168.1.2

1. 添加子网掩码

NETMASK=255.255.255.0

1. 添加域名解析器

DNS1=192.168.1.2

• 修改ip地址与主机名的映射

命令: vi /etc/hosts

添加对应的ip和相对应的主机名

Linux

一、修改虚拟机的网络配置

二、修改windows的网络配置

三、虚拟机的防火墙的开关（ping通的不用关闭，ping不通才需要关闭）

1.防火墙状态的查看

systemctl status firewalld

1. 关闭防火墙

systemctl stop firewalld

1. 开机防火墙不启动

systemctl disable firewalld

• 查看虚拟机当前的ip地址

1. ifconfig -a
2. ip addr

从windows去ping一下虚拟机的ip地址

能ping通，说明配置成功。

• 克隆

1.关闭需要克隆的虚拟机

关机命令：shutdown -h now

3.电脑安装的不是CentOS，模仿第2个问题进行 *** 作安装该镜像文件即可。

4.电脑启动虚拟机就蓝屏，可能是虚拟软件版本问题，在下面下载VM16版本进行安装

1. 配完静态ip后需要重启一下网络

命令：service network restart

1. windows电脑上--网络适配器没有vmwark net8

（一）

Vm虚拟机--虚拟的模拟电脑

Centos--电脑要安装的 *** 作系统（linux系统）

Moba--windows软件，windows和linux传输文件要用moba软件。

Jdk--linux下面的jdk

Hadoop--hadoop软件，linux下的软件。

（二）

1. 打开moba创建新的连接服务
2. 出现以下页面

1. 你之前ping192.168.1.100成功没有，没有这就打不开
2. 如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128
3. 如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新

我们需要在/opt下面创建两个文件夹

1. software：放软件的压缩包

创建software文件夹的命令：mkdir software

1. module：放软件解压后的文件夹

1. 切换到software文件夹下

cd  /opt/software

1. 解压jdk到module文件夹中

命令 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

• 配置jdk环境变量（慎重~~）

1. 输入vi /etc/profilei
2. Shift+g到最后一行

1. 之后esc   -------》  ：wq
2. 输入：source /etc/profile
3. 输入：java -version出现

就成功了~~~~

• 配置hadoop环境变量

1. 输入vi /etc/profile
2. Shift+g到最后一行

输入

（3）之后esc   -------》  ：wq

（4）输入：source /etc/profile

（5）输入：hadoop version

一、Hadoop的本地部署使用

目标1：统计一下一个词出现的次数~

1. 首先要有包含内容的文件

在/opt下面创建一个目录（文件夹）test

命令：

在/opt/test目录下面创建input目录（文件夹）和output目录（文件夹）

命令：

在/opt/test/input目录下创建包含内容的文件。（其实就是在文件中编辑文字）

命令:

1. 用hadoop去执行这个文件

切换到/opt/module/hadoop-3.1.3/share/hadoop/mapreduce目录下

执行文件：

hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt

1. 查看执行后的结果

命令：cd /opt/test/output/count.txt

命令：cat part-r-00000

二、Hadoop的伪分布式部署

目标2：

1. 配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hadoop-env.sh文件

Vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置core-site.xml文件

Vi core-site.xml

（3）修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hdfs-site.xml文件

Vi hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

        dfs.replication

        1

1. 启动集群

1. 格式化namenode

命令：Hdfs namenode -format

1. 启动namenode

命令：hdfs --daemon start