mac安装hadoop

mac安装hadoop

1.安装Hadoop

首先确保正确安装了brew以及jdk,在终端键入：

 1.安装Hadoop

首先确保正确安装了brew以及jdk,在终端键入：

 来查看hadoop的版本信息（此处为3.2.1版本)

2.配置Hadoop

(1)配置环境变量HADOOP_HOME(注意版本号的区别)：

 (2)修改配置文件:

默认情况下，Hadoop的配置文件在如下目录中：

/usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/

可以利用ls命令查看目录下的内容：

红色标出的四个文件就是我们需要修改的配置文件，利用vim和xcode进行修改均可

配置hadoop-env.sh文件：

如上图，去掉92行的注释，并且添加变量JAVA_HOME的路径，JAVA_HOME的值可以通过指令获取：

 配置mapred-site.xml：

该文件指定MapReduce的访问地址,localhost指本主机，对应IP为127.0.0.1, 8021则为端口号

配置hdfs-site.xml

设置备份机制,按理来说，hdfs的每个数据块有三个副本，分布在多个机架内的三个不同的DataNode中，但是大部分初学者要使用的只是本地模式以及伪分布模式，所以用不着三个备份，改为一个即可：

3.格式化

4.运行

至此，应该可以启动hdfs了

hadoop 的可执行程序在
/usr/local/Cellar/hadoop/3.2.1/sbin/ 目录下
(注意版本号)。

进入sbin目录，执行启动程序：

可以通过 jps(Java Virtual Machine Process Status Tool)命令查看进程的大概状况：

打开 http://localhost:9870/ 发现此时已经能访问了。如图：