如何在win7安装hadoop

环境及软件准备：
win7（64位）
cygwin 179-1
jdk-6u25-windows-x64zip
hadoop-0202targz
1安装jdk，并置java环境变量包括：JAVA_HOME，PATH，CLASSPATH
2安装Hadoop，版本为0202，我是直接放到/home目录下，并解压
tar –zxvf
hadoop-0202targz
3配置Hadoop，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-envsh、core-sitexml、hdfs-sitexml
和mapred-sitexml
(1) 修改hadoop-envsh：
只需要将JAVA_HOME 修改成JDK 的安装目录即可
export
JAVA_HOME=/cygdrive/d/java/jdk160_25
（注意：路径不能是windows 风格的目录d:\java\jdk160_25，而是LINUX
风格/cygdrive/d/java/jdk160_25）
(2) 修改core-sitexml：（指定namenode）
<configuration>
<property>
<name>fsdefaultname</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(3)修改hdfs-sitexml（指定副本为1）
<configuration>
<property>
<name>dfsreplication</name>
<value>1</value>
</property>
</configuration>
(4) 修改mapred-sitexml （指定jobtracker）
<configuration>
<property>
<name>mapredjobtracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4验证安装是否成功，并运行Hadoop
(1) 验证安装
$ bin/hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Reduce admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src> <dest> create a hadoop archive
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters
(2) 格式化并启动Hadoop
bin/hadoop namenode –format
bin/start-allsh
(3) 查看Hadoop
命令行查看：
$ jps
1608 NameNode
6572 Jps
6528 JobTracker
（注意：win7下cygwin中DateNode和TaskTracker进程是无法显示的，好像是cygwin的问题）

1、安装JDK16或更高版本

官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。

2、安装Cygwin

Cygwin是Windows平台下模拟Unix环境的工具，需要在安装Cygwin的基础上安装Hadoop

根据 *** 作系统的需要下载32位或64的安装文件。

1)、双击下载好的安装文件，点击下一步，选择install from internet

2）、选择安装路径

3）、选择local Package Directory

4）、选择您的Internet连接方式

5）、选择合适的安装源，点击下一步

6）、在Select Packages界面里，Category展开net，选择如下openssh和openssl两项

如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed

如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim

7）、点击“下一步”，等待安装完成。

3、配置环境变量

在“我的电脑”上点击右键，选择菜单中的“属性"，点击属性对话框上的高级页签，点击”环境变量"按钮，在系统变量列表里双击“Path”变量，在变量值后输入安装的Cygwin的bin目录，例如：D:\hadoop\cygwin64\bin

4、安装sshd服务

双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令

执行后，会提示输入密码，否则会退出该配置，此时输入密码和确认密码，回车。最后出现Host configuration finishedHave fun!表示安装成功。

输入net start sshd，启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

可能会遇到无法安装和启动sshd服务的问题，可参考此连接>

另外如果是Win8 *** 作系统，启动Cygwin时，需要以管理员身份运行（右键图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。

5、配置SSH免密码登录

执行ssh-keygen命令生成密钥文件

如下图所示，输入：ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa，注意-t -P -f参数区分大小写。

ssh-keygen是生成密钥命令

-t 表示指定生成的密钥类型(dsa,rsa)

-P表示提供的密语

-f指定生成的密钥文件。

注意:~代表当前用户的文件夹，/home/用户名

执行此命令后，在你的Cygwin\home\用户名 路径下面会生成ssh文件夹，可以通过命令ls -a /home/用户名  查看，ssh -version命令查看版本。

执行完ssh-keygen命令后，再执行下面命令，就可以生成authorized_keys文件了。

　cd ~/ssh/
　cp id_dsapub authorized_keys

如下图所示：

然后执行exit命令，退出Cygwin窗口

6、再次在桌面上双击Cygwin图标，打开Cygwin窗口，执行ssh localhost命令，第一次执行该命令会有提示，输入yes后，回车即可。如下图所示

7、安装Hadoop

把hadoop压缩包解压到/home/用户名 目录下，文件夹名称更改为hadoop，可以不修改，但后边在执行命令时稍显麻烦。

（1）单机模式配置方式

单机模式不需要配置，这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。

（2）伪分布模式

可以把伪分布模式看作是只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。

这种模式下修改几个配置文件即可。

配置hadoop-envsh，记事本打开改文件，设置JAVA_HOME的值为你的JDK安装路径，例如：

　JAVA_HOME="D:\hadoop\Java\jdk170_25"　

配置core-sitexml

<xml version="10">
<xml-stylesheet type="text/xsl" href="configurationxsl">
<!-- Put site-specific property overrides in this file -->
<configuration>
<property>
<name>fsdefaultname</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapredchildtmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>

配置hdfs-sitexml

<xml version="10">
<xml-stylesheet type="text/xsl" href="configurationxsl">
<!-- Put site-specific property overrides in this file -->
<configuration>
<property>
<name>dfsreplication</name>
<value>1</value>
</property>
</configuration>

配置mapred-sitexml

<xml version="10">
<xml-stylesheet type="text/xsl" href="configurationxsl">
<!-- Put site-specific property overrides in this file -->
<configuration>
<property>
<name>mapredjobtracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapredchildtmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>

8、启动Hadoop

打开Cgywin窗口，执行cd ~/hadoop命令，进入hadoop文件夹，如下图：

启动Hadoop前，需要先格式化Hadoop的文件系统HDFS，执行命令：bin/hadoop namenode -format

注意namenode要小些，否则如果输入NameNode，会提示错误，找不到或无法加载主类NameNode。执行正确命令后如下图所示：

输入命令 bin/start-allsh，启动所有进程，如下图：

接下来，验证是否安装成功

打开浏览器，分别输入下列网址，如果能够正常浏览，说明安装成功。

localhost:50030，回车打开MapReduce的web页面，如下图（页面部分截图）：

localhost:50070，回车打开HDFS的web页面，如下图（页面部分截图）：

第一次启动后，如果都不能浏览，或不能浏览某一个，退出Cygwin，重新打开Cygwin，执行bin/start-allsh命令。

如果只想启动MapReduce，可执行bin/start-mapredsh命令。

如果只想启动HDFS，可执行bin/start-dfssh命令。

启动Hadoop
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format
在分配的NameNode上，运行下面的命令启动HDFS：
$ bin/start-dfssh
bin/start-dfssh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$ bin/start-mapredsh
bin/start-mapredsh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。
-----来自官方文档

在CentOS系统下，主要有两种方法设置自己安装的程序开机启动。
1、把启动程序的命令添加到/etc/rcd/rclocal文件中，
hadoop241安装在/usr/local/hadoop/,他的启动命令在/usr/local/hadoop/sbin/start-allsh，把路径加入/etc/rcd/rclocal文件中就可以了。加入后的文件如下：
#!/bin/sh
#
# This script will be executed after all the other init scripts
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff
touch /var/lock/subsys/local
/usr/local/hadoop/sbin/start-allsh
#启动hadoop
/usr/local/apache/bin/apachectl start
#启动apache >在/etc/profile下添加如下两条环境变量
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djavalibrarypath=$HADOOP_PREFIX/lib"
source /etc/profile
再启动hadoop
如果还不行，在你按照版本的解压缩包里找到native文件夹 吧原来的替换掉

---