如何在win7安装hadoop

环境及软件准备：

win7（64位）

cygwin 1.7.9-1

jdk-6u25-windows-x64.zip

hadoop-0.20.2.tar.gz

1.安装jdk，并置java环境变唯清扰量包括：JAVA_HOME，PATH，CLASSPATH

2.安装Hadoop，版本为0.20.2，我是直接放到/home目录下，并解压

tar –zxvf

hadoop-0.20.2.tar.gz

3.配置Hadoop，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml

和mapred-site.xml

(1) 修改hadoop-env.sh：

只需要将JAVA_HOME 修改成JDK 的安装目录即可

export

JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

（注意：路径不能是windows 风格的目录d:\java\jdk1.6.0_25，而是LINUX

风格/cygdrive/d/java/jdk1.6.0_25）

(2) 修改core-site.xml：（指定namenode）

<configuration>

<property>

<name>正改fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

(3)修改hdfs-site.xml（指定副本为1）

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(4) 修改mapred-site.xml （指定jobtracker）

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</指旦value>

</property>

</configuration>

4.验证安装是否成功，并运行Hadoop

(1) 验证安装

$ bin/hadoop

Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

namenode -format format the DFS filesystem

secondarynamenoderun the DFS secondary namenode

namenode run the DFS namenode

datanode run a DFS datanode

dfsadmin run a DFS admin client

mradmin run a Map-Reduce admin client

fsck run a DFS filesystem checking utility

fs run a generic filesystem user client

balancer run a cluster balancing utility

jobtracker run the MapReduce job Tracker node

pipesrun a Pipes job

tasktracker run a MapReduce task Tracker node

job manipulate MapReduce jobs

queueget information regarding JobQueues

version print the version

jar <jar> run a jar file

distcp <srcurl><desturl>copy file or directories recursively

archive -archiveName NAME <src>* <dest>create a hadoop archive

daemonlogget/set the log level for each daemon

or

CLASSNAMErun the class named CLASSNAME

Most commands print help when invoked w/o parameters.

(2) 格式化并启动Hadoop

bin/hadoop namenode –format

bin/start-all.sh

(3) 查看Hadoop

命令行查看：

$ jps

1608 NameNode

6572 Jps

6528 JobTracker

（注意：win7下cygwin中DateNode和TaskTracker进程是无法显示的，好像是cygwin的问题）

1、安装Cygwin

下载cygwin的setup.exe，双击运行：

选择从Internet安装：

设置安装目录：

设置安装包目录：

设置“Internet Connection”的方式，选择“Direct Connection”：

选择一个下载站点：

“下一步”之后，可能会d出下图的“Setup Alert”对话做销框，直接“确定”即可

在“Select Packages”对话框中，必须保证“Net Category”下的“OpenSSL”被安装：

如果还打算在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”：

“Devel Category”下的subversion 建议安装：

下载并安装：

当下载完后，会自动进入到“setup”的对话框：

在上图所示的对话框中，选中“Create icon on Desktop”，以方便直接从桌面上启动

Cygwin，然后点击“完悄桐成”按钮。至此，Cgywin 已经安装完成。

2、配置环境变量

需要配置的环境变量包括PATH 和JAVA_HOME：将JDK 的bin 目录、Cygwin 的bin 目录

以及Cygwin 的usr\bin（sbin）目录都添加到PATH 环境变量中；JAVA_HOME 指向JRE 安装目录。

3、windows系统上运行hadoop集群，伪分布式模式安装步骤：

①启动纯运游cygwin，解压hadoop安装包。通过cygdrive（位于Cygwin根目录中）可以直接映射到windows下的各个逻辑磁盘分区。例如hadoop安装包放在分区D：\下，则解压的命令为＄ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解压后可使用ls命令查看，如下图：

默认的解压目录为用户根目录，即D：\cygwin\home\lsq（用户帐户）。

②编辑conf/hadoop-env.sh文件，将JAVA_HOME变量设置为java的安装目录。例如java安装在目录C：\Program Files\java\jdk1.6.0_13,如果路径没空格，直接配置即可。存在空格，需将Program Files缩写成Progra_1,如下图：

③依次编辑conf目录下的core-site.xml、mapred-site.xml和hdfs-site.xml文件，如下图：

④安装配置SSH

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令，然后按下图上的选择输入：

当提示Do you want to use a different name?输入yes，这步是配置安装的sshd服务，以哪个用户登录，默认是cyg_server这个用户，这里就不事先新建cyg_server这个用户，用当前本机的超管本地用户：chenx，后续根据提示，2次输入这个账户的密码

出现Host configuration finished. Have fun! 一般安装顺利完成。如下图：

输入命令$ net start sshd，启动SSH，如下图：

注：sshd服务安装完之后，不会默认启动，如果启动报登录失败，不能启动，可在服务属性-Log On窗口手工修改，在前述的过程之中，cygwin不会校验密码是否正确，应该只是校验了2次的输入是否一致，然后再手工启动。不知道为什么，sshd服务如果选择local system的登录方式，后续会有问题，所以sshd服务最好设置成当前的登录用户。

⑤配置ssh登录

执行ssh-keygen命令生成密钥文件

输入如下命令：

cd ~/.ssh

ls -l

cat id_rsa.pub >>authorized_keys

完成上述 *** 作后，执行exit命令先退出Cygwin窗口，如果不执行这一步 *** 作，下面的 *** 作可能会遇到错误。接下来，重新运行Cygwin，执行ssh localhost命令，在第一次执行ssh localhost时，会有“are you sure you want to continue connection<yes/no>?”提示，输入yes，然后回车即可。当出现下图提示，即顺利完成该步：

⑥hadoop运行

格式化namenode

打开cygwin窗口，输入如下命令：

cd hadoop-0.20.2

mkdir logs

bin/hadoop namenode –format

启动Hadoop

在Cygwin 中，进入hadoop 的bin 目录，

运行./start-all.sh 启动hadoop；

可以执行./hadoop fs -ls /命令，查看hadoop 的根目录；

可以执行jps 查看相关进程；

如下图：（如果显示和下图类似，一般hadoop安装/启动成功）

苹果系统不可以使用Hadoop的。不过为了稳好冲定，一般是在linux系统运行。如果在windows电脑上安装linux虚拟机，也可以在芹缺虚拟嫌袜辩机上部署hadoop，进行学习。

---