windows下安装hadoop注意点

在windows下安装Hadoop时遇到如下问题：

1.windows下启动hadoop提示（hadoop version）

 JAVA_HOME is incorrectly set.

原因：目录的dos文件名模式下的缩写，长于8个字符的文件名和文件夹名，都被简化成前面6个有效字符，后面~1，有重名的就 ~2,~3,

解决方法：在java_home的路径里用PROGRA~1 代替 C:\Program Files

例：java_home=C:\PROGRA~1\Java\jdk1.8.0_121

2.windos的 cmd命令里面的call必须定格写。

解决方法：将Hadoop安装目录下的bin目录下的所有的*.cmd文件中的call语句前边的 空格删掉。

1、安装Cygwin

下载cygwin的setup.exe，双击运行：

选择从Internet安装：

设置安装目录：

设置安装包目录：

设置“Internet Connection”的方式，选择“Direct Connection”：

选择一个下载站点：

“下一步”之后，可能会d出下图的“Setup Alert”对话框，直接“确定”即可

在“Select Packages”对话框中，必须保证“Net Category”下的“OpenSSL”被安装：

如果还打算在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”：

“Devel Category”下的subversion 建议安装：

下载并安装：

当下载完后，会自动进入到“setup”的对话框：

在上图所示的对话框中，选中“Create icon on Desktop”，以方便直接从桌面上启动

Cygwin，然后点击“完成”按钮。至此，Cgywin 已经安装完成。

2、配置环境变量

需要配置的环境变量包括PATH 和JAVA_HOME：将JDK 的bin 目录、Cygwin 的bin 目录

以及Cygwin 的usr\bin（sbin）目录都添加到PATH 环境变量中；JAVA_HOME 指向JRE 安装目录。

3、windows系统上运行hadoop集群，伪分布式模式安装步骤：

①启动cygwin，解压hadoop安装包。通过cygdrive（位于Cygwin根目录中）可以直接映射到windows下的各个逻辑磁盘分区。例如hadoop安装包放在分区D：\下，则解压的命令为＄ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解压后可使用ls命令查看，如下图：

默认的解压目录为用户根目录，即D：\cygwin\home\lsq（用户帐户）。

②编辑conf/hadoop-env.sh文件，将JAVA_HOME变量设置为java的安装目录。例如java安装在目录C：\Program Files\java\jdk1.6.0_13,如果路径没空格，直接配置即可。存在空格，需将Program Files缩写成Progra_1,如下图：

③依次编辑conf目录下的core-site.xml、mapred-site.xml和hdfs-site.xml文件，如下图：

④安装配置SSH

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令，然后按下图上的选择输入：

当提示Do you want to use a different name?输入yes，这步是配置安装的sshd服务，以哪个用户登录，默认是cyg_server这个用户，这里就不事先新建cyg_server这个用户，用当前本机的超管本地用户：chenx，后续根据提示，2次输入这个账户的密码

出现Host configuration finished. Have fun! 一般安装顺利完成。如下图：

输入命令$ net start sshd，启动SSH，如下图：

注：sshd服务安装完之后，不会默认启动，如果启动报登录失败，不能启动，可在服务属性-Log On窗口手工修改，在前述的过程之中，cygwin不会校验密码是否正确，应该只是校验了2次的输入是否一致，然后再手工启动。不知道为什么，sshd服务如果选择local system的登录方式，后续会有问题，所以sshd服务最好设置成当前的登录用户。

⑤配置ssh登录

执行ssh-keygen命令生成密钥文件

输入如下命令：

cd ~/.ssh

ls -l

cat id_rsa.pub >>authorized_keys

完成上述 *** 作后，执行exit命令先退出Cygwin窗口，如果不执行这一步 *** 作，下面的 *** 作可能会遇到错误。接下来，重新运行Cygwin，执行ssh localhost命令，在第一次执行ssh localhost时，会有“are you sure you want to continue connection<yes/no>?”提示，输入yes，然后回车即可。当出现下图提示，即顺利完成该步：

⑥hadoop运行

格式化namenode

打开cygwin窗口，输入如下命令：

cd hadoop-0.20.2

mkdir logs

bin/hadoop namenode –format

启动Hadoop

在Cygwin 中，进入hadoop 的bin 目录，

运行./start-all.sh 启动hadoop；

可以执行./hadoop fs -ls /命令，查看hadoop 的根目录；

可以执行jps 查看相关进程；

如下图：（如果显示和下图类似，一般hadoop安装/启动成功）

好。步骤如下

1、下载安装JDK，以及Eclipse

具体看此链接：http://blog.csdn.net/weixuehao/article/details/17715793

2、新建JAVA Project

3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录

4、选中OperateHDFS，右击，选择“property”，d出右侧的窗口；

选择“Java Build Path” —— “Libraries” —— Add External Jars

5、到上面的画面后，下面就是选择开发hadoop程序时，用到的一些jar包

将lib文件夹下的所有的jar包，添加进去；将红框内的jar包，安装进去。

6、创建配置文件夹

7、将core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夹中。

8、右键->属性 进行如下 *** 作，添加刚刚创建conf文件夹

配置搞定！

写代码的过程中要写入的namenode和jobtracker地址(修改为你自己的)

在你的代码中，加入如下代码就可以了

Configuration conf = new Configuration()；

conf.set("fs.default.name","192.1.1.2:9000")

conf.set("mapred.job.tracker","192.1.1.2:9001")

---