哪位大神知道从安装hadoop2.7.1到配置文件的所有正确流程

需要技能：Linux shell 基本 *** 作
Hadoop hdfs 基本 *** 作
（网上文档很多）
需要文件：VMvare
Hadoop21以上包
（官网都可以下）
FTP工具
JDK
Linux
开始配置：
1：准备Linux环境
10点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfgexe -> VMnet1 host-only ->修改subnet ip 设置网段：19216810 子网掩码：2552552550 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：1921681100 子网掩码：2552552550 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> 192network adapter -> host only -> ok
11修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast
12修改IP
通过Linux图形界面进行修改
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：1921681101 子网掩码：2552552550 网关：19216811 -> apply
13修改主机名和IP的映射关系
vim /etc/hosts
1921681101 itcast
14关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启et动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
15重启Linux
reboot
#####################################################################
2安装JDK
21上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585targz
//在主机crt中，联1921681101
22解压jdk
#创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk-7u55-linux-i586targz -C /home/hadoop/app
#解压的时候注意是路径 要在[root@itcast~]下
23将java添加到环境变量中
#在文件最后添加 #注意添加的jdk路径
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
#[root@itcast app] ls 看一下是否成功
####################################################################
3安装hadoop241
#同上jdk 上传 解压#
先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
31配置hadoop
# 进入 hadoop241 的etc中的 hadoop
第一个：hadoop-envsh
vim hadoop-envsh：
#第27行
export JAVA_HOME=/usr/java/jdk170_65
第二个：core-sitexml
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fsdefaultFS</name>
<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadooptmpdir</name>
<value>/home/hadoop/app/hadoop-241/tmp</value>
</property>
第三个：hdfs-sitexml hdfs-defaultxml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfsreplication</name>
<value>1</value>
</property>
第四个：mapred-sitexml (mv mapred-sitexmltemplate mapred-sitexml)
mv mapred-sitexmltemplate mapred-sitexml
vim mapred-sitexml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduceframeworkname</name>
<value>yarn</value>
</property>
第五个：yarn-sitexml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarnresourcemanagerhostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarnnodemanageraux-services</name>
<value>mapreduce_shuffle</value>
</property>
32将hadoop添加到环境变量
hadoop241下的bin下设置
vim /etc/profile
export JAVA_HOME=/usr/java/jdk170_65
export HADOOP_HOME=/itcast/hadoop-241
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:
#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin::$HADOOP_HOME/bin
############################若无效可改用按以下式#################################
#vi /etc/profile或者vi ~/bash_profile
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djavalibrarypath=$HADOOP_HOME/lib"
然后用source重新编译使之生效即可！
#source /etc/profile或者source ~/bash_profile 赞
################################################################################
$HADOOP_HOME/sbin
source /etc/profile
33格式化namenode（是对namenode进行初始化）
###########每次重启集群必须先格式化#########
hdfs namenode -format (hadoop namenode -format)
34启动hadoop
先启动HDFS
sbin/start-dfssh
再启动YARN
sbin/start-yarnsh
35验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#缺一不可#
>

1安装CentOS70yum install ssh 安装SSH协议yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）service sshd restart 启动服务任务

2配置Master无密码登录所有Salve，在Master机器上生成密码对

3查看/home/hadoop/下是否有"ssh"文件夹，且"ssh"文件下是否有两个刚生产的无密码密钥对。

4接着在Master节点上做如下配置，把id_rsapub追加到授权的key里面去。

5设置SSH配置用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。设置完之后记得重启SSH服务，才能使刚才设置有效。

6退出root登录，使用hadoop普通用户验证成功同步另一台服务器的数据

hadoop访问控制两级其ServiceLevel Authorization系统级用于控制否访问指定服务例用户/组否向集群提交Job基础访问控制优先于文件权限mapred队列权限验证Access Control on Job Queuesjob调度策略层控制mapred队列权限DFSPermmision用户控制文件权限目前版本连接hadoop集群用户/组信息取决于客户端环境即客户端主机`whoami``bash –c groups`取用户名组名没uidgid用户属组列表要与集群配置用户组相同即拥该组权限
图" class="ikqb_img_alink">

配置hadoop服务器？我是用eclipse对HADOOP程序进行开发，可以直接hadoop/contrib/eclipse-plugin/hadoop-0202-eclipse-pluginjar拷贝到eclipse的plugins目录下就可以了。

---