hadoop2.7配置文件在哪个目录

(1)dfs.replication:指定DataNode存储block的副本数量,不大于DataNode的个数就行

(2)dfs.nameservices：cluster1,cluster2，使用federation(HDFS联盟)时，如果使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起，相互不重复即可

(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102，指定NameService是cluster1时的namenode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可

(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020，指定hadoop101的RPC地址

(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址！

1：.准备Linux环境

1.0点击VMware快捷方式，右键打开文件所在位置 ->双击vmnetcfg.exe ->VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 ->apply ->ok

回到windows -->打开网络和共享中心 ->更改适配器设置 ->右键VMnet1 ->属性 ->双击IPv4 ->设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 ->点击确定

在虚拟软件上 --My Computer ->选中虚拟机 ->右键 ->settings ->192network adapter ->host only ->ok

1.1修改主机名

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=itcast

1.2修改IP

通过Linux图形界面进行修改

进入Linux图形界面 ->右键点击右上方的两个小电脑 ->点击Edit connections ->选中当前网络System eth0 ->点击edit按钮 ->选择IPv4 ->method选择为manual ->点击add按钮 ->添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 ->apply

1.3修改主机名和IP的映射关系

vim /etc/hosts

192.168.1.101itcast

1.4关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启et动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

1.5重启Linux

reboot

#####################################################################

2.安装JDK

2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

//在主机crt中，联192.168.1.101

2.2解压jdk

#创建文件夹

mkdir /home/hadoop/app

#解压

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

#解压的时候注意是路径 要在[root@itcast~]下

2.3将java添加到环境变量中

#在文件最后添加 #注意添加的jdk路径

export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585

export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

#[root@itcast app] ls 看一下是否成功

####################################################################

3.安装hadoop2.4.1

#同上jdk 上传 解压#

先上传hadoop的安装包到服务器上去/home/hadoop/

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

3.1配置hadoop

# 进入 hadoop2.4.1 的etc中的 hadoop

第一个：hadoop-env.sh

vim hadoop-env.sh：

#第27行

export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://weekend-1206-01:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

</property>

第三个：hdfs-site.xml hdfs-default.xml (3)

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>weekend-1206-01</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

3.2将hadoop添加到环境变量

hadoop2.4.1下的bin下设置

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65

export HADOOP_HOME=/itcast/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:

#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin::$HADOOP_HOME/bin

############################若无效可改用按以下式#################################

#vi /etc/profile或者vi ~/.bash_profile

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

然后用source重新编译使之生效即可！

#source /etc/profile或者source ~/.bash_profile 赞

################################################################################

$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

###########每次重启集群必须先格式化#########

hdfs namenode -format (hadoop namenode -format)

3.4启动hadoop

先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

3.5验证是否启动成功

使用jps命令验证

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

#缺一不可#

作者：孙思

---