Hadoop平台搭建（四）--Ya

Hadoop平台搭建（四）--Ya

Ya

1. 切换到hadoop下面的etc（配置文件都在etc下面）
2. 在hadoop中配置core-site.xml

Vi core-site.xml

指定HDFS中namenode的地址。将命令放到configuration标签中

fs.defaultFS

    hdfs://hadoop100:9820

        hadoop.tmp.dir

        /opt/module/hadoop-3.1.3/data/tmp

3.在hadoop中配置hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

        dfs.replication

        1

4.格式化NameNode（第一次启动时格式化，以后就不要总格式化）

格式化命令：hdfs namenode –format

5.启动namenode          

命令：hdfs  - -daemon  start  namenode

6.启动datanode

命令：hdfs  --daemon start datanode

7.配置yarn-site.xml

命令：vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

hadoop100

 

  yarn.nodemanager.env-whitelist        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

 

8.配置mapred-site.xml

命令：[root@hadoop100 hadoop]# vi mapred-site.xml

                mapreduce.framework.name

                yarn

9.启动resourcemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start resourcemanager

10.启动nodemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start nodemanager

11.Jsp查看java进程

命令：jsp

12.在HDFS中创建文件夹/user/input

命令：hdfs dfs -mkdir -p /user/input

13.将文件上传到HDF

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

14.查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径   

注意，这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

15.查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /user/input/wc.input

16.执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

案例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

17.查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /user/output/*

18.停止进程 hdfs –daemon stop namenode