linux 安装hadoop

linux 安装hadoop 1、下载hadoop 文件

2、解压

tar -xzvf xxxx

3、解压后文件

4、修改etc/hadoop/hadoop-env.sh 文件的java环境，将java安装路径加进去

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64

5、配置hadoop环境变量 /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3  
export PATH=$PATH:$HADOOP_HOME/bin  

生效文件

source /etc/profile  

修改etc/hadoop/core-site.xml 文件

  
      
      
        fs.defaultFS  
        hdfs://localhost:9000  
      
      
      
        hadoop.tmp.dir  
        /usr/hadoop/tmp  
      
  

修改 etc/hadoop/hdfs-site.xml

  
      
        dfs.name.dir  
        /usr/hadoop/hdfs/name  
        namenode上存储hdfs名字空间元数据    
      
  
      
        dfs.data.dir  
        /usr/hadoop/hdfs/data  
        datanode上数据块的物理存储位置  
      
  
  
      
      
        dfs.replication  
        1  
      
  

SSH免密码登录

ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa  
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
chmod 0600 ~/.ssh/authorized_keys  

hdfs启动与停止

第一次启动hdfs需要格式化，之后启动就不需要的

cd /usr/hadoop/hadoop-2.7.3  
./bin/hdfs namenode -format  

将start-dfs.sh，stop-dfs.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

启动命令：
./sbin/start-dfs.sh
停止命令：
./sbin/stop-dfs.sh

会启动namenode,datanode,secondarynamenode
浏览器输入：http://119.29.174.43:50070

##############

接下来配置yarn文件. 配置etc/hadoop/mapred-site.xml 。这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn，把重命名还原

vi mapred-site.xml

  
      
      
        mapreduce.framework.name  
        yarn  
      
  

配置 etc/hadoop/yarn-site.xml文件

  
      
      
        yarn.nodemanager.aux-services  
        mapreduce_shuffle  
      
  

将start-yarn.sh，stop-yarn.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动yarn

./sbin/start-yarn.sh
停止： ./sbin/stop-yarn.sh

会启动resourcemanager，nodemanager

浏览器输入：http://119.29.174.43:8088 (8088是默认端口，如果端口占用，先把占用的端口杀掉 netstat -ano)