关于大数据Haoop虚拟环境的搭建

关于大数据Haoop虚拟环境的搭建

将jdk、hadoop安装包上传到服务器/usr 下（个人建议） 并解压到当前目录

进入usr目录下 解压： tar -zxvf 压缩包名称

删除压缩包：rm -rf 压缩包名称

修改文件夹名称：mv 旧名/ 新名

建议改为名称修改为以便后期清洗时用到 jdk   和   hadoop

1. 环境变量配置

1. 修改配置文件 vim /etc/profile

在文件下面添加环境配置：

可复制下面内容放到profile文件种最后：

export JAVA_HOME=/usr/jdk

export HADOOP_HOME=/usr/hadoop

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存退出后，使文件生效：source /etc/profile

1. Hadoop 配置
   1. 需要配置文件目录：/usr/hadoop/etc/hadoop
   2. 先进入 cd /usr/hadoop/etc/hadoop
      然后 vi hadoop-env.sh 进入hadoop环境中  JAVA_HOME=修改为：/usr/jd
   3. 配置 core-site.xml 。需要配置：外部访问地址路径、临时文件的存储目录   
          fs.defaultFS
          hdfs://192.168.229.141:8020        注意 ip地址为虚拟机的ip
      
      
          hadoop.tmp.dir
          /usr/hadoop/tmp
      
   4. hdfs-site.xml  主要设置：namenode、datanode、分布式数量

      dfs.replication

      1

      dfs.namenode.name.dir

      /usr/hadoop/tmp/dfs/name

      dfs.datanode.data.dir

      /usr/hadoop/tmp/dfs/data

   5. 1. Hadoop 格式化
         • hdfs namenode -format
      2. Hadoop 启动：
         • start-dfs.sh
         • 检查是否启动成功：jps