如何配置hive访问其他服务器的hadoop

/etc/ansible/hosts 文件如下：

将hosts文件下发到各服务器

将配置文件分发到各节点的 /etc/profiled/ 目录下。
javash

hadoopsh

hdfssh

分发

用ansible 创建 组、用户

NameNode

or

DataNode

or

配置文件 见 附件1

在active namenode上，以 hdfs 执行

在5台salve上，以 hdfs 执行

如果不提前创建/tmp目录，并配置权限，后面其他组件的运行会有问题。以 hdfs 执行:

给MapRed创建的staging directory。以 hdfs 执行:

在YARN上，以 yarn 执行

在5台salve上，以 hdfs 执行

在启动hdfs集群后启动

配置文件目录 /root/hadoop/conf

chronyconf

core-sitexml

core-site-mapredxml

core-site-ooziexml

hdfs-site-masterxml

hdfs-site-slavexml

yarn-sitexml

mapred-sitexml

hadoop-envsh
yarn-envsh
mapred-envsh
添加如下：

在namenode节点上

在yarn resourcemanager节点上

21 准备

克隆三台虚拟机：hadoop102 hadoop103 hadoop104，
修改克隆虚拟机的静态 IP：vim /etc/sysconfig/network-scripts/ifcfgens33

修改主机名称 vim /etc/hostname

配置 Linux 克隆机主机名称映射 hosts 文件：vim /etc/hosts

reboot

安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK

解压、配置 JDK 环境变量，测试：java -version

Hadoop 下载地址：>名称节点是hdfs集群的主服务器是用来存放元数据的。名称节点主要以元数据的形式进行管理和存储，用于维护文件系统名称并管理客户端对文件的访问，名称节点记录对文件系统名称空间或其属性的任何更改 *** 作，HDFS负责整个数据集群的管理，并且在配置文件中可以设置备份数量，这些信息都由名称节点存储。

---