hdfs伪分布式部署

hdfs伪分布式部署,第1张

hdfs伪分布式部署 Hadoop 诠释 广义:以hadoop 为软件主的生态圈(sqoop flume spark flink hbase kafka) 狭义:hadoop 软件本身,开源

下载上传:
window电脑,rz命令 winscp软件 ,上传hadoop压缩包到Linux
建用户和文件夹:
useradd owner
id owner
su - owner
mkdir sourcecode software app log data lib tmp
(为什么自己要建个tmp目录,不使用自带的? 定期不访问,根据当前版本特性,默认30天自动清除;)
移动:
exit
mv /tmp/hadoop-3.2.2.tar.gz /home/owner/software/
chown owner:owner /home/owner/software/*
解压:
tar -xzvf hadoop-3.2.2.tar.gz -C …/app/
cd …/app
ln -s hadoop-3.2.2 hadoop
cd hadoop
JAVA安装:
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
生产部署时,确认当前JDK版本在不在该问题列表中;
unzip jdk1.8.0_121.zip
mkdir -p /usr/java
mv jdk1.8.0_121 /usr/java/
chown -R root:root /usr/java/*
/etc/profile配置全局环境变量
vi命令加入:
#owner env
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
source /etc/profile
ssh: 远程登录到目标地址(执行命令)
远程登录:ssh root@ip===》B机器
远程登录再执行命令,ssh root@ip001 date ,之后光标还在当前用户上
vi hadoop-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_121
伪分布式部署:
vi etc/hadoop/core-site.xml

fs.defaultFS hdfs://hadoop001:9000

vi etc/hadoop/hdfs-site.xml

dfs.replication 1

修正用户 用户组:
chown -R owner:owner hadoop/*
su - owner
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys #重中之重
格式化:
bin/hdfs namenode -format
NameNode daemon and DataNode daemon启动:
sbin/start-dfs.sh

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5609769.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-15
下一篇 2022-12-15

发表评论

登录后才能评论

评论列表(0条)

保存