hadoop笔记

hadoop笔记

• 安装VM CentOS

1. vm蓝屏
2. Centos文件放在同一个文件夹下

二．修改主机名，ip，映射  hostnamectl set-hostname 主机名    ，vi /etc/hostname(重启)

Ip修改   vi /etc/sysconfig/network-scriots/ifcfg-ens33

映射 vi  /etc/hosts

三．网络配置   ①虚拟机

②windows电脑  

③关闭防火墙  查看防火墙状态：systemctl status firewalld   

关闭防火墙：systemctl status firewalld  

④ping  ip地址    

Ping外部ip地址   

Ping 百度网址  

⑤重启网络 service network restart

• 连接moba
• Jdk   hadoop部署

①创建两个文件夹，在opt下面，创建一个software和moduld文件夹

②安装jik和hadoop

③本地部署

④伪分布式部署

⑤克隆两台虚拟机

⑥完全分布式部署

免密

修改环境变量

修改配置文件  hadoop-env.sh  hdfs-site.xml   arn-site.xml  mapred-site.xml

设置集群分发   scp  -f 用户名@主机名: 地址

格式化namenode   需要删除data和logs文件夹  rm -f data   re -f logs

格式化命令namenode  

启动集群  

①单启

Hdfs --daemon start nameenode

Hdfs --daemon start datanode

Yarn --deamon start resourcemanger

②群启

start-all.sh

start-dfs.sh

start-yarn.sh

六．Hive配置

安装对应的rpm文件

①安装mysql    下载myaql linux安装包   将其上传到linux /opt/software中

解压到 /opt/module下

删除原来的nysql   测验虚拟机是否能够上网，获取插件：yum install-ylibaio

依次执行命令（按照顺序）

切换到/var/lib/myaql,并删除所有的文件

初始化mysql：mysql--initialize--user=symql

查看随机生成的密码： cat/var/log/

启动mysql服务：systemctl start sysqld

登录mysql：mysql-uroot -p

②安装hive

下载安装包 apache-hive-3.1.3-bin.tar.gz

上传到/opt/software/路径

解压ter-zxvf apache-hive-3.1.3-bin.tar.gz.-C /opt/module/

修改系统环境变量 vi/etc/profile 添加内容

保存 source /etc/profile

修改hive环境  cd/opt/module/hive/bin/回车后 vi hive-config.sh

拷贝hive配置文件：cd /opt/software/apache-hive-3.1.3-bin/conf/回车 cp hive-default.xml.template hive-site.xml

修改hive配置文件

上传mysql驱动包mysql-connector-java-8.0.15.zip 到/opt/software/apache-hive-3.1.3-bin/lib/文件夹下

确保mysql数据库里有名称为hive的数据库，然后初始化元数据库 chematool-dbType mysql-intSchema

确保hadoop启动 然后启动hive命令：hive然后检测是否启动成功show databases：

③修改环境配置

配置系统文件命令 vi /tc/profile

添加内容; expot HIVE_HOME=/opt/module/apach-hive3,1,2-bin

Expot PATH=SPATH:SHADOOP_HOME/sbin:SHIVE_HOME/bin

保存系统配置环境 souece /etc/profile

④启动

启动hadoop集群 命令start-all.sh

启动hive命令： hive

显示数据库命令： hive>show datababases;

出现表格及启动成功

七．zookeeper安装

1. 解压

cd /opt/module/

tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz

1. 创建数据库文件和目录文件

cd /opt/module/apache-zookeeper-3.5.5-bin/

mkdir data

mkdir log

1. 拷贝文件 配置文件更该

cd /opt/module/apache-zookeeper-3.5.7-bin/conf/

cp zoo_sample.cfg zoo.cfg

1. 配置服务器mysql

cd /opt/module/apache-zookeeper-3.5.5-bin/data/

touch myid

1. 集群拷贝

scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-bin

scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin

1. 集群myid更改

进入到每个节点，修改myid值

集群系统环境变量添加：vi /etc/profile

export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.5.5-bin

export PATH=$PATH:$ZOOKEEPER_HOME/bin

保存系统环境变量：source /etc/profile

关闭集群防火墙

1. 启动就群

cd /opt/module/apache-zookeeper-3.5.7-bin

zkServer.sh start

zkServer.sh status

• Hbase安装

文件解压    

cd /opt/module/

tar -zxvf hbase-2.2.0-bin.tar.gz

系统环境变量增加

vi /etc/profile

export Hbase_HOME=/opt/module/hbase-2.2.0

export PATH=$PATH:$Hbase_HOME/bin

保存系统环境变量：source /etc/profile

修改hbase变量

cd /opt/module/hbase-2.2.0/conf/

vi hbase-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212/

export Hbase_MANAGES_ZK=false