Sqoop的安装

Sqoop的安装

国内镜像下载地址为：

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

上传sqoop到master的/home/hadoop目录

把sqoop解压到/usr/local

sudo tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/

进入该目录

cd /usr/local/

将解压后的文件目录重命名为sqoop 

sudo mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

 授权当前用户拥有访问sqoop目录的所有者权限

sudo chown -R hadoop sqoop

 进入sqoop安装目录下的conf目录

cd /usr/local/sqoop/conf/

 重命名sqoop-env-template.sh为sqoop-env.sh

mv sqoop-env-template.sh sqoop-env.sh

 编辑sqoop-env.sh

vim sqoop-env.sh

 把第23，26，29，32，35行，分别设置为hadoop，hadoop，hbase，hive，zookeeper的安装目录

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export Hbase_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
export ZOOCFGDIR=/usr/local/zookeeper

 进入sqoop安装目录下的lib目录

cd /usr/local/sqoop/lib/

 把MySQL驱动文件上传上去
(注意:用xftp上传到/usr/local/sqoop/lib/ 内）

查看上传是否成功 拷贝hive的jar文件到lib目录

cp /usr/local/hive/lib/hive-common-2.3.9.jar /usr/local/sqoop/lib/ 

 编辑环境变量文件

vim /home/hadoop/.bashrc

 在环境变量尾部添加内容

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

 

 刷新环境变量

source /home/hadoop/.bashrc

验证安装是否成功

sqoop version

 查看mysql管理员账号密码

sudo cat /etc/mysql/debian.cnf

 使用管理员账户和密码登陆Mysql

mysql -u debian-sys-maint -p

 创建sqoop数据库，用来存储实验相关的表

CREATE DATAbase IF NOT EXISTS sqoop;

创建sqoop用户，设置密码为123456

CREATE USER 'sqoop'@'%' IDENTIFIED BY '123456';

 授予sqoop用户 *** 纵sqoop数据库的权限

GRANT ALL PRIVILEGES ON sqoop.* TO 'sqoop'@'%';
flush privileges;

 退出MySQL

exit