教你使用Sqoop一次性将mysql中的十张表导入到hive中

教你使用Sqoop一次性将mysql中的十张表导入到hive中,第1张

​🏠​ 个人主页:csdn春和
​🛰​ 推荐专栏:更多专栏尽在主页!
 JavaWeb专栏(从入门到实战超详细!!!)
 SSM专栏 (更新中)
​📖​ 本期文章:Sqoop一次性将mysql中的十张表同步到hive
如果对您有帮助还请三连支持,定会一 一回访!


本文目录 1、实验需求2、实验步骤0、实验前提1、在mysql中准备十张表2、编写shell脚本一次性导入十张表3、修改脚本执行权限4、执行脚本5、查看实验结果

前言:这是一篇实验随记文章,记录笔者学习过程中做的一些实验。第八次作业:将mysql中的十张表导入到大数据平台hive中

1、实验需求

一次性将mysql中的十张表导入到hive中

2、实验步骤 0、实验前提

启动hadoop集群并且开启hive服务 hive2后面需要使用到

1、在mysql中准备十张表

2、编写shell脚本一次性导入十张表
#! bin/bash
for ((i=0;i<10;i++))
do
 bin/sqoop import --connect jdbc:mysql://hadoop02:3306/study --username root --password 123456 --table t$i --num-mappers 1 --hive-import --fields-terminated-by "\t" --hive-overwrite --hive-table t${i}_hive
 echo "import t$i successfully!"
done

就这样简单的shell脚本编写完成,笔者shell脚本的知识遗忘的厉害,如果您有更好的做法强烈建议您私信我!!!

3、修改脚本执行权限
chmod +x t.sh

4、执行脚本

执行t.sh脚本,等待执行完成

在此之间会有很多日志打印我们挑选一些来看

5、查看实验结果

查看hdfs

查看hive shell

查询数据试试

到此数据从mysql表中导入到hive完成,在这里面也有许多可以优化的地方,比如循环执行怎样提高执行的效率等!这里我们先不做深究…

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/990994.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-21
下一篇 2022-05-21

发表评论

登录后才能评论

评论列表(0条)

保存