通过Sqoop提供的接口把两张表里面的数据同步到大数据平台的Hive数据仓库中。

通过Sqoop提供的接口把两张表里面的数据同步到大数据平台的Hive数据仓库中。,第1张

目录

一、首先启动hadoop、mysql、hive

二、同步数据之前,先在mysql中创建表

三、同步数据


一、首先启动hadoop、mysql、hive

 

二、同步数据之前,先在mysql中创建表

往表里面添加数据: 

三、同步数据

切换到sqoop目录下的bin目录
/opt/environment/sqoop-1.4.7/bin

列出mysql数据库中的所有数据库:
./sqoop list-databases -connect jdbc:mysql://192.168.43.129:3306/ -username root -password 123456
注:密码改成自己mysql的密码

连接mysql数据库,并列出mysql数据库中的所有表:
./sqoop list-tables -connect jdbc:mysql://192.168.43.129:3306/mysql -username root -password 123456

从关系数据库MySQL导入文件(数据)到Hive数据仓库中:

导入mysql下student这个表:
./sqoop import -connect jdbc:mysql://192.168.43.129:3306/mysql -username root -password 123456 -table student -hive-import -hive-table student -m 1 

导入成功,查看hive中的表,可以看到student这个表:
hive -e "SHOW TABLES"

 查看student表中的数据:
hive -e "select * from student"

同步成功!

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/719346.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-25
下一篇 2022-04-25

发表评论

登录后才能评论

评论列表(0条)

保存