sqoop import-all-tables --connect jdbc:mysql://ip:3306/dbname --username user --password password --hive-database abc -m 10 --create-hive-table --hive-import --hive-overwrite
import-all-tables :导入所有表
--connect :连接的url地址
--username:mysql用户名
--password:mysql密码
直接导入hive表
sqoop
import
--connect
jdbc:postgresql://ip/db_name--username
user_name
--table
table_name
--hive-import
-m
5
内部执行实际分三部,1将数据导入hdfs(可在hdfs上找到相应目录),2创建hive表名相同的表,3,将hdfs上数据传入hive表中
sqoop根据postgresql表创建hive表
sqoop
create-hive-table
--connect
jdbc:postgresql://ip/db_name
--username
user_name
--table
table_name
--hive-table
hive_table_name(
--hive-partition-key
partition_name若需要分区则加入分区名称)
导入hive已经创建好的表中
sqoop
import
--connect
jdbc:postgresql://ip/db_name
--username
user_name
--table
table_name
--hive-import
-m
5
--hive-table
hive_table_name
(--hive-partition-key
partition_name
--hive-partition-value
partititon_value);
使用query导入hive表
sqoop
import
--connect
jdbc:postgresql://ip/db_name
--username
user_name
--query
"select
,
from
retail_tb_order
where
\$CONDITIONS"
--hive-import
-m
5
--hive-table
hive_table_name
(--hive-partition-key
partition_name
--hive-partition-value
partititon_value);
注意:$CONDITIONS条件必须有,query子句若用双引号,则$CONDITIONS需要使用\转义,若使用单引号,则不需要转义。
把运行命令贴一下呗!
(不过,你是不是执行过"grant all localhost" *** 作呀?如果是那样的话, 你用root用户就登不上了,你换到登陆系统的那个用户名下试试。)
以上就是关于sqoop导入mysql整库怎么overwrite全部的内容,包括:sqoop导入mysql整库怎么overwrite、如何用sqoop将hive分区表信息导入到mysql命令、一个sqoop 导入数据库的问题 不知道什么原因 我把权限都给了 怎么提示我权限不对等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)