Sqoop将Hive表中数据导入MySQL中,进程死住,不执行该怎么办

Sqoop将Hive表中数据导入MySQL中,进程死住,不执行该怎么办,第1张

我也碰到同样问题,测试场景:

MYSQL有主键约束,而HIVE数据重复,HIVE到MYSQL过程中出现僵死(未查看详细日志,必然报SQL错误),最后手动杀掉执行进程的。

此现象直接导致程序无法结束(也会因为可能存在异常而去实时检测LOG),如果在执行过程中产生异常时SQOOP能自动退出、或获取错误堆栈就好了,可惜啊

2# 昨天晚上又发生了类似的情况。。。看了日志,显示如下:mysqldump: Couldn't execute 'FLUSH TABLES WITH READ LOCK': MySQL server has gone away (2006)现在好像明白了,因为mysql server被中断了,所以定时备份的mysqldump无法执行FLUSH TABLES WITH READ LOCK这条语句,所以进程一激发就死在那里了,占用了大量的资源。总结: mysqldump程序竟然会激发FLUSH TABLES WITH READ LOCK?! 但貌似只是锁很短的时间,然后自行解锁。(参考很多资料,说mysqldump的在线备份不会锁表的阿!)如果在这个时间里,mysql server出问题了,那么flush tables with read lock进程就僵死在那里了,然后就出现了应用界面无法访问数据库的情况。不过还是很疑惑哦,以后继续关注这个问题吧。。。hehe


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/7366261.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-04
下一篇 2023-04-04

发表评论

登录后才能评论

评论列表(0条)

保存