（超详细）数据转换工具Sqoop的实战

提示：在执行一个job时，如果需要手动输入数据库密码，可以做如下优化

    sqoop.metastore.client.record.password
    true
    If true, allow saved passwords in the metastore.

命令&参数：list-databases

命令：

如：

sqoop list-databases --connect jdbc:mysql://localhost:3306/ 
    --username root --password 'root123456'

参数：与公用参数一样

命令&参数：list-tables

命令：

如：

sqoop list-tables --connect jdbc:mysql://localhost:3306/company 
    --username root --password 'root123456'

参数：与公用参数一样

登录MySQL准备数据：

[root@BigData01 ~]# mysql -u root -p    # 输入密码即可
mysql> CREATE DATAbase studentdb;       # 创建数据库studentdb
mysql> USE studentdb;       # 使用该数据库
mysql> CREATE TABLE student(id INT,name VARCHAr(25) NOT NULL,age INT);      # 创建表student
mysql> INSERT INTO student(id,name,age) VALUE(1001,'zhangsan',18),(1002,'lisi',19),(1003,'wangwu',20);      # 向student表插入数据
mysql> SELECT * FROM student;       # 查看该表的数据

（1）数据从MySQL导入到HDFS中

sqoop import --connect jdbc:mysql://localhost:3306/studentdb --username root --password 'root123456' --table student -m 1

（2）查看结果

默认存储的路径在HDFS中的 user/<用户>/<表名>/ 中，比如：当前用户为root，则实际路径为：/user/root/student/，会在该路径下生成part-m-00000的文件

[root@BigData01 ~]# hadoop fs -ls -R /user/root/
drwxr-xr-x   - root supergroup       0 2021-12-10 11:05 /user/root/student
-rw-r--r--   1 root supergroup       0 2021-12-10 11:05 /user/root/student/_SUCCESS
-rw-r--r--   1 root supergroup      45 2021-12-10 11:05 /user/root/student/part-m-00000

（3）其他参数导入

注1：“-Dorg.apache.sqoop.splitter.allow_text_splitter=true”参数表示——当表的主键字段不是自增id，而是字符类型时。

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect 
    jdbc:mysql://localhost:3306/studentdb --username root --password 'password' 
    --table student

注2：“--num-mappers 1”或者“-m 1”，即最后汇总为一个输出文件。

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect 
    jdbc:mysql://localhost:3306/studentdb --username root --password 'password' 
    --table student --num-mappers 1

sqoop import --connect jdbc:mysql://localhost:3306/studentdb 
    --username root --password 'password' --table student --num-mappers 1

注3：可以指定导入到指定目录下，需要带上“ --warehouse-dir ”参数，比如：

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect 
    jdbc:mysql://localhost:3306/studentdb --username root --password 'password' 
    --table student --warehouse-dir /user/sqoop

注4：默认以短号分隔，可以更换为以t分隔数据（需带上“--fields-terminated-by ”参数）

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect 
    jdbc:mysql://localhost:3306/studentdb --username root --password 'password' 
    --table student --warehouse-dir /user/sqoop --fields-terminated-by 't' -m1 

在本地准备文件上传至Hadoop的HDFS中

[root@BigData01 ~]# vi sqoopdata.txt    # 输入几行数据
103  wangwu      22
102  lisi        21 
101  zhangsan    20
[root@BigData01 ~]# hadoop fs -mkdir -p /user/data
[root@BigData01 ~]# hadoop fs -put sqoopdata.txt /user/data/

在MySQL中创建好Hadoop数据导出的表：

[root@BigData01 ~]# mysql -u root -p
Enter password:
​
mysql> create database testdb;
Query OK, 1 row affected (0.00 sec)
​
mysql> use testdb;
Database changed
​
mysql> create table student(id int,name varchar(25) not null,age int);
Query OK, 0 rows affected (0.03 sec)
​
mysql> quit;
Bye

在命令行中输入命令导出数据到指定的MySQL表中存储

[root@BigData01 ~]# sqoop export --connect jdbc:mysql://localhost:3306/testdb?characterEncoding=UTF-8 
 --username root --password 'root123456' --table student 
 --export-dir '/user/data/*' --fields-terminated-by 't'

验证MySQL的表中是否有数据：

[root@BigData01 ~]# mysql -u root -p
Enter password:
​
mysql> use testdb;
Database changed
​
mysql> SELECt * FROM student;
+------+----------+------+
| id   | name     | age  |
+------+----------+------+
|  103 | wangwu   |   22 |
|  102 | lisi     |   21 |
|  101 | zhangsan |   20 |
+------+----------+------+
3 rows in set (0.00 sec)

（1）当导出时出现如下类似错误

ERROR mapreduce.ExportJobbase: Export job failed!
ERROR tool.ExportTool: Error during export:
    Export job failed!
    at org.apache.sqoop.mapreduce.ExportJobbase.runExport(ExportJobbase.java:445)
    at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
    at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
    at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

解决办法：

a. 在MySQL中授权：

对其他节点添加了远程访问，但没有对自己添加远程访问权限。

grant all privileges on *.* to 'root'@'%' identified by 'password' with grant option; 
​
flush privileges;

单独添加对 BigData01 的远程访问权限

grant all privileges on *.* to 'root'@'BigData01' identified by 'password' with grant option;   
​
flush privileges;

b. jdbc连接不要使用localhost，可使用host名称或IP地址。

c. 注意：HDFS数据文件的字段值和MySQL的字段对应，且注意字段类型和字符串长度问题。

d. 输入数据字段分隔符，输出数据字段分隔符

e. 若数据中存在中文的，则考虑连接数据库参数中加入 永久设置MySQL字符编码 -- 解决jdbc数据导入由于存在中文字符出错问题！

sqoop export --connect "jdbc:mysql://BigData01:3306/testDB?useUnicode=true&characterEncoding=utf8mb4" 
    --username root -password 'root123456' --table Users --input-fields-terminated-by "," 
    --export-dir '/user/root/Users/part-m-00000' --fields-terminated-by ','

下一篇：日志采集工具Flume的实战（超详细）

如果你喜欢、对你有帮助，点赞+收藏，跟着军哥学知识……