Sqoop 命令参数_随笔

Sqoop 命令参数 Sqoop 命令参数 codegen

将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。
如：

sqoop codegen 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--bindir /home/admin/Desktop/staff 
--class-name Staff 
--fields-terminated-by "t"

序号参数说明1–bindir 指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径2–class-name 设定生成的Java文件指定的名称3–outdir 生成Java文件存放的路径4–package-name 包名，如com.z，就会生成com和z两级目录5–input-null-non-string 在生成的Java文件中，可以将null字符串或者不存在的字符串设置为想要设定的值（例如空字符串）6–input-null-string 将null字符串替换成想要替换的值（一般与5同时使用）7–map-column-java 数据库字段在生成的Java文件中会映射成各种属性，且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型，例如：–map-column-java id=long, name=String8–null-non-string 在生成Java文件时，可以将不存在或者null的字符串设置为其他值9–null-string 在生成Java文件时，将null字符串设置为其他值（一般与8同时使用）10–table 对应关系数据库中的表名，生成的Java文件中的各个属性与该表的各个字段一一对应 create-hive-table

生成与关系数据库表结构对应的hive表结构。
命令：
如：

sqoop create-hive-table 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--hive-table hive_staff

参数：

序号参数说明1–hive-home Hive的安装目录，可以通过该参数覆盖掉默认的Hive目录2–hive-overwrite覆盖掉在Hive表中已经存在的数据3–create-hive-table默认是false，如果目标表已经存在了，那么创建任务会失败4–hive-table后面接要创建的hive表5–table指定关系数据库的表名 eval

可以快速的使用SQL语句对关系型数据库进行 *** 作，经常用于在import数据之前，了解一下SQL语句是否正确，数据是否正常，并可以将结果显示在控制台。
命令：
如：

sqoop eval 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--query "SELECt * FROM staff"

参数：

序号参数说明1–query或–e后跟查询的SQL语句 import-all-tables

可以将RDBMS中的所有表导入到HDFS中，每一个表都对应一个HDFS目录
命令：
如：

sqoop import-all-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--warehouse-dir /all_tables

序号参数说明1–as-avrodatafile这些参数的含义均和import对应的含义一致2–as-sequencefile3–as-textfile4–direct5–direct-split-size 6–inline-lob-limit 7–m或—num-mappers 8–warehouse-dir 9-z或–compress10–compression-codec job

用来生成一个sqoop任务，生成后不会立即执行，需要手动执行。
命令：
如：

sqoop job 
--create myjob -- import-all-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456

sqoop job --list

sqoop job --exec myjob

尖叫提示：注意import-all-tables和它左边的--之间有一个空格
尖叫提示：如果需要连接metastore，则–meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop
参数：

序号参数说明1–create 创建job参数2–delete 删除一个job3–exec 执行一个job4–help显示job帮助5–list显示job列表6–meta-connect 用来连接metastore服务7–show 显示一个job的信息8–verbose打印命令运行时的详细信息

尖叫提示：在执行一个job时，如果需要手动输入数据库密码，可以做如下优化


	sqoop.metastore.client.record.password
	true
	If true, allow saved passwords in the metastore.

list-databases

命令：
如：

sqoop list-databases 
--connect jdbc:mysql://hadoop102:3306/ 
--username root 
--password 123456

参数：与公用参数一样

list-tables

命令：
如：

sqoop list-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456

参数：与公用参数一样

merge

将HDFS中不同目录下面的数据合并在一起并放入指定目录中
数据环境：

new_staff
1       AAA     male
2       BBB     male
3       CCC     male
4       DDD     male
old_staff
1       AAA     female
2       CCC     female
3       BBB     female
6       DDD     female

尖叫提示：上边数据的列之间的分隔符应该为t，行与行之间的分割符为n，如果直接复制，请检查之。
命令：
如：
创建JavaBean：

sqoop codegen 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--bindir /home/admin/Desktop/staff 
--class-name Staff 
--fields-terminated-by "t"

开始合并：

sqoop merge 
--new-data /test/new/ 
--onto /test/old/ 
--target-dir /test/merged 
--jar-file /home/admin/Desktop/staff/Staff.jar 
--class-name Staff 
--merge-key id

结果：

1	AAA	MALE
2	BBB	MALE
3	CCC	MALE
4	DDD	MALE
6	DDD	FEMALE

参数：

序号参数说明1–new-data HDFS 待合并的数据目录，合并后在新的数据集中保留2–onto HDFS合并后，重复的部分在新的数据集中被覆盖3–merge-key 合并键，一般是主键ID4–jar-file 合并时引入的jar包，该jar包是通过Codegen工具生成的jar包5–class-name 对应的表名或对象名，该class类是包含在jar包中的6–target-dir 合并后的数据在HDFS里存放的目录 metastore

记录了Sqoop job的元数据信息，如果不启动该服务，那么默认job元数据的存储目录为~/.sqoop，可在sqoop-site.xml中修改。
命令：
如：启动sqoop的metastore服务:sqoop metastore
参数：

序号参数说明1–shutdown关闭metastore

欢迎分享，转载请注明来源：内存溢出

原文地址: https://outofmemory.cn/zaji/5683260.html

Sqoop 命令参数

发表评论

评论列表（0条）