但是，hive不知道oracle的insert into , update。
load data [local] inpath 'yourfile_location' [overwrite] into your_table;最近感受了hive的udf函数的强大威力了，不仅可以使用很多已经有的udf函数，还可以自己定义符合业务场景的udf函数，下面就说一下如何写udf/udaf/udtf函数，算是一个入门介绍吧。
First, you need to create a new class that extends UDF, with one or more methods named evaluate
package comexamplehiveudf;
import orgapachehadoophiveqlexecUDF;
import orgapachehadoopioText;
public final class Lower extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text(stoString()toLowerCase());配置maven的过程网上有很多这里就不写了。
UDF
用户自定义函数（user defined function)–针对单条记录。
创建函数流程
1、自定义一个Java类
2、继承UDF类
3、重写evaluate方法 （必须重写这个方法）
4、打成jar包
6、在hive执行add jar方法
7、在hive执行创建模板函数
8、hql中使用
打包后的文件在你的项目的target当中，上传那个几kb的original-int2inetaddressUDF-10-SNAPSHOTjar那个文件，上传到服务器上随便一个目录
add jar 你的文件路径 /original-int2inetaddressUDF-10-SNAPSHOTjar;
create temporary function myudf as "UDFDemoint2inetaddress";
select myudf(XXX) from xxxx
可以参考这里的视频：
>Hive是目前大数据领域，事实上的SQL标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度实在比较慢，因此这几年，陆续出来了新的SQL查询引擎，包括Spark SQL，Hive On Tez，Hive On Spark等。
Spark SQL与Hive On Spark是不一样的。Spark SQL是Spark自己研发出来的针对各种数据源，包括Hive、JSON、Parquet、JDBC、RDD等都可以执行查询的，一套基于Spark计算引擎的查询引擎。因此它是Spark的一个项目，只不过提供了针对Hive执行查询的工功能而已，适合在一些使用Spark技术栈的大数据应用类系统中使用。
而Hive On Spark，是Hive的一个项目，它是将Spark作为底层的查询引擎（不通过MapReduce作为唯一的查询引擎）。Hive On Spark，只适用于Hive，在可预见的未来，很有可能Hive默认的底层引擎就从MapReduce切换为Spark了；适合于将原有的Hive数据仓库以及数据统计分析替换为Spark引擎，作为全公司通用的大数据统计分析引擎。
Hive On Spark做了一些优化：
1、Map Join
Spark SQL默认对join是支持使用broadcast机制将小表广播到各个节点上，以进行join的。但是问题是，这会给Driver和Worker带来很大的内存开销。因为广播的数据要一直保留在Driver内存中。所以目前采取的是，类似乎MapReduce的Distributed Cache机制，即提高HDFS replica factor的复制因子，以让数据在每个计算节点上都有一个备份，从而可以在本地进行数据读取。
2、Cache Table
对于某些需要对一张表执行多次 *** 作的场景，Hive On Spark内部做了优化，即将要多次 *** 作的表cache到内存中，以便于提升性能。但是这里要注意，并不是对所有的情况都会自动进行cache。所以说，Hive On Spark还有很多不完善的地方。
Hive QL语句 =>
语法分析 => AST =>
生成逻辑执行计划 => Operator Tree =>
优化逻辑执行计划 => Optimized Operator Tree =>
生成物理执行计划 => Task Tree =>
优化物理执行计划 => Optimized Task Tree =>
执行优化后的Optimized Task Tree以下为一个hive-catalog的iceberg表的所有存在hdfs目录中的文件
包含
1parquet数据文件
2json元数据文件
3avro snapshot文件
4avro manifest文件
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00001parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00003parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00004parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00005parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00006parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00007parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00008parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00009parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00010parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00011parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-319a206d-7ead-415d-9ec8-700c1a49b8c4-00012parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/data/00000-0-79d89118-5069-4877-8332-2a592c887fe3-00001parquet
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00000-f9a42593-ab76-4933-a739-8e10b476fc85metadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00001-2002be31-0182-4085-9173-aee3e4facc0bmetadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00002-2c5e9702-a908-43a6-bbe8-0f0c6582e984metadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00003-3db39d6b-6311-4bdb-9d7b-b56f2df74fb3metadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00004-a5490f98-4daf-4592-abf1-fdcc408f1b0fmetadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00005-b13e2c1f-1383-43c3-a53c-832ed8c68fa8metadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00006-68ce5b89-27fb-421a-8a49-42f383dfc587metadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00007-b3430d66-c9fb-401c-b800-e2ea4ad70d8dmetadatajson
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/09769592-109f-4f6e-ab46-9b597dacfd43-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/1a49a079-d7cf-41a6-931d-15ad2a44914b-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/1a49a079-d7cf-41a6-931d-15ad2a44914b-m1avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/2b1ddf19-5701-4c0b-ac6a-ea41fdab9c07-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/2b1ddf19-5701-4c0b-ac6a-ea41fdab9c07-m1avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/bf413511-d1cf-407f-bcc9-b6960cde7898-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/bf413511-d1cf-407f-bcc9-b6960cde7898-m1avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/e97d1919-f47d-40c0-9eb6-24bf68f96980-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/e97d1919-f47d-40c0-9eb6-24bf68f96980-m1avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m0avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m1avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m2avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m3avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m4avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m5avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m6avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/f0bd795c-6a10-41bc-8f79-437fef1ff5f9-m7avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-1289984099921389549-1-1a49a079-d7cf-41a6-931d-15ad2a44914bavro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-3921229567852426700-1-bf413511-d1cf-407f-bcc9-b6960cde7898avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-5386042144404510937-1-09769592-109f-4f6e-ab46-9b597dacfd43avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-7125662397327732785-1-2b1ddf19-5701-4c0b-ac6a-ea41fdab9c07avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-7329471080018208648-1-f0bd795c-6a10-41bc-8f79-437fef1ff5f9avro
hdfs://1017713120:8020/user/hive/dc-warehouse/iceberg_cdc_table/metadata/snap-7377732782289998100-1-e97d1919-f47d-40c0-9eb6-24bf68f96980avro
以下为iceberg表在hive中的建表语句
REATE EXTERNAL TABLE iceberg_cdc_table (
id string COMMENT 'unique ID',
data string)
ROW FORMAT SERDE
'orgapachehadoophiveserde2lazyLazySimpleSerDe'
STORED AS INPUTFORMAT
'orgapachehadoopmapredFileInputFormat'
OUTPUTFORMAT
'orgapachehadoopmapredFileOutputFormat'
LOCATION
' hdfs://test-hdfs1/user/hive/dc-warehouse/iceberg_cdc_table'
TBLPROPERTIES (
'COLUMN_STATS_ACCURATE'='false',
'metadata_location'=' hdfs://test-hdfs1/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00007-b3430d66-c9fb-401c-b800-e2ea4ad70d8dmetadatajson' ,
'numFiles'='0',
'numRows'='-1',
'previous_metadata_location'=' hdfs://test-hdfs1/user/hive/dc-warehouse/iceberg_cdc_table/metadata/00006-68ce5b89-27fb-421a-8a49-42f383dfc587metadatajson' ,
'rawDataSize'='-1',
'table_type'='ICEBERG',
'totalSize'='0',
'transient_lastDdlTime'='1619089695')
其中metadata_location为当前的元数据文件，查看该文件
其中包含了所有的snapshot信息和所有的元数据文件信息
注意sequence-number和snapshot-id，它们是强关联的，
sequence-number在v2版本的表中会作为标识数据的序列号
读取的时候data文件中过滤掉equility-delete数据的时候是按sequence-number过滤的
就找比data文件snapshot大的equility-delete文件
小文件合并也和入数据checkpoint一样生成新的snapshot
如果入库snapshot是3 然后开始小文件合并 合并过程中入库生成snapshot 4
然后合并完成生成snapshot 5
snapshot5的文件只合并了snapshot3的文件需要对snapshot 4中的equility-delete文件进行过滤 但是因为5比4大就不会过滤了
小文件合并跨了入库的snapshot数据就有问题了
当前的snapshotID和对应的文件，查看该文件snap-7329471080018208648-1-f0bd795c-6a10-41bc-8f79-437fef1ff5f9avro
这其中包含了所有的manifest文件，注意content属性，在ManifestContent 中定义了其意义，0表示新增数据Manifest，1表示删除数据Manifest
查看manifest文件
注意status属性，在ManifestEntry接口中定义了枚举
1表示添加的文件，2表示已经无效需要删除的文件
还有content属性，在FileContent 类中定义了其意义，0表示数据文件，1表示POSITION_DELETES文件，2表示 EQUALITY_DELETES文件
上面的snapshot文件snap-7329471080018208648-1-f0bd795c-6a10-41bc-8f79-437fef1ff5f9avro是最新的snapshot文件，有6个content为0的文件和4个content为1的文件，因为我这里是初始入了100w条cdc数据生成一个data文件，然后经历了4次updata，生成了4个data文件和4个delete文件，最后做了一个文件合并生成一个新的data文件。
我提取了其中对应的parquet文件和其status和content信息，state状态为1的有3个，即只有3个有效的文件，一个是进行小文件合并后生成的文件，两个是之后入库的更新文件，这两个也是一个是DATA文件一个是POSITION_DELETES文件。
而在小文件合并之前则是9个有效文件，5个data文件和4个POSITION_DELETES文件。本文说明如何通过把Hive中的数据备份到磁盘中，并从磁盘中恢复到Hive中。
1，把Hive中的表数据备份到磁盘中。
备份示例：
以上语句说明，把src_companyinfo表中的数据以‘|’为分隔符号，并备份到“/root/grc_bigdata/backup/src_companyinfo”目录中。
备份之后的目录结构如下：
在Hue中浏览的src_xtbillmx2013_st的目录结构如下：
从以上结果可以看出，数据文件输出的个数与表在Hive中存储的文件个数不一定一致。
2，把磁盘中的文件恢复到Hive中。
先在hive中执行建表脚本：
然后在Hive中执行如下导入命令：
3，在Hive中备份46个表、一共552GB的数据到Linux文件系统，一共耗时55386 秒，大概154个小时。
从Linux文件系统中恢复以上数据，耗时41217秒，大概114个小时。
原文
Hive配置属性存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的。在查询语句中插入 '${hiveconf:变量名}' ，就可以通过 hive -hiveconf来替换变量。例如，查询语句和执行方式如下：
需要注意的是：
Hive命令行变量，存储于 hivevar 命名空间中，该命名空间中的变量是可读写的。使用方式和hive配置属性类似，只是在查询语句中插入的是 '${hivecar:变量名}' ，其中命名空间"hivecar:"可以省略。例如：
因为命令行变量的命名空间是唯一可以省略的，因此：
其他替换变量的方法：
利用shell脚本设置hive查询语句中的变量
利用Python替换Hive查询语句中的变量
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）