1，简单介绍存储原理：
hive和hdfs交互，以及和本地linux交互，分为本地文件和hdfs文件，要说他们的区别，底层都是存在磁盘上，要说区别的话，hdfs分布式文件管理系统，有它独有的文件存储结构也即是能够和分布式文件进行交互的独有存储方式，Linux本地文件存储知识单纯的在Linux *** 作系统存储塌姿答的文件，所以hive的作用就是和linux本地以及linux上hdfs文件两者进行交互，我可以把本地的文件上传到hive文件中，当然hive只是处理hdfs上文件的一个工具，但是hive也有自己独有的文件存储，表的结构信息，创建的表信息，都在hive文件夹中当然是存储在hdfs上的。
2，语法：
1，把本地的文件加载到hive创建的表中（比如：create table tb_user(id int ,name string )）在hive中创建的是有结构的表，然后通过命令：load data local inpath '团慧 路径 ' into table 创建的表名；
2，加载hdfs上的文件到hive中：load data inpath 'hdfs上的路径' into table 创建的表
3，导出hive表到hdfs上：export table 表名 to 'hdfs路径' ；
4，把hdfs上的表导入到hive表中：import table （hive表 ）from （hdfs上的表）；（import table tb_kk from '/data/a'）当导入的表不存在会自动创建这张表，用于备份，或者数据转移，表的字段名和导入的字段名一样。
5，通过查询hive表中的数据并把查询的数据导出到本地：insert overwrite local directory '本地路径' select * from student
6.通过查询hive表中的数据并把查询的数据导出到hdfs上：insert overwrite directory 'hdfs上的路径'
select * from student
7, 把查询的结果插入到 当前的hive表中 : insert overwrite table student partition(month='201708') select id, name from student where month='201709'
8,创建表并加载查询到的数据：create table if not exists tb_text as select *from tb_text(as 关键字 同样)
9,创建表时通过Location指定加载数据路径：create table tb_text (id int , name string ) row format delimited fields terminated by ‘,’ location '/hdfs上的目录'，（记住是目录）。
10，创建分区表，分区表就是能够把不同的数据分开来存放，在查询的时候只需要查询指定的分区就行，这样子能够加快查询效率：create table tb_text (id int ,name string ) partitioned by (month string) （//这里我用month来作为分区条件，分区字段不能是表中已经存在的字段，可以将分区字段看成表的伪列，不参与真实字段的 ） row format delimited fields terminated by ',' ；看一下加载数据到分区表的列子，更好地理解一下，load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201709')//最后就是给册橡伪列字段赋予分区值，也就是分区的文件名。
11，查看表结构，这个需要了解清楚：desc tb_text 查看基本表信息，desc formatted tb_text ,查看详细信息。
12,当数据库存在数据强制删除时可以用：drop database db_hive cascade
13,当数据库不存在数据:drop database db_hive
14,默认创建的表为管理表，也称之为内部表，数据和表结构是在一起的，也就是说，当我删除表的时候，底层数据也会跟着一起删除，设计成这样要求一张表代表一份数据，保证数据的安全性。
15，外部表为只存储表的元数据和结构信息，存储的是表的路径，删除外部表不会删除内部数据，只会把表的元数据信息删除了，不影响数据本身，通常用作共享数据，设计外部表的语法为：create external table tb_text(id int ,name string)
16,创建表的时候复制表结构：create table tb_text like tb_text01
3,外部表和内部表的转化：
1,修改内部表为外部表:alter table tb_text set tblproperties('EXTERNAL'='TRUE')
2,修改外部表为内部表:alter table tb_text set tblproperties('EXTERNAL'='FALSE')-- 要求KV的大小写,('EXTERNAL'='TRUE')和('EXTERNAL'='FALSE')为固定写法，区分大小写！
1．语法
（1）load data:表示加载数据
（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表
（3）inpath:表示加载数据的路径
（4）overwrite:表示覆盖表中已有数据，否则表示追加
（5）into table:表示加载到哪张表
（6）student:表示具体的表
（7）partition:表示上传到指定分区
2．实 *** 案例
（0）创建一张表
（1）加载本地文件到hive
（2）加载HDFS文件到hive中
上传文件到HDFS
加载HDFS上数据
（3）加载数据覆盖表中已有的数据
上传文件到HDFS
加载数据覆盖表中已有的数据
1．创建一张分区表
2．基本插入数据
3．基本模式插入（根据单张表查询结果）
4．多插入模式（根据多张表查询结果）（有问题，只高辩是查询单表不同分区的）
根据查询结果创建表（查询的结果会添加到新创建的表中）
1．创建表，并指定在hdfs上的位置
2．上传数据到hdfs上
3．查询数据
注意：先用export导出后，再将数据导入。
1．将查询的结果导出到本地
2．将查询的结果格式化导出到本地
3．将查询的结果导出到HDFS上(没有local)
基本语法：（hive -f/-e 执行语句或者脚本 >file）
后续..............................。
注意：Truncate只能删除管理表，不能删除外部表中数据
1．全表查询
2．选择特定列查询
注意：
（1）SQL 语言大小写不敏感。
（2）SQL 可以写在一行或者多行
（3）关键字不能被缩写也不能分行
（4）各子句一般要分行写。
（5）使用缩进提高语句的可读性。
1．重命名一个列
2．便于计算
3．紧跟列名，也可以在列名和别名之间加入关键字‘AS’
4．案例实 ***
查询名称和部门
（1）where针对表中的列发挥作用，查询数据；having针对查询结果中的列发挥作用，筛选数据。
（2）where后面不能写分组函数，而having后面可以使用分组函数。
（3）having只用于group by分组统计语句。
空字段赋值
5.CASE WHEN
需求
求出不同部门男女各多少人。结果如下：
创建本地emp_sex.txt，导入数据
创建hive表并导入数据
按需求查询数据
Order By：全局排序，一个Reducer
1．使用 ORDER BY 子句排序
ASC（ascend）: 升序（默认）
DESC（descend）: 降序
2．ORDER BY 子句在SELECT语句的结尾
3．案例实 ***
（1）查询员工信息按工资升序排列
（2）查询员工信息按工资降序排列
按照员工薪水的2倍排序
按照部门和工携册资升序排序
Sort By：每个Reducer内部进行排序，对全局结果集来说不是排序。
1．设置reduce个数
2．查看设置戚隐缺reduce个数
3．根据部门编号降序查看员工信息
4．将查询结果导入到文件中（按照部门编号降序排序）
Distribute By：类似MR中partition，进行分区，结合sort by使用。
注意，Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。
对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。
案例实 *** ：
当distribute by和sorts by字段相同时，可以使用cluster by方式。
cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。
1）以下两种写法等价
注意：按照部门编号分区，不一定就是固定死的数值，可以是20号和30号部门分到一个分区里面去。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）