从文件加载数据进表(OVERWRITE覆盖,追加不需要OVERWRITE关键字)
LOAD DATA LOCAL INPATH 'dim_csl_rule_config.txt' OVERWRITE into table dim.dim_csl_rule_config
--从查询语句给table插入数据
INSERT OVERWRITE TABLE test_h02_click_log PARTITION(dt) select *
from stage.s_h02_click_log where dt='2014-01-22' limit 100
2. 如何将excel中的数据导入hive仓库中
将存放在excel表中的数据如何导入到hive中,首先前提是excel表中数据类型以及长度要和hive仓库中表的字段坦启差属性让皮一致,否则会报异常。其次因为建表的时候,已经定义了表的分割符号(row format delimited fields terminated by ','),所以不能直接将excel表格中数据导入的hive仓库中。处理方式如下:
先将excel表中数据另存转化为data.csv格式,转化为.csv格式的文件默认就是用“,”进行分割的,可以用notepad++打开data.csv格式查看。然后再讲数据导入到hive仓库中即可。但是执行如下导入语句时,发现报错,显示Wrong file format。
检查以后发现,因为在创建表格时,使用的是RCFILE存储格式
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.RCFileInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
而导入到是TextFile文件格式,所以报错,解决办法建表的格式默认使用TextFile格式即可。
如何将文件转化为rcfile文件格式:
(1)hive 中直接 通过textfile表进行insert转换,比如通过如下将textfile数据导入到rcfile中。
insert overwrite table _RCTable partition(dt='2013-09-30') select p_id,tm,idate,phone from tmp_testp where dt='2013-09-30'
(2)使用mapreduce将普通的文件压缩成RCFile,并且再读取RCFile文件。
3. 如何把hive导出到本地的表导入mysql中
MySQL命令行导出数据库:
1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录
如我输入的命令行:cd C:\Program Files\MySQL\MySQL Server 4.1\bin
(或者直接将windows的环境变量path中添加该目录)
2,导出数据库:mysqldump -u 用户名 -p 数据库名 >; 导出的文件名
如我输入的命令行:mysqldump -u root -p news >news.sql (输入后会让你输入进入MySQL的密码)
(如果导出单张表的话在数据库名后面输入表名即可)
3、会看到文件news.sql自动生成到bin文件下
命令行导入数据库:
1,将要导入的.sql文件移至bin文件下,这样的路径比较方便
2,同上面导出的第1步
3,进入MySQL:mysql -u 用户名 -p
如我输入的命令行:mysql -u root -p (输入同样后会让你输入MySQL的密码)
4,在MySQL-Front中新建你要建的数据库,这时是空数据库,如新建一个名为news的目标数据库
5,输入:mysql>use 目标数据库名
如我输入的命令行:mysql>use news
6,导入文件:mysql>source 导入的文件名;
如我输入的命令行:mysql>source news.sql
4. Hive几种数据导入方式和动态分区,多表插入
常用的的有三种:1.从本地文件系统中导入数据到Hive表;2.从HDFS上导入数据到Hive表;3.在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
Hive配置:HDFS中Hive数据文件存放目录(启动hive后HDFS自动创建):HDFS: /usr/hive/warehousehadoop fs -mkdir /usr/hive/warehouse 命令创立本地数据存放目录:本地:/home/santiago/data/hive一.从本地文件系统中导入数据到Hive表1.在hive中建表hive>show databasesOKdefaultTime taken: 1.706 seconds, Fetched: 1 row(s)hive>create table guo_test(Name string,String string)>row format delimited>fields terminated by ','>stored as textfilehive>show tablesOKguo_testTime taken: 0.024 seconds, Fetched: 1 row(s)1234567891011122.在本地文件建立同类型数据表santi@hdp:~/data/hive$ lshive_test.txtsanti@hdp:~/data/hive$ cat hive_test.txtsanti,you are a zhazha.12343.导入数据并测试hive>load data local inpath '/home/santi/data/hive/hive_test.txt' into table guo_testhive>select * from guo_testhive>dfs -ls /usr/hive/warehouse/guo_test#hadoop fs -ls /usr/hive/warehouseFound 1 itemsdrwxrwxr-x - santiago supergroup 0 2017-01-14 21:13/usr/hive/warehouse/guo_test12345678发现hive-site,xml设置的HDFS文件存储位置中多了guo_test这个文件夹#hadoop fs -ls /usr/hive/warehouse/guo_testFound 1 items-rwxrwxr-x 1 santiago supergroup 24 2017-01-14 21:13/usr/hive/warehouse/guo_test/hive_test.txthive>select * from guo_testOKsanti you are a zhazha.12345678在该文件夹中找到了所写入hive数据仓库的文件。[注]本地数据写入成功,但是从本地将数据导入到Hive表的过程中,其实是先将数据临时复制到HDFS的一个目录下(典型的情况是复制到上传用户的HDFS home目录下,比如/home/santi/),然后再将数据从临时目录下移动到对应的Hive表的数据目录里面(临时目录不保留数据)。
二.从HDFS文件系统中导入数据到Hive表1.在HDFS文件系统上建立数据文件hdfs上没有vim命令,则需要将本地数据文件手动传入到HDFS上/data/hive# vim data_HDtoHive/data/hive# cat data_HDtoHivedata from, HDFS to Hive #hadoop fs -put /home/santi/data/hive/data_HDtoHive /usr/data/input数据传入# hadoop fs -ls /usr/data/input123452导入数据hive>load data inpath '/usr/data/input/data_HDtoHive' into table guo_testhive>select * from guo_testOKdata from HDFS to Hivesanti you are a zhazha.Time taken: 0.172 seconds, Fetched: 2 row(s)123456数据写入成功数据存hive配置的数据存储位置中。[注]从本地导入数据语句为hive>load data local inpath '/home/santi/data/hive/hive_test.txt' into table guo_test;从HDFS中导入数据的语句为hive>load data inpath '/usr/data/input/data_HDtoHive' into table guo_test;差距在local这个命令这里。
而从HDFS系统上导入到Hive表的时候,数据转移。HDFS系统上查找不到相关文件。
三.从HIVE表选取数据插入新的HIVE表命令为create table 表名 as selecr xxx from 表名。hive>create table hivedata_test1>as>select name>from guo_testhive>select * from hivedata_test1OKdata fromsantiTime taken: 0.116 seconds, Fetched: 2 row(s)123456789[注]hive是分区表有稍微区别在Hive中,表的每一个分区对应表下的相应目录,所有分区的数据都是存储在对应的目录中。
比表有a和b两个分区,则对应a=xxx,b=xx对应表的目录为/user/hive/warehouse/a=xxxuser/hive/warehouse/b=xx,所有属于这个分区的数据都存放在这个目录中。hive>create table hivedata_test2(>Name string)>partitioned by>(String string)>ROW FORMAT DELIMITED>FIELDS TERMINATED BY ','>STORED AS TEXTFILEhive>insert into table hivedata_test2>partition(String='best')>select Name>from guo_testhive>select * from hivedata_test2OKdata from bestsanti bestTime taken: 1.549 seconds, Fetched: 2 row(s)# hadoop fs -ls /usr/hive/warehouse/hivedata_test2Found 1 itemsdrwxrwxr-x -santiago supergroup 0 2017-02-14 17:40/usr/hive/warehouse/hivedata_test2/string=best。
5. hive 怎么添加 表注释语法
要添加注释,只需要用单引号'作为注释文字的开头。注释符告诉Visual Basic,忽略这个符号后面的内容,这些内容就是代码段中的注释部分,在代码编辑器中以绿色字符显示。
注释可以和语句在同一行,写在语句的后面,也可占据一整行。
例如:
'在文本框中放欢迎词。
Private Sub mand1_Click()
Text1. Text="Hello." '把文本框Text1的属性设置为Hello。
End Sub
注意,不能在同一行上把注释接在续行符后面。
rc文件如果是之前是txt(文本亏隐文档)现在变谈乱成了rc文件可能是因为电脑修改或者系统病毒导致,可以先单击,再单击修改为文件名含空档.txt,把rc删除即可如果之前就是rc文件,可能只是一种软件/系统配置文件,没有问题
在文本的每一句歌词的前面打上时间标签,然后保存。最后将txt的扩展名改为lrc即可。当然最方便的是用lrc文件编辑器,看看下面的说明:用“千千静听”,听歌这个软件会自动在本地硬盘或网上搜索LRC文件。如果网上没有,也可自己动手制作,有个软件可以自制LRC文件,很简单。
下面向您介绍一种LRC文件编辑工具——LRC傻瓜编辑器。此软件不需安装,直接运行,简单易学,人人皆会。本软件可以让你听完一首MP3歌曲,便可编辑完成一首LRC歌词。并且本软件自身还带有MP3音乐播放和LRC歌词播放功能。
LRC傻瓜编辑器使用方法和步骤:
1.获取普通歌词:可以从网络搜索获得歌词保存为txt格式。
2.转换为TXT格式:如果所得到的歌词格式不是TXT格式,也不是LRC格式,则可以用复制粘贴的方法,将歌词复制到记事本中,将其转换为TXT格式。也可以用记事本手工录入。
3.编辑LRC歌词:运行本段雹软件,首先打开MP3文件,再打开对应的歌词文件(TXT或LRC格式)。单击“播放”按钮,开始播放歌曲,播放歌曲时,在相应的时间标签上单击,即可将当前时间添加至时间标签。歌曲播放完毕后,此时单击时间标签,不会将当前时间添加至时间标签,这样可以修改有错误的时间标签。
4.试听:再拍燃漏重复步骤3,试听一遍。试听时可以将有偏差的时间标签修改——单击原有标签。如果是出现时间整体的偏移,可在“偏移”输入框中输入偏移量(单位为毫秒),输入正值,表示时间往后偏移;输入负值,表示时间往前偏移。
5.保存LRC歌词:保存歌词时,单击“保存”按钮,会d出另存为对话框,在该对话框中,请直接单击“保存”按钮,该软件自动以MP3歌曲的文件名作袭烂为歌词的文件名,并且保存的位置与原MP3歌曲的位置一致。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)