用于linux平台命令行查询,查询语句基本跟mysql查询语句类似
2、 hive web界面的 (端口号9999) 启动方式
hive –service hwi &
用于通过浏览器来访问hive,感觉没多大用途
对spark、hive、impala、hdfs的常用命令作了如下总结,欢迎大家补充! 1. Spark的使用:以通过SecureCRT访问IP地址:10.10.234.198 为例进行说明: 先输入:ll //查询集群是否装有spark >su - mr >/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p "" &gt.show databases//显示其中数据库,例如 >use bigmax//使用数据库bigmax >show tables//查询目录中所有的表 >desc formatted TableName//显示表的详细信息,包括分区、字段、地址等信息 >desc TableName//显示表中的字段和分区信息 >select count(*) from TableName//显示表中数据数量,可以用来判断表是否为空 >drop table TableName//删除表的信息 >drop bigmax //删除数据库bigmax >describe database zxvmax //查询数据库zxvmax信息 创建一个表 第一步: >create external table if not exists lte_Amaze //创建一个叫lte_Amaze的表 ( //括号中每一行为表中的各个字段的名称和其所属的数据类型,并用空格隔开 DateTime String, MilliSec int, Network int, eNodeBID int, CID int, IMSI String, DataType int, AoA int, ServerRsrp int, ServerRsrq int, TA int, Cqi0 Tinyint, Cqi1 Tinyint //注意,最后一个字段结束后,没有逗号 ) partitioned by (p_date string, p_hour INT) //以p_date和p_hour作为分区 row format delimited fields terminated by ',' /*/*表中行结构是以逗号作为分隔符,与上边的表中字段以逗号结尾相一致*/ stored as textfile//以文本格式进行保存 第二步:添加分区,指定分区的位置 >alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0'//添加lte_Amaze表中分区信息,进行赋值。 //并制定分区对应目录/lte/nds/mr下表lte_nds_cdt_uedetail中对应分区信息 第三步:察看添加的结果 >show partitions lte_Amaze; //显示表的分区信息2. hdfs使用: #su - hdfs //切换到hdfs用户下 、 #hadoop fs –ls ///查看进程 # cd /hdfs/bin //进入hdfs安装bin目录 >hadoop fs -ls /umtsd/cdt/ //查询/umtsd/cdt/文件目录 >hadoop fs -mkdir /umtsd/test //在/umtsd目录下创建test目录 >hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //将home/data/u1002.csv这个文件put到hdfs文件目录上。put到hdfs上的数据文件以逗号“,”分隔符文件(csv),数据不论类型,直接是数据,没有双引号和单引号 >hadoop fs -rm /umtsd/test/test.txt //删除umtsd/test目录下的test.txt文件 >hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目录下的test.txt文件内容3hive *** 作使用: #su - mr //切换到mr用户下 #hive //进入hive查询 *** 作界面 hive>show tables//查询当前创建的所有表 hive>show databases//查询当前创建的数据库 hive>describe table_name{或者desc table_name}//查看表的字段的定义和分区信息,有明确区分(impala下该命令把分区信息以字段的形式显示出来,不怎么好区分) hive>show partitions table_name//查看表对应数据现有的分区信息,impala下没有该命令 hive>quit//退出hive *** 作界面hive>desc formatted table_name查看表结构,分隔符等信息 hive>alter table ceshi change id id int修改表的列数据类型 //将id数据类型修改为int 注意是两个id hive>SHOW TABLES '.*s'按正条件(正则表达式)显示表,[mr@aico ~]$ exit退出mr用户 *** 作界面,到[root@aico]界面impala *** 作使用: #su - mr //切换到mr用户下 #cd impala/bin //进入impala安装bin目录 #/impala/bin>impala-shell.sh -i 10.10.234.166/localhost //进入impala查询 *** 作界面 [10.10.234.166:21000] >show databases//查询当前创建的数据库 [10.10.234.166:21000] >use database_name//选择使用数据库,默认情况下是使用default数据库 [10.10.234.166:21000] >show tables//查询当前数据库下创建的所有表 [10.10.234.166:21000] >describe table_name//查看表的字段的定义,包括分区信息,没有明确区分 [10.10.234.166:21000] >describe formatted table_name//查看表对应格式化信息,包括分区,所属数据库,创建用户,创建时间等详细信息。 [10.10.234.166:21000] >refresh table_name//刷新一下,保证元数据是最新的 [10.10.234.166:21000] >alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/ MREMITABLE/20130927/rncid=487' //添加分区信息,具体的表和数据的对应关系 [10.10.234.166:21000] >alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487)//删除现有的分区,数据与表的关联 [10.10.234.166:21000] >quit//退出impala *** 作界面[mr@aicod bin]$ impala-shell得到welcome impala的信息,进入impala 查询 *** 作界面 [aicod:21000] >按两次tab键,查看可以用的命令 alter describe help profile shell values connect drop history quit show version create exit insert select unset with desc explain load set use安装了 jdbc 解析器了吗?另外,据说mysql的hive账户必须得有密码才行。 从http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz 下载连接器(不要用wget直接下,网页打开再找下载链接),并把解压后的 mysql-connector-java-5.1.22-bin.jar 文件拷贝至机器下的 /usr/lib/hive/lib下。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)