HiveImpala--HAProxy实现ImpalaHiveServer2负载均衡

1、在集群中选择一个节点，使用yum方式安装HAProxy服务

2.启动与停止HAProxy服务，并将服务添加到自启动列表

将/etc/haproxy目录下的haproxy.cfg文件备份，新建haproxy.cfg文件，添加如下配置

主要配置了HAProxy的http状态管理竖郑界面、impalashell和impalajdbc的负载均衡。

配置完成后重启HAProxy

浏览器访问http://{hostname}:1080/stats查看状态界面

使用多个终端同时访问，并执行SQL语句，查看是否会通过HAProxy服务自动负载到其它Impala Daemon节点

使用Impala shell访问HAProxy服务的25003端口，命令如下

打开第一个终端访问并执行SQL

同时蔽睁打开第二个终端访问并执行SQL

通过以上测试可以看到，两个终端执行的SQL不在同一个Impala Daemon，这样就实现了Impala Daemon服务的负载均衡。

url改变为haproxy的host以及impala jdbc负载均衡配置的端口：

编辑/etc/haproxy/haproxy.cfg文件，在文件末尾增加如下配置

重启HAProxy服务

使用Beeline访宏纤岁问HAProxy服务的25005端口，命令如下

url改变为haproxy的host以及hive jdbc负载均衡配置的端口：

1、问题的描述：当你利用ClouderaManager部署了CDH的集群后，也许随着你的业务需求，你需要对判桐你的就去哪做一些优化，或者扩展之类的，这个时候你可能需要下载安装一些组件。例如，我最近在阅读Cloudera官方文档的是，看嫌历到有一节的内容说到PerformanceManagement的时候，发现为了提升集群的性能，经常会将数据进行压缩，此时就会需要添加一些parcel的安装。2、方法详述：为了能够安装自己想要的parcel的软件包，采用的方式可以：（1）在ClouderaManager的主界面选择“host（主机）”---->parcel，就会出现如下的界面：（2）点击上图的红色按钮（编辑设置）进入设置界面：若是手动掘者坦下载的parcel包，可以将其放到对应目录下，默认是/opt/cloudera/parcel-repo/目录下。若需要配置远程下载的repo路径，则只需要在旁边点击“+”这个按钮即可。（3）设置好了这两个参数后，回到（1）中的parcel界面，点击检查新parcel按钮即可显示。（4）分配和激活即可。

对spark、hive、impala、hdfs的常用命令作了如下总结，欢迎大家补充！

1. Spark的使用：

以通过SecureCRT访问IP地址：10.10.234.198 为例进行说明：

先输入：ll //查询集群是否装有spark

>su - mr

>/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p ""

&gt.show databases//显示其中数据库，例如

>use bigmax//使用数据库bigmax

>show tables//查询目录中所有的表

>desc formatted TableName//显示表的详细信息，包括分区、字段、地址等信息闷歼

>desc TableName//显示表中的字段和分区信息

>select count(*) from TableName//显示表中数据数量，可以用来判断表是否为空

>drop table TableName//删除表的信息

>drop bigmax //删除数据库bigmax

>describe database zxvmax //查询数据库zxvmax信息

创建一个表

第一步：

>create external table if not exists lte_Amaze //创建一个叫lte_Amaze的表

( //括号中每一行为表中的各个字段的名称和其所属的数据类型，并用空格隔开

DateTime String,

MilliSec int,

Network int,

eNodeBID int,

CID int,

IMSI String,

DataType int,

AoA int,

ServerRsrp int,

ServerRsrq int,

TA int,

Cqi0 Tinyint,

Cqi1 Tinyint //注意，最后一个字段结束后，没有逗号

)

partitioned by (p_date string, p_hour INT) //以p_date和p_hour作为分区

row format delimited fields terminated by ',' /*/*表中行结构是以逗号作为分隔符，与上边的表中字段以逗号结尾相一致*/

stored as textfile//以文本格式进行保存

第二步：添加分区，指定分区的位置

>alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0'

//添加lte_Amaze表中分区信息，进察罩袜行赋值。

//并制定分区对应目录/lte/nds/mr下表lte_nds_cdt_uedetail中对应分区信息

第三步:察看添加的结果

>show partitions lte_Amaze； //显示表的分区信息

2. hdfs使用：

#su - hdfs //切换到hdfs用户下 、

#hadoop fs –ls ///查看进程

# cd /hdfs/bin //进入hdfs安装bin目录

>hadoop fs -ls /umtsd/cdt/ //查询/umtsd/cdt/文件目录败激

>hadoop fs -mkdir /umtsd/test //在/umtsd目录下创建test目录

>hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //将home/data/u1002.csv这个文件put到hdfs文件目录上。put到hdfs上的数据文件以逗号“,”分隔符文件（csv）,数据不论类型，直接是数据，没有双引号和单引号

>hadoop fs -rm /umtsd/test/test.txt //删除umtsd/test目录下的test.txt文件

>hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目录下的test.txt文件内容

3hive *** 作使用：

#su - mr //切换到mr用户下

#hive //进入hive查询 *** 作界面

hive>show tables//查询当前创建的所有表

hive>show databases//查询当前创建的数据库

hive>describe table_name{或者desc table_name}//查看表的字段的定义和分区信息，有明确区分（impala下该命令把分区信息以字段的形式显示出来，不怎么好区分）

hive>show partitions table_name//查看表对应数据现有的分区信息，impala下没有该命令

hive>quit//退出hive *** 作界面

hive>desc formatted table_name查看表结构，分隔符等信息

hive>alter table ceshi change id id int修改表的列数据类型 //将id数据类型修改为int 注意是两个id

hive>SHOW TABLES '.*s'按正条件（正则表达式）显示表，

[mr@aico ~]$ exit退出mr用户 *** 作界面，到[root@aico]界面

impala *** 作使用：

#su - mr //切换到mr用户下

#cd impala/bin //进入impala安装bin目录

#/impala/bin>impala-shell.sh -i 10.10.234.166/localhost //进入impala查询 *** 作界面

[10.10.234.166:21000] >show databases//查询当前创建的数据库

[10.10.234.166:21000] >use database_name//选择使用数据库,默认情况下是使用default数据库

[10.10.234.166:21000] >show tables//查询当前数据库下创建的所有表

[10.10.234.166:21000] >describe table_name//查看表的字段的定义,包括分区信息，没有明确区分

[10.10.234.166:21000] >describe formatted table_name//查看表对应格式化信息，包括分区，所属数据库，创建用户，创建时间等详细信息。

[10.10.234.166:21000] >refresh table_name//刷新一下，保证元数据是最新的

[10.10.234.166:21000] >alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/

MREMITABLE/20130927/rncid=487' //添加分区信息，具体的表和数据的对应关系

[10.10.234.166:21000] >alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487)//删除现有的分区，数据与表的关联

[10.10.234.166:21000] >quit//退出impala *** 作界面

[mr@aicod bin]$ impala-shell得到welcome impala的信息，进入impala 查询 *** 作界面

[aicod:21000] >按两次tab键，查看可以用的命令

alter describe help profile shell values

connect drop history quit show version

create exit insert select unset with

desc explain load set use

---