hive的安装，什么是hive的metastore的远程与本地

这里实验一下把hivemetastorelocal参数设置为false的情况下怎么启动hive，
当然首先要修改为false，
hivemetastorelocal
false
controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM
并加入配置thrift server的配置：
hivemetastoreuris thrift://127001:9083
然后启动hadoop集群，启动win上的mysql，保证集群ok，测试mysql ok
然后启动metastore：hive --service metastore
这个过程会测试连接 建立schema 建表
继续启动thrift server：hive --service hiveserver
Starting Hive Thrift Server
这里会卡住，其实这是典型的前台启动，如果退出到shell，那么server就会停止，想后台启动的话可以采用nohup方式。
最后启动hive：hive
hive> show tables;
OK
tb
tb2
Time taken: 1117 seconds
发现hive就可以启动起来了，其实我们只需要把hive理解为几个部分即可：metastore、thrift server和剩下的hive，这几个部分都是可以分开部署的，放在不同的服务器上，这样的设计增加了hive的ha和可扩展性 但是分开部署会牺牲很大的可维护性，也增加了运维的复杂性，所以一般还是把元数据留着mysql中 其他的部分放在一个jvm中。
hive也是个cs结构的东西 thrift是负责client和server通信的

我们都知道hue+sentry可以管理hive的用户以及权限，但是其中有几个概念必须要要弄明白：1、hue的用户以及用户组是独立的，跟hive没有关系，hive没有用户的概念；2、利用hue给hive赋权时的role（角色）是可以随便命名的，只是赋权 *** 作的最小粒度是用户组，要想实现一个用户维护一个权限就必须是一个用户一个用户组（一个用户组内的所有用户权限都是一样的）；3、新加的用户还必须在hvie服务所在的服务器添加相应的用户以及用户组；4、使用hue查询hive数据，程序都是由hive用户代理的，但是程序运行的资源池可以通过yarn的配置规则来指定。

1、第一步先建用户组

在添加用户组时需要指定permissions，目的是让新用户在登陆hue之后能看到哪些模块，以上截图的就是一般用户需要的（能跑hive任务，能查询hdfs信息，能查看job信息等）

2、第二步添加用户

点击下一步勾选新用户的用户组==》点击下一步激活用户==》完成

3、用户以及用户组设定之后，需要根据邮件申请的内容设置该账号的hive权限。

这里分两种情况，一个是新用户不需要放到之前的用户组中去，另一种是需要放到之前已经存在的组中去（这里重点说下，如果是这种情况，那么还必须创建一个跟用户名一致的附属主）。

这里我已经将脚本写好，放到服务器/root/add_new_user_as_huesh

通过以上 *** 作，我们已经实现了一个用户维护一个权限。

矿机上有一个代理，每10秒向服务器发送一次统计信息。
它在系统启动后立即启动。因此，您的设备可能正在运行，但由于某种原因，代理无法访问服务器。或者常见的问题是死文件系统和代理无法保存临时文件来构建它的包。
1检查说明首先确保您的网络连接检查网卡上的LED是否闪烁
2检查您在此网络中的其他设备（如手机或笔记本电脑）上是否有互联网
3尝试使用浏览器从矿机中打开某个站点
4通过ping某个服务器来检查您的连接pinggooglecom，

最近在使用hive时，需要将hive查询的数据导出到本地文件系统，HQL语法如下：
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，
使用文本编辑器打开也显示乱码。
最后在官方文档上找了半天才发现，hive使用 ^A 符号作为域的分隔符，原文如下：
Data written to the filesystem is serialized as text with columns separated by ^A
在python中可以使用linesplit('\x01')来进行切分，也可以使用linesplit('\001')，注意其中是单引号
在java中可以使用split("\\u0001")来进行切分
如果确实需要将查询结果导出到本地文件，最好使用hive的命令：
[sql] view plaincopy在CODE上查看代码片派生到我的代码片
bin/hive -e "select from test" >> rescsv

或者是：

bin/hive -f sqlq >> rescsv

其中文件sqlq写入你想要执行的查询语句
这问题在使用hive hql streaming时也会遇到，当你使用hql strreaming 将输出直接写入到hdfs目录，然后你在该目录上创建hive 外部表时，hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001，所以，在hql streaming和输出为hive 外部表时，最好将streaming的最后输出的分隔符修改为\001，并且hive外部表的分隔符应该设置为\001，注意：不要使用^A和\x01，如：
[html] view plaincopy在CODE上查看代码片派生到我的代码片
create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';

---