Hive的日志存储路径

日志记录了程序运行的过程，是一种查悄团找问题的利器。

Hive中的日志分为两种

系统日志存储在什么地方呢 ？

在肆运仔hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，

默认的存储情况：

hive.root.logger=WARN,DRFA

hive.log.dir=/tmp/${user.name} # 默认的存储位置

hive.log.file=hive.log # 默认的文件名

Job日志又存储在什么地方呢 ？

//Location of Hive run time structured log file

HIVEHISTORYFILELOC("hive.querylog.location", "/tmp/" + System.getProperty("user.name"))

默认存储与 /tmp/{user.name}目裂汪录下。

将hive表中的数据导入HDFS的文件，将hive表中的数据导入到本地磁盘

hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟唤消并且在作业提交和调旦链桥度的时候需要大量的开销。因此，hive 并不能够在大规模数据集上实现低延迟快速模猛的查询，例如，hive 在几百MB 的数据集上执行查询一般有分钟级的时间延迟。

1、为了让Spark能够连接到Hive的原有数据仓库，我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放。

在这里由于我的Spark是自动安装和部署的，因此需要知道则野CDH将hive-site.xml放在哪里孙差喊。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。

同理，spark的conf也是在/etc/spark/conf。

此时庆核，如上所述，将对应的hive-site.xml拷贝到spark/conf目录下即可

如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。

---