Spark与Hive集成

将hive-site.xml拷贝到${SPARK_HOME}/conf下。

根据hive的配置参数hive.metastore.uris的情况，采用不同的集成方式

分别：

配置hive.metastore.uris的方式。

如果没有配置全局hive，就使用bin/hive --service metastore &

这样就不再需要配置hive.metastore.uris参数配置。使用“，”分隔多个jar。

使用场景：要求Spark应用运行的所有机器上必须存在被添加的第三方jar文件

a. 创建一个保存第三方jar文件的文件夹:

b.修改Spark配置信息

c. 将依赖的jar文件copy到新建的文件夹中

备注：

如果spark on yarn(cluster)，如果应用依赖第三方jar文件，最终解决方案：将第三方的jar文件copy到${HADOOP_HOME}/share/hadoop/common/lib文件夹中(Hadoop集群中所有机器均要求copy)

参考链接： https://www.cnblogs.com/juncaoit/p/6545092.html

在eclipse中，依次选择“File” –>“New” –>“Other…” –> “Scala Wizard” –>“Scala Project”，创建一个Scala工程，并命名为“SparkScala”。

右击“SaprkScala”工程，选择“Properties”，在d出的框中，按照下图所示，依次选择“Java Build Path” –>“Libraties” –>“Add External JARs…”，导入文章“Apache Spark：将Spark部署到Hadoop 2.2.0上”中给出的

assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.1-incubating- hadoop2.2.0.jar，这个jar包也可以自己编译spark生成，放在spark目录下的assembly/target/scala- 2.9.3/目录中。

MySQL命令行导出数据库： 1，进入MySQL目录下的bin文件夹：cd MySQL中到bin文件夹的目录 如我输入的命令行：cd C:\Program Files\MySQL\MySQL Server 4.1\bin (或者直接将windows的环境变量path中添加该目录) 2，导出数据库：mysqldump -u 用户...

---