第二步:向hive-site.xml中添加以下配置datanucleus.schema.autoCreateAll true javax.jdo.option.ConnectionURL jdbc:mysql://192.168.38.160:3306/hive_db?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 000
第三步:将集群中的core-site.xml和hdfs-site.xml也都复制并放在idea项目的resources下,名称也要保持一致。hive.metastore.uris thrift://192.168.38.160:9083
效果图:
注意:pom文件配置,要与集群环境一致
连接成功!
二、在config中配置thrift连接(简单快捷)import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import java.util.Properties object copy_task1 { def main(args: Array[String]): Unit = { val sparkConf=new SparkConf().setMaster("local[*]").setAppName("") val spark=SparkSession.builder().config("hive.metastore.uris","thrift://192.168.38.160:9083") .config(sparkConf).enableHiveSupport().getOrCreate() spark.sql("select * from data").show() } }
简单添加配置项,将thrift配置加入到config中。
此方法只允许在联网情况下使用,因为会需要下载连接包,无网络或者其他情况下请使用第一种方式。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)