(1)启动hive的元数据服务
hive --service metastore 或 nohup hive --service metastore >> metastore.log 2>&1 & //后台启动
(2)进入hive目录,将hive-site.xml文件取出来放在idea项目的resources中
(3)导入依赖
org.apache.spark spark-hive_2.112.4.5
(4)代码(sql语法)
---转成Dataframe val stuDF = spark.table("students") sql语法 *** 作平时一样 object Demo07hivespark { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .master("local") .appName("Demo07hivespark") .config("spark.sql.shuffle.partitions", 3) .enableHiveSupport() //开启hive支持 .getOrCreate() //查看数据库 spark.sql("" + "show databases") .show() //切换库 spark.sql("use shujia") //查看表 spark.sql("show tables").show() // *** 作数据 spark.sql( """ |select clazz | ,count(*) | from students | group by clazz """.stripMargin).show() import spark.implicits._ import org.apache.spark.sql.functions._ //转成Dataframe进行DSL语法 *** 作 val stuDF = spark.table("students") stuDF.where($"clazz"==="理科一班") .show() } }
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)