spark on hive 问题记录

spark on hive 问题记录

*** 作描述:
本地使用spark 代码 *** 作 自己搭建的hadoop 集群 中 hive 数据

环境背景:本机搭建的hive 版本是 3.1.2 本地window scala版本是2.12.15

java 代码:

//import org.apache.spark.SparkConf;
import org.apache.spark.sql.SparkSession;

public class sparkHive {
    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder()
                .master("local")
                .appName("spark_hive")
                .config("hive.metastore.uris", "thrift://hadoop2:9083")
//                .config("spark.sql.warehouse.dir","hdfs://mycluster/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate();

        sparkSession.sql("create table wqg.spark_hive_20220107_04 (name string)");
        sparkSession.sql("insert into wqg.spark_hive_20220107_04 values('tom')");

        sparkSession.stop();
    }
}

问题一:
org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:883)

这里我依赖的版本是spark3.x

开始的maven依赖

        
            org.apache.spark
            spark-core_2.12
            3.0.0
        
        
            org.apache.spark
            spark-sql_2.12
            3.0.0
        
        
            org.apache.spark
            spark-hive_2.12
            3.0.0
            provided
        

网上的搜索基本都是 提示需要导入spark-hive 这个依赖
但是我导入还是不行 依旧报错 提示找不到类

实际是有的 后来降低了版本解决

maven依赖改为

   
        2.12
        2.4.4
    
    
        
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
    

问题二:权限问题
错误信息:
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/user/hive/warehouse/xxx.db/

解决:
idea中设置环境变量:
变量设置:HADOOP_USER_NAME=root

问题三:因为我本机是tez 引擎执行
错误信息:
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
修改配置文件: 将tez配置注释就好

结果展示: