dataframe读取本地文本数据的方式

dataframe读取本地文本数据的方式 dataframe读取本地文本数据的方式

val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local[*]")
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    val rawDataframe = spark.read.format("csv")
      .option("sep", ",")
      .option("inferSchema", "true")
      .option("header", "true")
      .load("E:\warehousesrc\input.csv")
    rawDataframe.show(20)

这种方式读取文本数据必须要带列名。