Spark SQL Shell 版 使用Delta Lake(05)

Spark SQL Shell 版 使用Delta Lake(05) Spark SQL Shell 版 使用Delta Lake

读者交流群已经开通了，有需要的可以私信进入读者交流群

前面我们学了项目工程中使用Delta Lake，但是很多时候我们在学习和实验阶段，都喜欢使用Spark shell ，所以这一节我们介绍一下如何在Spark shell 中使用Delta Lake。

开始之前，我们还是强调一下版本的问题，虽然我们上次我们说过了半本的问题，但是还是有人来问，下面是版本的兼容性问题。

Delta Lake version Apache Spark version 1.0.x 3.1.x 0.7.x and 0.8.x 3.0.x Below 0.7.0 2.4.2 - 2.4.

我们知道spark shell 有python 版本的和scala 版本的，这里我们只使用一下scala版本的就可以 我们的启动启动命令如下

spark-shell --packages io.delta:delta-core_2.12:1.0.0

或者

spark-shell --packages io.delta:delta-core_2.12:1.0.0 --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExt