如何使用Docker在Spark容器中运行Scala代码？

如何使用Docker在Spark容器中运行Scala代码？

根据下面的错误消息

:: org.mongodb.spark#mongo-spark-connector_2.11;2.2.0: not found

它指示该软件包丢失。检查当前可用的MongoDB Connector for Spark软件包，确认该软件包不再可用（已替换v2.2.6修补程序）。

您可以在sindbach / mongodb-spark-docker上查看带有Docker的MongoDB Spark连接器的更新示例。

附加信息： spark-shell是REPL（读取-评估-
打印循环）工具。它是程序员用于与框架进行交互的交互式外壳。您无需显式执行即可

build

执行。当您指定它的

--packages

参数时

spark-shell

，它将自动获取程序包并将其包含在您的Shell环境中。