关于Windows下如何搭建Spark和Python以及如何在jupyter下使用

概述最近学习Spark，琢磨着习惯于用Python，于是有了以下情况目录一、安装JAVAJDK二、scala安装与配置三、安装Spark四、配置hadoop模块一、安装JAVAJDK首先你需要注意你的电脑支持位数，我的是x64，右键点击此电脑，点击属性即可查看友情提示！以前的JDK版本安装后，后面spark

最近学习Spark，琢磨着习惯于用Python，于是有了以下情况

目录一、安装JAVA JDK二、scala安装与配置三、安装Spark四、配置hadoop模块

一、安装JAVA JDK

首先你需要注意你的电脑支持位数，我的是x64，右键点击此电脑，点击属性即可查看

友情提示！
以前的JDK版本安装后，后面spark安装将会出现即使你添加了环境变量依旧找不到路径现象。
我已踩坑，我琢磨着好像以前老版本的jdk协议有了一些改动，所以尽量与我的版本一样。
卸载方式：软件管家，或者直接电脑的应用功能中卸载，注意java se,java updata都要卸载。

完事后下载jdk
官网: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

或者我的百度云：链接: https://pan.baidu.com/s/1EZfQNMmS5PqRzay7tnyQyA
提取码: xy59

下载完后你将看见

点击安装即可，默认安装即可，尽量别改，不要有中文路径
接下来添加环境变量

在系统变量下新建

path路径下新建
%JAVA_HOME%\bin

直接确认一梭哈下去
验证安装是否成功
win+R输出cmd

输入java -version

出现以下界面即可

二、scala安装与配置

官网https://www.scala-lang.org/download/2.11.8.html

path环境变量添加
C:\Program files (x86)\scala\bin
确认即可
进入cmd

ok下一步

三、安装Spark

官网链接http://spark.apache.org/downloads.html

与我一致即可，避免可能出现的某些不可描述的症状。
下载完后解压至无中文路径当中
like this

不用改名
配置环境变量：

path中配置
%sPARK_HOME%\bin
%sPARK_HOME%\bin

配置日志显示级别
选择…\spark\conf\目录下log4j.propertIEs.template，复制为log4j.propertIEs

将log4j.propertIEs中，"INFO, console"改为"WARN, console"保存即可

此时即可查看spark安装情况,进入cmd
输入：spark-shell

四、配置hadoop模块

官网：http://hadoop.apache.org/releases.html

完事后，解压无中文路径下。
配置环境变量，系统变量下新建

path路径

确认即可，
值得注意的是bin目录下没有winutils
因此你可以
https://github.com/steveloughran/winutils

下载完后替换掉hadoop下的bin即可

安装 pyspark 进入cmd

pip install pyspark -i https://pypi.doubanio.com/simple/
完事后你需要

直接在windows环境变量中增加两个pyspark启动时需要检查的变量即可将python解释环境转移到jupyter notebook

第一个用户变量是PYSPARK_DRIVER_PYTHON：jupyter
第二个用户变量是PYSPARK_DRIVER_PYTHON_OPTS：notebook

ok下面
直接在cmd终端输入： pyspark

@H_301_205@

完事。

总结

以上是内存溢出为你收集整理的关于Windows下如何搭建Spark和Python以及如何在jupyter下使用全部内容，希望文章能够帮你解决关于Windows下如何搭建Spark和Python以及如何在jupyter下使用所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。