为什么不能PySpark找到py4j.java

为什么不能PySpark找到py4j.java

案: 放在和其岁桐他jar文件一起的地方,都分散的话就进内存卡找到文团雀祥件选项看有安装没,进java乐园看有没有更新塌搏、添加、安装等字样

如何将PySpark导入Python

问题1、ImportError: No module named pyspark

现象：

已氏散经安装配置好了PySpark，可以打开PySpark交互式界面；

在Python里找不到pysaprk。

解决方法：

a.使用findspark

使用pip安装findspark：pip install findspark；

在py文件中引入findspark：>>>import findspark；

>>>findspark.init()；

导入你要使用的pyspark库：>>>from pyspark import *。

优点：简单快捷

缺点：治标不治本，每次写一个新的Application都要加载一遍findspark

b.把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录

export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优歼前氏点：一劳永逸

缺点：对于小白可能不太了解环境变量是什么

问题2、ImportError: No module named ‘py4j’

现象：

已经安装配悔碰置好了PySpark，可以打开PySpark交互式界面；

按照上面的b方式配置后出现该问题。

解决方法：

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH12

注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

Python: 3.7、2.7

PySpark: 1.6.2 - 预编译包

OS: Mac OSX 10.11.1

打开pycharm,导入已有的或者新建工程。

创建新的run configurition。芹慧

选山罩择edit configurition。

设置环境，创建PYTHONPATH和SPARK_HOME

配置路径逗首闹，都可以在Spark安装路径下找到：

选择 File->setting->你的project->project structure

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路径（这两个文件都在Spark中的python文件夹下，自己找一下）

保存，ok

---