初识PySpark

PySpark简介：https://www.codingdict.com/article/8880

安装配置PySpark环境 Windows中

1. 打开cmd
2. 输入Python
3. 找到site-packages目录

import sys 
sys.path

4. 将Linux中的spark中的python/lib目录下的两个包（pyspark.zip,py4j.zip）拷贝到site-packages目录下
5. 然后解压两个包，然后的拷贝的压缩包删除掉。
   

   
   

   
   注：通过py4j，Python程序能够动态的访问Java虚拟机的Java对象，Java程序也可以回调Python的对象。
   

   
   

   pyspark是spark提供的Python写的sparkAPI库。
   

   
   

Linux/Mac中