pyspark使用windows单机处理100g以上csv，突破pandas内存限制

pyspark使用windows单机处理100g以上csv，突破pandas内存限制

运行环境spark3、三星980固态硬盘、i7-10700k, 5分钟处理好。
主要使用CPU和固态硬盘换取内存处理，速度处理快于内存处理,spark自带分布式处理。

py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM
报错引入
import findspark
findspark.init()

import findspark
findspark