Pyspark上saveAsTextFile（）中命令字符串异常中的（null）条目

Pyspark上saveAsTextFile（）中命令字符串异常中的（null）条目

您缺少 winutils.exe hadoop二进制文件。取决于x64位/ x32位系统下载winutils.exe文件并设置您的hadoop home指向它。

第一种方式：

1. 下载档案
2. hadoop在系统中创建文件夹，例如C:
3. bin在hadoop目录中创建文件夹，例如：C:hadoopbin
4. 粘贴

   winutils.exe

   在

   bin

   ，例如：

   C:hadoopbinwinuitls.exe

5. 在系统属性的用户变量中->高级系统设置
   创建新的变量名称：

   HADOOP_HOME

   路径：

   C:hadoop

   
   

第二种方式：

您可以使用以下命令在Java程序中直接设置hadoop home：

System.setProperty("hadoop.home.dir","C:hadoop" );