python–PySpark–UnicodeEncodeError：’ascii’编解码器不能编码字符

概述使用spark.read.csv将带有外来字符(åäö)的数据框加载到Spark中,并使用encoding ='utf-8'并尝试执行简单的show().>>> df.show() Traceback (most recent call last): File '<stdin>', line 1, in <module&

使用spark.read.csv将带有外来字符(åäö)的数据框加载到Spark中,并使用enCoding =’utf-8’并尝试执行简单的show().

>>> df.show()Traceback (most recent call last):file "

我认为这可能与Python本身有关但我无法理解here for example中提到的任何技巧如何应用于PySpark和show() – 函数的上下文中.最佳答案https://issues.apache.org/jira/browse/SPARK-11772讨论了这个问题并提供了一个运行解决方案：

export PYTHONIOENCoding=utf8

在跑pyspark之前.我想知道为什么以上工作,因为即使没有它,sys.getdefaultenCoding()也为我返回了utf-8.

How to set sys.stdout encoding in Python 3?还谈到了这一点,并为Python 3提供了以下解决方案：

import syssys.stdout = open(sys.stdout.fileno(),mode='w',enCoding='utf8',buffering=1)

总结

以上是内存溢出为你收集整理的python – PySpark – UnicodeEncodeError：’ascii’编解码器不能编码字符全部内容，希望文章能够帮你解决python – PySpark – UnicodeEncodeError：’ascii’编解码器不能编码字符所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/langs/1205916.html