python – PySpark可以使用numpy数组吗？

概述我试图在pyspark会话中执行以下命令： >>> a = [1,2,3,4,5,6,7,8,9,10]>>> da = sc.parallelize(a)>>> da.reduce(lambda a, b: a + b) 它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是Python列表： >>> import numpy>>> a = numpy.array([1 我试图在pyspark会话中执行以下命令：

>>> a = [1,2,3,4,5,6,7,8,9,10]>>> da = sc.parallelize(a)>>> da.reduce(lambda a,b: a + b)

它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是python列表：

>>> import numpy>>> a = numpy.array([1,10])>>> da = sc.parallelize(a)>>> da.reduce(lambda a,b: a + b)

结果我得到了很多错误.更具体地说,我在错误消息中多次看到以下错误：

importError: No module named numpy.core.multiarray

是不是安装了不是我的集群或pyspark无法在基础级别上使用numpy数组？

解决方法 我有类似的问题.我在下面做了并解决了问题：

pip uninstall numpypip install numpypip install nose

总结

以上是内存溢出为你收集整理的python – PySpark可以使用numpy数组吗？全部内容，希望文章能够帮你解决python – PySpark可以使用numpy数组吗？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。