windows怎么安装sparkr

windows怎么安装sparkr,第1张

在Windows上安装与配置Spark 本歼袜答节介绍在Windows系统氏慧好卜上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。 (1)安装JDK 相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装Oracle JDK或者OpenJDK。

第一步:安装anaconda

anaconda自带一系列科学计算包

接着配置环境变量:如我安装在D盘下  

试一下命令行宴凯岩启动,确保ipython从anaconda启动

第二步晌御:安装spark(需要提前安装JDK)

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本:

解压缩之后,不要忘记添加环境变量

SPARK_HOME=E:\spark

path=%SPARK_HOME%\bin

配置如下系统变量孙陆

接着需要在命令行键入(spark安装目录下:如D:\spark) >sbt package   进行编译

sbt下载与安装(不知道是否必须要)

下载地址:http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Windows.html

配置sbt环境变量

SBT_HOME

C:\sbt-0.13.8

配置到环境变量path中

%SBT_HOME%\bin

安装sbt成功与否

这一步很重要  拷贝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目录下

第三步:修改spark\conf下的spark-env文件(不知道是否必要)

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda

export PYSPARK_DRIVER_PYTHON=/D:/anaconda

export PYSPARK_SUBMIT_ARGS='--master local[*]'

第四步:启动pyspark

发现已启动成功,一般网页会自动打开http://localhost:8888/tree#

第五步:测试sc

成功!

在windows下安岩陵装软件大家都觉得很容易,只要双击setup或是install的图标,然后跟着向导一步一步的按提示做就可以了,但是在linux下安装软件就不像windows下那样容易了,有时你找到的是没有编译过的软件源码,那带枣嫌就更加的麻烦了,

这里就介绍一下如何安装linux的软件啦!

linux下的软件一般都是经过压缩的,主要的格式有这几种:rpm、tar、tar.gz、tgz等。所以首先拿到软件后第一件事就是解压缩

蠢手 在xwindow下以rpm格式的软件安装比较容易,只要在把鼠标移到文件上单击右键,在d出的菜单里会有专门的三项(只有在右键单击rpm文件才会出现)show info,upgrade和install,这三项的意思大家都很清楚了,我就不多说了。

rpm格式说了,接着就是tar,tar.gz,tgz等,在xwindow下双击这些格式的文件就会自动解压缩的,是解压缩而不是像rpm那样有install选项的,install文件会在你解压缩后才出现,不过这里我要先说一下,在你双击install前建议先好好看一下readme,因为你所要安装这些软件可能是没有编译的,所以看一下会比较好。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/8275683.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-14
下一篇 2023-04-14

发表评论

登录后才能评论

评论列表(0条)

保存