Linux服务器下PySpark环境安装

Linux服务器下PySpark环境安装,第1张

Linux服务器下PySpark环境安装 Linux服务器下PySpark环境安装 一、JDK安装

​ 1. 下载JDK安装包

​ 进入Java官网下载对应的JDK版本,建议下载较早的版本,可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar,下载完毕适用Xftp7上传至服务器并解压

tar -zxfv jdk-8u321-linux-x64.tar
2. 修改 `/etc/profile` 文件,添加环境变量配置信息。
vim /etc/profile

​ 在文件末尾添加如下的配置信息

export JAVA_HOME=解压后的安装包位置
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

​ 执行

source /etc/profile

​ 使环境变量配置生效。

​ 验证JDK环境,

[root@VM-20-8-centos ~]# java -version
java version "1.8.0_321"
Java(TM) SE Runtime Environment (build 1.8.0_321-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.321-b07, mixed mode)
二、Python安装
    安装相应的编译工具,在命令端执行
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel 
ncurses-devel sqlite-devel readline-devel tk-devel 
gdbml-devel db4-devel libpcap-devel xz-devel
yum install -y libffi-devel zliblg-dev
yum install zlib* -y

    下载Python3.7安装包

    建议下载Python3.6Python3.8的Python版本,还是版本兼容的问题~

    上传!解压!

tar -zxvf Python-3.7.7.tgz

​ 进入解压后的目录,编译安装

./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl

​ 第一个--prefix指定安装的路径,不指定的话,安装过程中软件所需的文件可能复制到其它目录中,这样在删除软件时会很不方便,复制软件也不方便。第二个--enable-optimizations开启优化选项,这样可以提高Python代码运行速度10%~20%。第三个--with-ssl是为了支持pip安装软件需要用到的ssl。

make && make install

​ 这个过程比较耗时,会进行源码编译,并测试。

    创建软链接
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

​ 验证安装

[root@VM-20-8-centos ~]# python3
Python 3.7.7 (default, Jan 28 2022, 17:56:52)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

​ Hello, Python~

三、Spark安装

​ 完成JDK和Python3的安装后,Spark的安装就“洒洒水”(简简单单啦)了。

    下载Spark安装包并上传到服务器

    Downloads | Apache Spark

      解压并配置环境变量即可

    跟上述步骤类似,在/etc/profile中修改环境变量,同时添加**SPARK_PYTHON**变量,即Pyspark使用的Python编译器,路径为系统的Python目录

    export SPARK_PYTHON=/usr/local/bin/python3
    export SPARK_HOME=/root/spark/pakeage/spark-3.2.0-bin-hadoop3.2
    

    别忘了还要source /etc/profile

      验证
[root@VM-20-8-centos spark-3.2.0-bin-hadoop3.2]# pyspark
Python 3.7.7 (default, Jan 28 2022, 17:56:52)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/01/30 19:54:56 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  '_/
   /__ / .__/_,_/_/ /_/_   version 3.2.0
      /_/

Using Python version 3.7.7 (default, Jan 28 2022 17:56:52)
Spark context Web UI available at http://VM-20-8-centos:4040
Spark context available as 'sc' (master = local[*], app id = local-1643543698074).
SparkSession available as 'spark'.
>>>

​ 配置Spark环境后会连同配置pyspark的环境变量,因此可以直接输入pyspark执行。

至此,Spark以及Pysark安装完毕!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5715497.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存