Linux安装spark，Scala

Linux安装spark，Scala

目录

解压到安装目录并更改名字

修改配置文件

进入conf目录

重命名spark-env.sh.template

编辑spark-env.sh

重命名slaves.template

添加主机名

配置环境变量

进入sbin目录，修改spark-config.sh文件

拷贝到另外两台机器

启动spark

 在网页中查看

 解压到安装目录

配置环境变量

启动spark shell

解压到安装目录并更改名字

 tar zxvf /h3cu/spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src/

mv /usr/local/src/spark-2.0.0-bin-hadoop2.6 /usr/local/src/spark

修改配置文件 进入conf目录

cd /usr/local/src/spark/conf/

重命名spark-env.sh.template

mv spark-env.sh.template spark-env.sh

编辑spark-env.sh

vim spark-env.sh

# Options for the daemons used in the standalone deploy mode
SPARK_MASTER_HOST=slave    #主机名
SPARK_MASTER_PORT=7077     #端口号
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
SPARK_WORKER_CORES=1        #worker核心数
SPARK_WORKER_MEMORY=3g      #worker内存

重命名slaves.template

mv slaves.template slave

添加主机名

vim slaves

#删除默认的localhost
slave        #第一台主机
slave1       #第二台主机
slave2       #第三台主机

配置环境变量

spark和Hadoop两个环境变量不要一起配，可能会起冲突

vim /root/.bash_profile

#spark
export SPARK_HOME=/usr/local/src/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH

进入sbin目录，修改spark-config.sh文件

cd /usr/local/src/spark/sbin

vim spark-config.sh

#spark

export JAVA_HOME=/usr/local/src/jdk

拷贝到另外两台机器

scp -r /usr/local/src/spark slave1:/usr/local/src

scp -r /usr/local/src/spark slave2:/usr/local/src

启动spark

http://172.16.24.200:8080/

start-all.sh

 在网页中查看

 解压到安装目录

tar zxvf /h3cu/scala-2.11.0.tgz -C /usr/local/src/

配置环境变量

vim /root/.bash_profile

#scala
export SCALA_HOME=/usr/local/src/scala
export PATH=/usr/local/src/scala/bin:$PATH

启动spark shell

spark-shell --master spark://slave:7077