大数据-玩转数据-Spark集群安装高可用

大数据-玩转数据-Spark集群安装高可用 大数据-玩转数据-Spark集群安装高可用

说明：在前已经安装完成hadoop,zookeeper,spark基础上。
1.修改 /conf/spark-env.sh 配置

export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_201
#export SCALA_HOME=/opt/scala	
#export SPARK_MASTER_IP=192.168.80.2
#export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
#export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
#export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.10.1/etc/hadoop

export SPARK_DAEMON_JAVA_OPTS="