在linux上如何配置spark环境，在linux上安装scala和spark老是失败

方法/步骤
首先你的机器安装了jdk，我的新机器，所以早上刚在centos上折腾了jdk，没有的也可以去参考下
下载安装包
scala-2114tgz
spark-120-bin-hadoop24tgz
后面的包忘了之前哪找的了，需要的可以私我。将包传到服务器，解压
tar zxvf scala-2114tgz
tar zxvf spark-120-bin-hadoop24tgz
配置环境变量
vim /etc/profile
加上以下对应内容：
export JAVA_HOME=/home/yy/jdk18
export SCALA_HOME=/home/yy/scala
export SPARK_HOME=/home/yy/spark-120-bin-hadoop24
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行source /etc/profile使配置生效
修改spark配置
进入spark-120-bin-hadoop24/conf
复制模板文件：
cp spark-envshtemplate spark-envsh
cp slavestemplate slaves
编辑spark-envsh
添加上你的对应信息：
export JAVA_HOME=/home/yy/jdk18
export SCALA_HOME=/home/yy/scala
export SPARK_MASTER_IP=172200204
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/home/yy/spark-120-bin-hadoop24/conf
编辑slaves
添加上你的对应信息，所有的集群的机器：
172200204
172200205
到此为止，前面所有的安装配置动作，在你的另一个机器上(所有的slave机器)同样的做一遍，即我这里的205机器
进入spark-120-bin-hadoop24/sbin/目录
执行：/start-allsh
如果没有设置ssh免密码登陆，会要求输入密码
这时候jps查看多了个master和worker
浏览器查看集群信息
master地址+8080端口
启动Running Applications
在bin目录下执行：
MASTER=spark://172200204:7077 /spark-shell
这时候就可以看到运行的app啦
同时可以查看jobs内容
slave机器上也运行app，这时候就可以看到运行的applications有两个啦。
好了，环境就算先搭起来啦，后面就是去调用吧。
>jdk:jdk180

hadoop:hadoop-2101

spark:spark-301

将jdk解压缩

之后在/etc/profile里面添加环境变量

注意每次都要source /etc/profile

解压Hadoop

并配置环境变量，将Hadoop的路径写入~/bashrc

需要source ~/bashrc

修改hostname,

sudo vim  /etc/hostname

修改hosts的名字

sudo vim  /etc/hosts

以下是master的hostname和hosts
slave1和slave2的hostname也需要改。

配置免密登录
ssh-keygen -t rsa      # 一直按回车就可以

cat /id_rsapub >> /authorized_keys

需要修改Hadoop安装目录下/etc/hadoop中的5个配置文件。slaves、core-sitexml、hdfs-sitexml、mapred-sitexml、yarn-sitexml

<configuration>

<property>

                <name>fsdefaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadooptmpdir</name>

                <value>file:/home/zkx/hadoop-2101/tmp</value>

                <description>Abase for other temporary directories</description>

        </property>

</configuration>

这文件记录备份相关。我们有2个 slave 节点，因此可以将 dfsreplication 的值设为 2

<configuration>

<property>

                <name>dfsnamenodesecondary>Android 几种消息推送方案总结:
一、使用GCM(Google Cloude Messaging)Android自带的推送GCM可以帮助开发人员给他们的Android应用程序发送数据。它是一个轻量级的消息，告诉Android应用程序有新的数据要从服务器获取，或者是一个消息，其中包含了4KB的payload data（像即时通讯这类应用程序可以直接使用该payload消息）。
GCM服务处理排队的消息，并把消息传递到目标设备上运行的Android应用程序。
二、使用XMPP协议（Openfire+Spark+Smark）XMPP是一种基于XML的协议，它继承了在XML环境中灵活的发展性，有很强的可扩展性。包括上面讲的GCM服务器底层也是采用XMPP协议封装的。
三、使用MQTT协议（想了解更多可以看>