Scala，spark，Kafka，storm配置（1+x）

Scala，spark，Kafka，storm配置（1+x）

• Scala与spark部署

配置环境变量

      解压文件

改名

      生效环境变量

      检验Scala是否能使用

      按CTRL+C退出

      配置spark文件

      新建文件并写入

      分发环境变量，并到另外两台机器使环境变量生效

      分发文件

      三台机器启动zookeeper，并查看状态

      启动spark

      在master1-1的spark下的sbin里启动Hadoop

      访问master1-1:8080

      在slave1-1的spark下的sbin里启动master

      访问slave1-1:8080

• Kafka部署

配置环境变量

      解压文件

      改名

      生效环境变量

      分发环境变量，并到另外两台机器使环境变量生效

      三台机器启动zookeeper，并查看状态

      配置文件

      新建文件夹

分发文件

      修改另外两台机器的配置文件

      启动Kafka（三台）

      在master1-1上创建topic-test

      在master1-1上查看topic

      在master1-1上创建生产者

      在slave1-1上创建消费者

      在master1-1里测试生产者

      返回slave1-1查看消费者状态

• Storm部署

配置环境变量

解压文件

改名

      生效环境变量

分发环境变量，并到另外两台机器使环境变量生效

三台机器启动zookeeper，并查看状态

编辑配置文件

      分发文件

      启动

Master端（启动四个），并查看

Salve端（启动两个），并查看

      访问网页