storm怎样部署在linux

安装Storm软件分五步：

安装Zookeeper。

安装Storm的依赖环境：Java和Python。

下载并解压Storm安装包。

修改必要的Storm配置文件。

启动Storm程序。

方法/步骤

1

Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：

主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。

每个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集；一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。

Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程，它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。

2

这一章节将详细描述如何搭建一个Storm集群。下面是接下来需要依次完成的安装步骤：•搭建Zookeeper集群；•安装Storm依赖库；•下载并解压Storm发布版本；•修改storm.yaml配置文件；•启动Storm各个后台进程。

2.1 搭建Zookeeper集群

Storm使用Zookeeper协调集群，由于Zookeeper并不用于消息传递，所以Storm给Zookeeper带来的压力相当低。大多数情况下，单个节点的Zookeeper集群足够胜任，不过为了确保故障恢复或者部署大规模Storm集群，可能需要更大规模节点的Zookeeper集群（对于Zookeeper集群的话，官方推荐的最小节点数为3个）。在Zookeeper集群的每台机器上完成以下安装部署步骤：

1）下载安装Java JDK，官方下载链接为javasuncom/javase/downloads/indexjsp，JDK版本为JDK 6或以上。

2）根据Zookeeper集群的负载情况，合理设置Java堆大小，尽可能避免发生swap，导致Zookeeper性能下降。保守期间，4GB内存的机器可以为Zookeeper分配3GB最大堆空间。

3）下载后解压安装Zookeeper包，官方下载链接为hadoopapacheorg/zookeeper/releaseshtml。

4）根据Zookeeper集群节点情况，创建如下格式的Zookeeper配置文件zoo.cfg：tickTime=2000dataDir=/var/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2888:3888server.3=zoo3:2888:3888

其中，dataDir指定Zookeeper的数据文件目录；其中server.id=host:port:port，id是为每个Zookeeper节点的编号，保存在dataDir目录下的myid文件中，zoo1~zoo3表示各个Zookeeper节点的hostname，第一个port是用于连接leader的端口，第二个port是用于leader选举的端口。

5）在dataDir目录下创建myid文件，文件中只包含一行，且内容为该节点对应的server.id中的id编号。

6）启动Zookeeper服务：

java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg

也可以通过bin/zkServer.sh脚本启动Zookeeper服务。

7）通过Zookeeper客户端测试服务是否可用：•Java客户端下，执行如下命令：

java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181

也可以通过bin/zkCli.sh脚本启动Zookeeper Java客户端。•C客户端下，进入src/c目录下，编译单线程或多线程客户端：

./configuremake cli_stmake cli_mt

运行进入C客户端：

cli_st 127.0.0.1:2181cli_mt 127.0.0.1:2181

至此，完成了Zookeeper集群的部署与启动。

3

向集群提交任务

1）启动Storm Topology：

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology实现代码的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。

2）停止Storm Topology：

storm kill {toponame}

其中，{toponame}为Topology提交到Storm集群时指定的Topology任务名称。

在过去，在windows下跑storm是一个极大的挑战。通常，这种方式会涉及到Storm的源码编程方式，storm的生态依赖以及如何让windows伪装成UNIX/POSIX。

就是因为这个原因，导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。

非常感谢Storm的开发者David Lao以及 来自Yahoo！的贡献(making-storm-fly-with-netty)，下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。

下面，我将列出几个步骤，讲述如何将storm部署到windows环境中，并且将会跑一个简单的拓扑在这个环境中。这是一个简单的创建单节点以及跑一个"word count"简单拓扑的过程。

先附上UI图：

安装JAVA：

下载JDK(Storm 需要的环境是JDK6/7)，在这个步骤中，我使用JDK 7，大家可以自行到Oracle官网下载。

我将它安装在：

C:\Java\jdk1.7.0_45\

安装Python：

为了测试python的安装，我将部署"word count"来自storm-starter project 的例子，一个用python写的multi-lang bolt。我使用的python2.7.6可以从这里下载。

我将python安装在这里：

C:\Python27\

安装以及执行Zookeeper：

下载 Apache Zookeeper 3.3.6并且解压它。按照如下命令进行配置以及执行：

>cd zookeeper-3.3.6

>copy conf\zoo_sample.cfg conf\zoo.cfg

>.\bin\zkServer.cmd

安装Storm

允许storm部署到windows下的官方正式版本现在还没有发布，但是你可以下载并且编译包含了这个功能的版本，点击这里下载。

(源码分支参考这里)。

解压压缩包到你想要的位置。我选择 C盘。

配置环境变量

在windows下需要配置两个环境变量： STORM_HOME 以及 JAVA_HOME ，并且同样要将安装路径配置到PATH中。

JAVA_HOME

C:\Java\jdk1.7.0_45\

STORM_HOME

C:\storm-0.9.1-incubating-SNAPSHOT-12182013\

PATH Add:

%STORM_HOME%\bin%JAVA_HOME%\binC:\Python27C:\Python27\Lib\site-packages\C:\Python27\Scripts\

PATHEXT Add:

.PY

Start Nimbus, Supervisor, and Storm UI Daemons

为每一个运行实例打开一个命令行：

Nimbus

>cd %STORM_HOME%

>storm nimbus

Supervisor

>cd %STORM_HOME%

>storm supervisor

Storm UI

>cd %STORM_HOME%

>storm ui

---