最近频繁遇到一个问题,storm在提交运行jar程序时,子进程supervisor总是挂机,导致无法运行jar项目,之前以为是环境的问题或是ZK的版本问题,后来查看supervisor.log的日志信息才发现问题所在。先来看看错误
这里多说一点,那么我们应该怎样关闭storm才不会出现这种错误能,最简单的就是jps查看进程后杀死,先从在主。(kill -9 进程ID)
解决办法
1:先检测storm配置文件storm.yaml,是否配置属性storm.local.dir;
2:若配置了storm.local.dir属性,在配置的路径下删除supervisor和workers两个文件夹即可;
3:若没有配置storm.local.dir属性,则添加配置即可;
4:重新启动;
这里要说的是,storm的日志在storm的logs目录下,它分为ui.log、nimbus.log、supervisor.log等等,当那个进程出现问题就查看对应日志即可
以下是几个shell脚本供参考
(1)批量启动ZK脚本:zookeeperStart.sh
(2)批量关闭ZK脚本:zookeeperShutdown.sh
(3)启动storm集群脚本:stormStart.sh
(4)关闭storm集群脚本:stormShutdown.sh
Supervisor可以用来启动和关闭服务,能将进程变成守护进程。 Supervisor在python2下安装
编辑supervisor的配置文件例如放在/etc/supervisord.conf 可以配置多个服务,supervisor会是这些服务的父进程,监控这些服务,如果服务挂了会重启服务。 Supervisor还能提供监控,需要在配置中打开,其密码比较弱,不推荐开放外网功能。
更新配置后平滑启动
更新后会自动启动配置好的对应服务
reload会重新启动配置中的所有程序
Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警。supervisor还提供了一个功能,可以为supervisord或者每个子进程,设置一个非root的user,这个user就可以管理它对应的进程。
注:本文以centos7为例,supervisor版本3.4.0。
注:supervisor的配置文件默认是不全的,不过在大部分默认的情况下,上面说的基本功能已经满足。
注:默认子进程配置文件为ini格式,可在supervisor主配置文件中修改。
给需要管理的子进程(程序)编写一个配置文件,放在 /etc/supervisor.d/ 目录下,以 .ini 作为扩展名(每个进程的配置文件都可以单独分拆也可以把相关的脚本放一起)。如任意定义一个和脚本相关的项目名称的选项组(/etc/supervisord.d/test.conf):
注:把 es 换成 all 可以管理配置中的所有进程。直接输入 supervisorctl 进入supervisorctl的shell交互界面,此时上面的命令不带supervisorctl可直接使用。
使用supervisor进程管理命令之前先启动supervisord,否则程序报错。
使用命令 supervisord -c /etc/supervisord.conf 启动。
若是centos7:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)