支持原文:https://www.cnblogs.com/chen-chen-chen/p/12221923.html
官网地址:https://www.xuxueli.com/xxl-job/
- 第一阶段 单线程调度,在Java1.5之前,基于线程的等待(sleep或wait)机制定时执行,需要开发者实现调度逻辑,单个线程(Thread)处理单个任务有些浪费,但是一个线程(Timer)处理多个任务容易因为某个任务繁忙导致其他任务阻塞。
- 第二阶段 线程池调度,在Java1.5开始提供ScheduledExecutorService调度线程池,调度线程池支持固定的延时和固定间隔模式,对于需要在某天或者某月的时间点执行就不大方便,需要计算时间间隔,转换成启动延时和固定间隔,处理起来比较麻烦。
- 第三阶段 Spring任务调度,Spring简化了任务调度,通过@Scheduled注解支持将某个Bean的方法定时执行,除了支持固定延时和固定间隔模式外,还支持cron表达式,使得定时任务的开发变得极其简单。
- 第四阶段 Quartz任务调度,在任务服务集群部署下,Quartz通过数据库锁,实现任务的调度并发控制,避免同一个任务同时执行的情况。Quartz通过Scheduler提供了任务调度API,开发可以基于此开发自己的任务调度管理平台。
- 第五阶段 分布式任务平台,提供一个统一的平台,无需再去做和调度相关的开发,业务系统只需要实现具体的任务逻辑,自动注册到任务调度平台,在上面进行相关的配置就完成了定时任务的开发。
现在分布式下任务调度有很多解决方案,可以基于Quartz开发任务管理平台,也可以使用开源的任务调度平台,比如xxl-job,elastic-job。
XXL-JOB
大众点评员工徐雪里于2015年发布的分布式任务调度平台,是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。官方地址:https://www.xuxueli.com/xxl-job/
ELASTIC-JOB
当当开发的d性分布式任务调度系统,功能丰富强大,采用zookeeper实现分布式协调,实现任务高可用以及分片,并且可以支持云开发,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。官方地址:http://elasticjob.io/docs/elastic-job-lite/00-overview/
方案对比
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
如何在项目中集成
1.加入依赖
com.xuxueli xxl-job-core2.0.1
2.配置执行器
@Configuration public class XxlJobConfig { @Value("${spring.application.name:}") private String springAppName; @Value("${xxl.job.admin.addresses}") private String adminAddresses; @Value("${xxl.job.executor.appname:}") private String appName; @Value("${xxl.job.executor.ip:}") private String ip; @Value("${xxl.job.executor.port:9999}") private int port; @Value("${xxl.job.accessToken:}") private String accessToken; @Value("${xxl.job.executor.logpath:job-logs}") private String logPath; @Value("${xxl.job.executor.logretentiondays:7}") private int logRetentionDays; @Bean public XxlJobSpringExecutor xxlJobExecutor() { XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor(); xxlJobSpringExecutor.setAdminAddresses(adminAddresses); if (StringUtils.isEmpty(appName)) { if (StringUtils.isEmpty(springAppName)) { throw new IllegalStateException("missing xxl-job appname config"); } appName = springAppName; } xxlJobSpringExecutor.setAppName(appName); xxlJobSpringExecutor.setIp(ip); xxlJobSpringExecutor.setPort(port); xxlJobSpringExecutor.setAccessToken(accessToken); xxlJobSpringExecutor.setLogPath(logPath); xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays); return xxlJobSpringExecutor; } }
3.配置yml文件
server: #项目端口号 port: 8081 logging: #日志文件 config: classpath:logback.xml xxl: job: admin: #调度中心部署跟地址:如调度中心集群部署存在多个地址则用逗号分隔。 #执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"。 addresses: http://127.0.0.1:8080/xxl-job-admin #分别配置执行器的名称、ip地址、端口号 #注意:如果配置多个执行器时,防止端口冲突 executor: appname: executorDemo ip: 127.0.0.1 port: 9999 #执行器运行日志文件存储的磁盘位置,需要对该路径拥有读写权限 logpath: /data/applogs/xxl-job/jobhandler #执行器Log文件定期清理功能,指定日志保存天数,日志文件过期自动删除。限制至少保持3天,否则功能不生效; #-1表示永不删除 logretentiondays: -1
addresses:任务调度中心部署根地址(必填)
appname:这个名称可以自己定义,但一般为 “项目名称-job” ,此名称用于在任务调度中心中,配置执行器时的名称标识。
ip:执行器ip,可以不填,会自动识别注册
port:执行器端口号
logpath:执行器运行日志文件存储磁盘路径
logretentiondays:执行器日志保存天数,值大于3时生效,启用执行器log文件定期清理功能,否则不生效。
AccessToken:执行器通讯token,非空时启用
4.开发定时任务
定义定时任务有两种方式:1、2.1.2或者之后版本可以直接在方法上加@XxlJob来声明任务;2、2.1.2之前版本每个任务需要单独开发一个Bean,实现IJobHandler接口,并且在类上加@JobHandler注解。第二种方式较麻烦,推荐使用第一种方式(目前还没稳定版)。
基于@XxlJob注解代码方式(建议制定名称,和调度中心配置保持一致) @Component public class SampleXxlJob { private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class); @XxlJob("demoJobHandler") public ReturnTdemoJobHandler(String param) throws Exception { XxlJobLogger.log("XXL-JOB, Hello World."); for (int i = 0; i < 5; i++) { XxlJobLogger.log("beat at:" + i); TimeUnit.SECONDS.sleep(2); } return ReturnT.SUCCESS; } @XxlJob("shardingJobHandler") public ReturnT shardingJobHandler(String param) throws Exception { // 分片参数 ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo(); XxlJobLogger.log("分片参数:当前分片序号 = {}, 总分片数 = {}", shardingVO.getIndex(), shardingVO.getTotal()); // 业务逻辑 for (int i = 0; i < shardingVO.getTotal(); i++) { if (i == shardingVO.getIndex()) { XxlJobLogger.log("第 {} 片, 命中分片开始处理", i); } else { XxlJobLogger.log("第 {} 片, 忽略", i); } } return ReturnT.SUCCESS; } }
基于@JobHandler代码方式 @JobHandler(value="demoJobHandler") @Component public class DemoJobHandler extends IJobHandler { @Override public ReturnTexecute(String param) throws Exception { XxlJobLogger.log("XXL-JOB, Hello World."); for (int i = 0; i < 5; i++) { XxlJobLogger.log("beat at:" + i); TimeUnit.SECONDS.sleep(2); } return SUCCESS; } }
5.配置定时任务
1、配置定时任务,需要先配置执行器,推荐使用自动注册方式,避免集群部署时还需要调整机器地址,添加界面如下(注意appname要和业务系统中配置一致):
2、添加完执行器后,添加任务,JobHandler要和代码中配置的名称一致,执行器集群部署可以通过配置路由方式来控制执行,xxl-job调度只支持cron表达式。
3、启动或者执行任务,查询执行日志、注册节点等
1、任务服务器必须做时钟同步,执行器时钟不能调度中心180秒,否则将会导致调度失败(RPC框架限制)
2、调度任务的时间间隔低于实际执行耗时,导致产生较大的调度日志;
3、尽量避免短任务,比如秒级的任务会导致大量数据库锁影响性能;
4、调度日志量偏大导致查询慢,由于日志都记录在数据库,需要定时清理;
5、自动注册时服务器多网卡导致调度失败,注册时需指定网卡IP;
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)