先介绍几种比较主流的。
Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。
Elastic-Job的特点：
1、分布式调度 2、作业高可用 3、任务分片执行。
另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。
目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。
目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。
1XXL-JOB
2Elastic-Job
Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。
定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。
支持分布式调度协调、d性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。
分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。
Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。
灵活的增删改查作业，集中式管理调度作业
支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。
支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例
任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能
一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。
同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片
3opencron
opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可 *** 作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性
4quartz
支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。
quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。
quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的 *** 作规则从而保证了 *** 作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。
缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。
5Saturn
Saturn
基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。
主要特性
支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)
支持秒级调度
支持作业分片并行执行
支持依赖作业串行执行
支持作业高可用和智能负载均衡
支持异常检测和自动失败转移
支持异地容灾
支持多个集群部署
支持跨机房区域部署
支持d性动态扩容
支持优先级和权重设置
支持docker容器，容器化友好
支持cron时间表达式
支持多个时间段暂停执行控制
支持超时告警和超时强杀控制
支持灰度发布
支持异常、超时和无法高可用作业监控告警和简易的故障排除
支持失败率最高、最活跃和负荷最重的各域各节点TOP10的作业统计
优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。
最后一个是国内团队封装的
前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。
另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！
springcloudtask，springclouddataflow，正在学习中
随着互联网技术的不断发展，我们在进行服务器开发方面也掌握了很多的开发部署技术。今天，回龙观IT培训就给大家简单来介绍一下，都有哪些服务器开发部署方法是值得我们使用的。
停机部署
停机部署其实是简单粗暴的方式，就是简单地把现有版本的服务停机，然后部署新的版本。在一些时候，我们必需使用这样的方式来部署或升级多个服务。比如，新版本中的服务使用到了和老版本完全不兼容的数据表的设计。这个时候，我们对生产有两个变更，一个是数据库，另一个是服务，而且新老版本互不兼容，所以只能使用停机部署的方式。
这种方式的优势是，在部署过程中不会出现新老版本同时在线的情况，所有状态完全一致。停机部署主要是为了新版本的一致性问题。
这种方式不好的问题就是会停机，对用户的影响会很大。所以，一般来说，这种部署方式需要事前挂公告，选择一个用户访问少的时间段来做。
蓝绿部署
蓝绿部署与停机部署大的不同是，其在生产线上部署相同数量的新的服务，然后当新的服务测试确认OK后，把流量切到新的服务这边来。蓝绿部署比停机部署好的地方是，它无需停机。
我们可以看到这种部署方式，就是我们说的预发环境。在我以前的金融公司里，也经常用这种方式，生产线上有两套相同的集群，一套是Prod是真实服务的，另一套是Stage是预发环境，发布发Stage，然后把流量切到Stage这边，于是Stage就成了Prod，而之前的Prod则成了Stage。有点像换页似的。
这种方式的优点是没有停机，实时发布和升级，也避免有新旧版本同时在线的问题。但这种部署的问题就是有点浪费，因为需要使用双倍的资源(不过，这只是在物理机时代，在云计算时代没事，因为虚拟机部署完就可以释放了)。
另外，如果我们的服务中有状态，比如一些缓存什么的，停机部署和蓝绿部署都会有问题。
滚动部署
滚动部署策略是指通过逐个替换应用的所有实例，来缓慢发布应用的一个新版本。通常过程如下：在负载调度后有个版本A的应用实例池，一个版本B的实例部署成功，可以响应请求时，该实例被加入到池中。然后，版本A的一个实例从池中删除并下线。
这种部署方式直接对现有的服务进行升级，虽然便于 *** 作，而且在缓慢地更新的过程中，对于有状态的服务也是比较友好的，状态可以在更新中慢慢重建起来。但是，这种部署的问题也是比较多的。
在发布过程中，会出现新老两个版本同时在线的情况，同一用户的请求可能在新老版中切换而导致问题。
应急调度平台主要分为调度服务器、录音服务器、语音综合网关、多媒体调度台、集群网关、移动中继网关六大功能模块。其中调度服务器主要负责所有语音视频的处理，保证整个系统能够正常运行。
录音服务器负责所有语音通信的录音，保证后期可调用录音文件作为查看依据。
语音综合网关提供E1与PSTN对接，实现所有系统用户的外线中继通道。
多媒体调度台可进行音频一体化调度，提高调度 *** 作的易用性和便利性；可视化图形调度界面使调度用户的状态一目了然；一键式语音呼叫可进行高效率的调度 *** 作；多种配置资源，提高使用灵活性并丰富调度手段。
集群网关提供多个接口与对讲组对接，将现有的对讲组接入到系统中，可实现对讲组与行政办公人员之间以及外线人员的语音通信。
移动中继网关提供GSM、CDMA、WCDMA三个移动模块，系统内的所有用户可通过三种网络拨打外线，作为语言通道备份。传真服务器支持系统下发的多路传真，也可接受外部发送的传真，调度员可通过传真发送工作任务和命令。
15台服务器不少也不算太多，搭建一个基于LAMP技术的网站绰绰有余了。我的建议是
选择其中的两台硬盘较大，内存还可以的两台作为数据库服务器。搭建一套主从热备的主从数据库，实现系统的读写分离。提高数据访问的速度。
选择硬盘最大的一台作为文件服务器，放置系统需要使用的等静态资源。这里可以看情况而定，如果文件数据量大的话可以考虑多用一两台的搭建分布式文件系统。选择内存较大的一或两台搭建缓存服务器，将网站上满足二八定律的、访问量集中的、那百分之二十的数据缓存起来。内存的访问速度比硬盘快太多。剩下的用于搭建应用服务器集群。使用一台作为负载均衡调度服务器。当请求访问时根据既定的策略将请求分发到集群中去。
如有不对请斧正。欢迎评论讨论。
具有融合通信平台的应急调度系统是应用较为广泛的一类。近期有看到捷思锐推出融合通信平台的解决方案，系统构成分为地面指挥中心核心调度平台、接入网关设备、移动指挥中心、已有通信设备接入系统四大部分。其中地面指挥中心调度平台主要配置有：调度服务器、录音录像服务器、视频业务服务器、视频分析服务器等服务器设备，用于语音/视频终端的注册、语音/视频业务的交换。
接入网关设备主要用于语音、视频终端的接入、以及各种网络的接入。针对不同终端类型和网络类型选配合适的网关设备，有无线中继网关、无线集群网关、IP广播网关、综合语音网关、视频接入网关,所有网关均支持灵活扩容和堆叠，并支持IP远程部署。
移动指挥中心即在车上部署全套调度平台和车载无线宽带网络，指挥人员在车上就能实现地面指挥中心的全部应急调度功能；通过车载无线宽带网络实现现场救援人员的应急调度，并能够通过卫星网络/3G网络和地面指挥中心互联互通。
对于已有的通信系统，可以通过IP网络和专用网络接入到应急指挥调度平台，通过应急调度平台实现对已有通信系统的联动调度。与此同时，还可以融合原有的语音系统、视频监控系统、应急预案系统、应急告警系统、呼叫中心系统以及专业业务系统等。
阿里云。
阿里云创立于2009年，是全球领先的云计算及人工智能科技公司，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业。
包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行记录。
经营范围
经营电信业务；服务：计算机软硬件、电子产品、数码产品的技术开发、技术服务，企业管理咨询与计算机信息技术咨询；设计、制作、代理、发布国内广告，成年人的非文化教育培训、成年人的非证书劳动职业技能培训（涉及前置审批的项目除外）。
批发、零售：计算机软硬件，电子产品（除专控），数码产品；会务服务，承办展览，展览展示设计；智能化设计咨询及改造。
对于磁盘I/O，Linux提供了cfq, deadline和noop三种调度策略
考虑到硬件配置、实际应用场景（读写比例、顺序还是随机读写）的差异，上面的简单解释对于实际选择没有太大帮助，实际该选择哪个基本还是要实测来验证。不过下面几条说明供参考：
NOOP全称No Operation,中文名称电梯式调度器，该算法实现了最简单的FIFO队列，所有I/O请求大致按照先来后到的顺序进行 *** 作。NOOP实现了一个简单的FIFO队列,它像电梯的工作方式一样对I/O请求进行组织。它是基于先入先出（FIFO）队列概念的 Linux 内核里最简单的I/O 调度器。此调度程序最适合于固态硬盘。
Deadline翻译成中文是截止时间调度器，是对Linus Elevator的一种改进，它避免有些请求太长时间不能被处理。另外可以区分对待读 *** 作和写 *** 作。DEADLINE额外分别为读I/O和写I/O提供了FIFO队列。
Deadline对读写request进行了分类管理，并且在调度处理的过程中读请求具有较高优先级。这主要是因为读请求往往是同步 *** 作，对延迟时间比较敏感，而写 *** 作往往是异步 *** 作，可以尽可能的将相邻访问地址的请求进行合并，但是，合并的效率越高，延迟时间会越长。因此，为了区别对待读写请求类型，deadline采用两条链表对读写请求进行分类管理。但是，引入分类管理之后，在读优先的情况下，写请求如果长时间得到不到调度，会出现饿死的情况，因此，deadline算法考虑了写饿死的情况，从而保证在读优先调度的情况下，写请求不会被饿死。
总体来讲，deadline算法对request进行了优先权控制调度，主要表现在如下几个方面：
CFQ全称Completely Fair Scheduler ，中文名称完全公平调度器，它是现在许多 Linux 发行版的默认调度器，CFQ是内核默认选择的I/O调度器。它将由进程提交的同步请求放到多个进程队列中，然后为每个队列分配时间片以访问磁盘。 对于通用的服务器是最好的选择，CFQ均匀地分布对I/O带宽的访问 。CFQ为每个进程和线程，单独创建一个队列来管理该进程所产生的请求,以此来保证每个进程都能被很好的分配到I/O带宽，I/O调度器每次执行一个进程的4次请求。该算法的特点是按照I/O请求的地址进行排序，而不是按照先来后到的顺序来进行响应。简单来说就是给所有同步进程分配时间片，然后才排队访问磁盘。
多队列无 *** 作I / O调度程序。不对请求进行重新排序，最小的开销。NVME等快速随机I / O设备的理想选择。
这是对最后期限I / O调度程序的改编，但设计用于 多队列设备。一个出色的多面手，CPU开销相当低。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）