分布式任务调度框架选型，如何选择一个合适的框架？

一， *** 作系统基础

不管是面向过程的C语言，还是面向对象的Java语言，以及脚本式语言PHP，这些IT都需要对 *** 作系统有一个基础性的了解。要了解 *** 作系统体系结构、任务调度、内存管理、存储管理、命令解释、界面管理、文件管理等基本内容。系统的学习一下Linux *** 作系统对于编程的学习还是有较大帮助的

二，计算机网络基础

目前的计算机编程大多都与计算机网络关系密切，不论是Web开发、移动端开发(Android、iOS)、大数据开发、嵌入式开发等都需要掌握一定的网络知识。计算机网络知识包括网络体系结构、网络协议、数据传输过程、网络安全、多媒体数据传输等内容，同时要了解交换机、路由器等网络设备等作用。

三，数据库基础

1IT与数据库的关系非常密切，掌握数据库知识是学习IT的一个重要基础。数据库知识包括数据库结构定义、Sql语言、事务处理、视图、数据安全等内容，另外需要通过大量的实验来了解数据库的具体 *** 作，包括建库、建表、查询等 *** 作。对于初学者来说，建议学习一下Mysql数据库。

2目前比较流行的IT方向包括Java、C、Python、PHP、C#、JavaScript、Html等，如果未来要做Web开发可以选择学习Java和PHP，如果要做嵌入式开发可以选择学习C、C++语言，如果要做前端开发可以选择Html、JavaScript，如果做大数据、机器学习方面的开发可以选择学习Python。

在项目管理中，需求是为了成功完成项目而必须完成的一组任务或条件。它包括产品功能、行为、服务甚至是流程。这些需求的目的是确保资源和公司的长期目标在项目结束时保持一致。

一般情况下，需求可以分为以下几类：

业务需求：指业务的总体需求，旨在实现项目。属于这一类的需求是更基本的、与组织的长期目标相一致的长期需求。

解决方案需求：更多以产品为中心，并深入研究。它们可以是功能性的，也可以是非功能性的，确保产品的最终结果既满足产品需要做的事，也满足产品应该做的事。

利害关系人需求：描述了关键人员，他们在里程碑上签字，完成工作，最终确定可交付成果等等。有时他们可以是客户、团队成员、业务伙伴或关键领导。它需要一个坚韧的项目经理来确保所有利害关系人的需求在整个项目中得到很好的平衡。这对于良好的利害关系人管理必不可少。

你也可以定义适合项目的需求类别。

8Manage PM提供了一个用于项目需求管理的平台。系统自动侦查需求的变化，并把需求变化与项目的各个阶段关联，以此提醒用户，让用户更好地了解需求变化所带来的影响。系统也能自动追踪需求依赖及间接变化，让用户尽早了解其潜在影响。

该企业级工具拥有在整个项目过程中准确捕获和传达需求、目标、进度和相互依存关系的能力。团队可以使用该系统来缩短周期时间，提高质量，减少返工并最大程度地减少证明合规性的工作。

无效的需求管理流程，或更常见的是不采用任何需求流程，已被确定为项目失败的主要原因。从项目生命周期开始就实施的需求流程的投资最终会得到回报。

首先，这种框架现在市面上是有的。强烈建议，不要重复造轮子。

先介绍几种比较主流的。

Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。

Elastic-Job的特点：

1、分布式调度 2、作业高可用 3、任务分片执行。

另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。

目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。

目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。

1XXL-JOB

2Elastic-Job

Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。

定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。

支持分布式调度协调、d性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。

分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。

Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。

轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。

灵活的增删改查作业，集中式管理调度作业

支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。

支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例

任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能

一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。

同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片

3opencron

opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可 *** 作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性

4quartz

支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。

quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。

quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的 *** 作规则从而保证了 *** 作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。

缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。

5Saturn

Saturn

基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。

主要特性

支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)

支持秒级调度

支持作业分片并行执行

支持依赖作业串行执行

支持作业高可用和智能负载均衡

支持异常检测和自动失败转移

支持异地容灾

支持多个集群部署

支持跨机房区域部署

支持d性动态扩容

支持优先级和权重设置

支持docker容器，容器化友好

支持cron时间表达式

支持多个时间段暂停执行控制

支持超时告警和超时强杀控制

支持灰度发布

支持异常、超时和无法高可用作业监控告警和简易的故障排除

支持失败率最高、最活跃和负荷最重的各域各节点TOP10的作业统计

优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。

最后一个是国内团队封装的

前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。

另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！

springcloudtask，springclouddataflow，正在学习中

ITS系统指的是智能交通系统。

智能交通系统（Intelligent Traffic System，简称ITS）又称智能运输系统，是将先进的信息技术、数据通信技术、传感器技术、电子控制技术以及计算机技术等有效地综合运用于交通运输、服务控制和车辆制造。

加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。

扩展资料：

ITS系统世界上应用最为成熟的国家是日本，其次在美国、欧洲等地区也普遍应用。中国的智能交通系统发展迅速，在北京、上海、广州等大城市已经建设了先进的智能交通系统。

其中，北京建立了道路交通控制、公共交通指挥与调度、高速公路管理和紧急事件管理的4大ITS系统；广州建立了交通信息共用主平台、物流信息平台和静态交通管理系统的3大ITS系统。随着智能交通系统技术的发展，智能交通系统将在交通运输行业得到越来越广泛的运用。

参考资料来源：百度百科——智能交通系统

1项目的启动过程 项目的启动过程就是一个新的项目识别与开始的过程。一定要认识这样一个概念，即在重要项目上的微小成功，比在不重要的项目上获得巨大成功更具意义与价值。从这种意义上讲，项目的启动阶段显得尤其重要，这是决定是否投资，以及投资什么项目的关键阶段，此时的决策失误可能造成巨大的损失。重视项目启动过程，是保证项目成功的首要步骤。 启动涉及项目范围的知识领域，其输出结果有项目章程、任命项目经理、确定约束条件与假设条件等。启动过程的最主要内容是进行项目的可行性研究与分析，这项活动要以商业目标为核心，而不是以技术为核心。无论是领导关注，还是项目宗旨，都应围绕明确的商业目标，以实现商业预期利润分析为重点，并要提供科学合理的评价方法，以便未来能对其进行评估。

2项目的计划过程 项目的计划过程是项目实施过程中非常重要的一个过程。通过对项目的范围、任务分解、资源分析等制定一个科学的计划，能使项目团队的工作有序的开展。也因为有了计划，我们在实施过程中，才能有一个参照，并通过对计划的不断修订与完善，使后面的计划更符合实际，更能准确的指导项目工作。 以前有一个错误的概念，认为计划应该准确，所谓准确，就是实际进展必须按计划来进行。实际并不是如此，计划是管理的一种手段，仅是通过这种方式，使项目的资源配置、时间分配更为科学合理而已，而计划在实际执行中是可以不断修改的。 在项目的不同知识领域有不同的计划，应根据实际项目情况，编制不同的计划，其中项目计划、范围说明书、工作分解结构、活动清单、网络图、进度计划、资源计划、成本估计、质量计划、风险计划、沟通计划、采购计划等等，是项目计划过程常见的输出，应重点把握与运用。

3项目的实施过程 项目的实施，一般指项目的主体内容执行过程，但实施包括项目的前期工作，因此不光要在具体实施过程中注意范围变更、记录项目信息，鼓励项目组成员努力完成项目，还要在开头与收尾过程中，强调实施的重点内容，如正式验收项目范围等。 在项目实施中，重要的内容就是项目信息的沟通，即及时提交项目进展信息，以项目报告的方式定期通过项目进度，有利开展项目控制，对质量保证提供了手段。

4项目的控制过程 项目管理的过程控制，是保证项目朝目标方向前进的重要过程，就是要及时发现偏差并采取纠正措施，使项目进展朝向目标方向。 控制可以使实际进展符合计划，也可以修改计划使之更切合目前的现状。修改计划的前提是项目符合期望的目标。控制的重点有这么几个方面：范围变更、质量标准、状态报告及风险应对。基本上处理好以上四个方面的控制，项目的控制任务大体上就能完成了。

5项目的收尾过程 一个项目通过一个正式而有效的收尾过程，不仅是对当前项目产生完整文档，对项目干系人的交待，更是以后项目工作的重要财富。在经历的很多项目中，更多重视项目的开始与过程，忽视了项目收尾工作，所以项目管理水平一直未能得到提高。 另外要重视那一类未能实施成功的项目收尾工作，不成功项目的收尾工作比成功项目的收尾更难，也来得更重要，因为这样的项目的主要价值就是项目失败的教训，因此要通过收尾将这些教训提炼出来。 项目收尾包括对最终产品进行验收，形成项目档案，吸取的教训等。另外，对项目干系人要做一个合理的安排，这也是容易忽视的地方，简单的打发回去不是最好的处理办法，更是对项目组成员的不负责任。 项目收尾的形式，可以根据项目的大小自由决定，可以通过召开发布会、表彰会、公布绩效评估等手段来进行，形式是根据情况采用，但一定要明确，并能达到效果。如果能对项目进行收尾审计，则是再好不过的了，当然也有很多项目是无需审计的。

嵌入式实时 *** 作系统强调了什么？

系统最大的特点当然是嵌入。嵌入就意味着它和硬件的联系很强，对硬件的适配和依赖度都是很高的，对于系统移植的难易度也就成了评价嵌入实时系统的重要方面。嵌入式 *** 作系统移植的目的是使嵌入式 *** 作系统能在某个微处理器或微控制器上运行。比如VxWorks是商用 *** 作系统的有很多API函数及相关技术支持，所以移植和二次开发比较容易，但是移植成本较高。嵌入还意味着对于小型的硬件要求，主要是面对实时产生的数据，在数据产生终端进行快速的运算。所以系统极其强调灵敏性和实时性。

另一个特点就是实时。对于实时性的要求，有很多种实现措施。我们一一道来。首先就是分区处理的思想。对于核心的功能划分，使用户信息和系统程序和运行分列在不同的区划里，保证任务的有效有序运转。其次， 任务管理是嵌入式实时 *** 作系统的核心和灵魂，决定了 *** 作系统的实时性能。它通常包含优先级设置、多任务调度机制和时间确定性等部分。 嵌入式 *** 作系统支持多任务，每个任务都具有优先级，任务越重要，赋予的优先级应越高。优先级的设置分为静态优先级和动态优先级两种。静态优先级指的是每个任务在运行前都被赋予一个优先级，而且这个优先级在系统运行期间是不能改变的；动态优先级则是指每个任务的优先级(特别是应用程序的优先级)在系统运行时可以动态地改变。 嵌入式 *** 作系统支持多任务，每个任务都具有优先级。任务调度主要是协调任务对计算机系统资源的争夺使用。对系统资源非常匮乏的嵌入式系统来说，任务调度尤为重要，它直接影响到系统的实时性能。通常，多任务调度机制分为基于优先级抢占式调度和时间片轮转调度。

基于优先级抢占式调度：系统中每个任务都有一个优先级，内核总是将CPU分配给处于就绪态的优先级最高的任务运行。如果系统发现就绪队列中有比当前运行任务更高的优先级任务，就把当前运行任务置于就绪队列中，调入高优先级任务运行。系统采用优先级抢占方式进行调度，可以保证重要的突发事件及时得到处理。

时间片轮转调度：让优先级相同的处于就绪状态的任务按时间片使用CPU，以防止同优先级的某一任务长时间独占CPU。

在一般情况下，嵌入式实时 *** 作系统采用基于优先级抢占式调度与时间片轮转调度相结合的调度机制。

第三，在运行的执行方式上，VXworks等系统采用进程和线程的执行方式，而市面上其他的系统多采用任务执行方式。

嵌入式实时 *** 作系统函数调用与服务的执行时间应具有可确定性。系统服务的执行时间不依赖于应用程序任务的多少。基于此特征，系统完成某个确定任务的时间是可预测的。表1具体列出了4种 *** 作系统的调度机制。

VxWorks具有高效的任务管理功能，它支持多任务，可分配256个优先级，支持优先级抢占式调试和时间片轮转调度，实时性最好。μC／OS-II内核是针对实时系统的要求设计实现的，只支持基于固定优先级抢占式调度；调度方法简单，可以满足较高的实时性要求。μClinux在结构上继承了标准Linux的多任务实现方式，分为实时进程和普通进程，分别采用先来先服务和时间片轮转调度；仅针对中低档嵌入式CPU特点进行改良，且不支持内核抢占。eCos调度方法丰富，提供了两种基于优先级的调度器(即位图调度器和多级队列调度器)，允许用户在进行配置时选择其中一个凋度器，适应性好。

此外，还涉及到任务的中断管理。

中断管理是实时系统中一个很重要的部分，系统经常通过中断与外部事件交互。主要考虑是否支持中断嵌套、中断处理机制、中断延时等。

以VXwoks为例，xWorks *** 作系统中断管理采用中断处理与普通任务分别在不同栈中处理的中断处理机制，使得中断只会引发一些关键寄存器的存储，而不会导致任务的上下文切换，从而极大地缩短了中断延时。同时，VxWorks的中断处理程序只能在最短时间内通告中断的发生，而将其他的非实时处理尽量放入被引发的中断服务程序中来完成，这也缩短了中断延时。但是凼为中断服务程序不在一个固定的仟务上下文中执行，而目没有任务控制块，所以所有中断服务程序使用相同的中断堆栈。为了能处理最坏情况下的中断嵌套，必须分配足够大的中断堆栈空间。

因商业原因，不对其他新型嵌入式实时 *** 作系统做分析。

·有哪些厉害的MPU实时 *** 作系统？

1、VXworks

VxWorks *** 作系统是美国WindRiver公司于1983年设计开发的一种嵌入式实时 *** 作系统（RTOS），是嵌入式开发环境的关键组成部分。良好的持续发展能力、高性能的内核以及友好的用户开发环境，在嵌入式实时 *** 作系统领域占据一席之地。它以其良好的可靠性和卓越的实时性被广泛地应用在通信、军事、航空、航天等高精尖技术及实时性要求极高的领域中，如卫星通讯、军事演习、d道制导、飞机导航等。在美国的 F-16、FA-18战斗机、B-2 隐形轰炸机和爱国者导d上，甚至连1997年4月在火星表面登陆的火星探测器、2008年5月登陆的凤凰号，和2012年8月登陆的好奇号也都使用到了VxWorks上。

VxWorks *** 作系统有以下部件组成：

多任务调度（采用基于优先级抢占方式，同时支持同优先级任务间的分时间片调度）

任务间的同步

进程间通信机制

中断处理

定时器和内存管理机制

总之，VxWorks的系统结构是一个相当小的微内核的层次结构。内核仅提供多任务环境、进程间通信和同步功能。这些功能模块足够支持VxWorks在较高层次所提供的丰富的性能的要求。

2、QNX

QNX是一种商用的遵从POSIX规范的类Unix实时 *** 作系统，目标市场主要是面向嵌入式系统。它可能是最成功的微内核 *** 作系统之一。

QNX成立于1980年，是加拿大一家知名的嵌入式系统开发商。

QNX的应用范围极广，包含了：控制保时捷跑车的音乐和媒体功能、核电站和美国陆军无人驾驶Crusher坦克的控制系统[2]，还有RIM公司的BlackBerry PlayBook平板电脑。

3、Rtems

RTEMS, 即： 实时多处理器系统(Real Time Executive for Multiprocessor Systems)，是一个开源的无版税实时嵌入 *** 作系统RTOS。

它最早用于美国国防系统，早期的名称为实时导d系统（Real Time Executive for Missile Systems），后来改名为实时军用系统（Real Time Executive for Military Systems），现在由OAR公司负责版本的升级与维护。无论是航空航天、军工，还是民用领域RTEMS都有着极为广泛的应用。

以上就是关于学it需要具备什么条件全部的内容，包括:学it需要具备什么条件、现代IT项目中的需求管理如何做、分布式任务调度框架选型，如何选择一个合适的框架等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！