我们最早知道的中间件是一个称为Tuxedo的东西，实质上它是一个交易中间件。1998年IDC公司对于中间件有一个定义，并根据用途将其划分为6个类别。如今所保留下来的只有消息中间件和交易中间件，其他的已经被逐步融合到其他产品中了，被包裹进去了，在市场上已经没有单独的产品形态出现了。例如，当时有一个叫屏幕数据转换的中间件，其主要是针对IBM大机终端而设计产品，用于将IBM大机终端的字符界面转化为用户所喜欢的图形界面，类似的东西当时都称为中间件。但随着IBM大机环境越来越少，但是盛行一时的此类中间件如今已经很少再被单独提及。
2000年前后，互联网盛行起来，随之产生了一个新的东西，就是应用服务器。实际上，交易中间件也属于是应用服务器，为了区分，人们传统的交易中间件称为分布交易中间件，因它主要应用在分布式环境下，而将新的应用服务器，称为J2EE中间件，到目前为止，这都是市场上非常热门的产品。
EAI概念出来之后，市场上又推出了一些新的软件产品，，例如工作流、Portal等，但从分类上不知道怎么归类，向上不能够划归应用，往下又不能归入 *** 作系统，于是就把它归入了中间件，如此中间件的概念更加扩大了。目前，市场上对于中间件，各家的说法不一，客观上也导致了理解上的复杂性。
如今，市场上又推出了很多新的概念，例如三层结构、构件、Web服务，其中风头最劲的当属SOA(面向服务的架构)。实际上，他们都不是一个产品，而是一种技术的实现方法，是开发一个软件的一种方法论。我们知道，最早软件开发方法就是编程、写代码的，其缺点在于无法复用，为此提出了构件化的软件开发方法，通过把编程中一些常用功能进行封装，并规范统一接口，供其它程序调用，例如我们开发一个新软件，可能要用到构件1、构件2、构件3，那么，我们只要对其进行本地组装，就可以得到我们想要的应用软件。在互联网得到普及重视之后，软件开发方法在构件化基础上又有新发展，核心思想是软件并不需要囊括构件，所需要的仅仅是构件的运行结果，例如编写一个通信传输软件，就可以到网上寻找构件，并提出服务请求，得到结果后返回，而不需要下载构件并打包，这就是现在所说的SOA。想要现实SOA，就要规范构件接口，同时还要规范构件所提交的服务结果，如此，新的软件开发的思想才能够行的通。但SOA并不是一个产品，而是一种思想方法，而实现这种方法的基础，如今看来只有中间件。
那么，到底什么才是中间件，什么不是中间件从东方通科技的观点看，中间件应该具备两个关键特征:首先要为上层的应用层服务，这是一个基本条件;此外，又必须连接到 *** 作系统的层面，并却保持运行工作状态，具备了这样两个特征才能称为中间件。现在很多人把开发工具也称为中间件是不合适的，因为开发工具开发出来的软件，并不依赖开发工具与底层 *** 作系统连接。都是中间件的分支，中间件一般来说都是应用在底层服务器和顶层应用软件之间的，能够减少开发中很多基础性的开发，提高开发效率，我们方正飞鸿智能信息平台就是一个中间件，主要是位于浏览器和服务器之间开发B\S架构软件的一个开发工具一、概念
MQ的消费模式分两种：push和pull。
所谓push就是服务端主动推送消息给客户端，而pull则是客户端需要主动到服务端取数据。
二、两种模式的优缺点
21 push模式的优缺点
push优点：
服务端主动推送给客户端，及时性很高
push缺点：
1当客户端消费能力远低于服务端生产能力，那么一旦服务端推送大量消息到客户端时，就会导致客户端消息堆积，处理缓慢，甚至服务崩溃。（那么如何解决这个问题呢？需要mq提供流控制，也就是依据客户端消费能力做流控。比如rabbitmq设置Qos，限制消费数量。）
2服务端需要维护每次传输状态，以防消息传递失败进行重试。
22 pull模式的优缺点
pull模式优点：
1客户端可以依据自己的消费能力进行消费
2传输失败时不需要重试，反正数据还在服务端。
pull模式缺点：
1主动到服务端拉取消息。这个拉取消息的间隔需要设置好，不太好设置。间隔太短，对服务器请求压力过大。间隔时间过长，那么必然会造成一部分数据的延迟。（也有一些解决方案，间隔时间指数级增长，5ms，10ms，20ms，40ms，80ms。。。然后再回到5ms，一定程度上解决，但是如果在41ms时来了数据，那么到80ms就有40ms左右的时间延迟。另外在腾讯的CMQ里有一套长轮询的解决方案，就是取数据时要是没有数据可消费，不是直接返回而是连接等待，一直有数据来了再返回）
三、push和pull模式不同适用场景
对于服务端生产消息数据比较大时，而消费端处理比较复杂，消费能力相对较低时，这种情况就适用pull模式。
对于数据实时性要求高的场景，就比较适用与push模式。
四、不同消息中间件支持的模式
另外springboot集成的rabbitmq封装的就是push模式。
早期需要延迟处理的业务场景，更多的是通过定时任务扫表，然后执行满足条件的记录，具有频率高、命中低、资源消耗大的缺点。随着消息中间件的普及，延迟消息可以很好的处理这种场景，本文主要介绍延迟消息的使用场景以及基于常见的消息中间件如何实现延迟队列，最后给出了一个在网易公开课使用延迟队列的实践。
1、有效期：限时活动、拼团。。。
2、超时处理：取消超时未支付订单、超时自动确认收货。。。
4、重试：网络异常重试、打车派单、依赖条件未满足重试。。。
5、定时任务：智能设备定时启动。。。
1、RabbitMQ
1）简介：基于AMQP协议，使用Erlang编写，实现了一个Broker框架
a、Broker：接收和分发消息的代理服务器
b、Virtual Host：虚拟主机之间相互隔离，可理解为一个虚拟主机对应一个消息服务
c、Exchange：交换机，消息发送到指定虚拟机的交换机上
d、Binding：交换机与队列绑定，并通过路由策略和routingKey将消息投递到一个或多个队列中
e、Queue：存放消息的队列，FIFO，可持久化
f、Channel：信道，消费者通过信道消费消息，一个TCP连接上可同时创建成百上千个信道，作为消息隔离
2）延迟队列实现：RabbitMQ的延迟队列基于消息的存活时间TTL（Time To Live）和死信交换机DLE（Dead Letter Exchanges）实现
a、TTL：RabbitMQ支持对队列和消息各自设置存活时间，取二者中较小的值，即队列无消费者连接或消息在队列中一直未被消费的过期时间
b、DLE：过期的消息通过绑定的死信交换机，路由到指定的死信队列，消费者实际上消费的是死信队列上的消息
3）缺点：
a、配置麻烦，额外增加一个死信交换机和一个死信队列的配置
b、脆弱性，配置错误或者生产者消费者连接的队列错误都有可能造成延迟失效
2、RocketMQ
1）简介：来源于阿里，目前为Apache顶级开源项目，使用Java编写，基于长轮询的拉取方式，支持事务消息，并解决了顺序消息和海量堆积的问题
a、Broker：存放Topic并根据读取Producer的提交日志，将逻辑上的一个Topic分多个Queue存储，每个Queue上存储消息在提交日志上的位置
b、Name Server：无状态的节点，维护Topic与Broker的对应关系以及Broker的主从关系
2）延迟队列实现：RocketMQ发送延时消息时先把消息按照延迟时间段发送到指定的队列中(rocketmq把每种延迟时间段的消息都存放到同一个队列中)，然后通过一个定时器进行轮训这些队列，查看消息是否到期，如果到期就把这个消息发送到指定topic的队列中
3）缺点：延迟时间粒度受限制（1s/5s/10s/30s/1m/2m/3m/4m/5m/6m/7m/8m/9m/10m/20m/30m/1h/2h）
3、Kafka
1）简介：来源于Linkedin，目前为Apache顶级开源项目，使用Scala和Java编写，基于zookeeper协调的分布式、流处理的日志系统，升级版为Jafka
2）延迟队列实现：Kafka支持延时生产、延时拉取、延时删除等，其基于时间轮和JDK的DelayQueue实现
a、时间轮(TimingWheel)：是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表
b、定时任务列表(TimerTaskList)：是一个环形的双向链表，链表中的每一项表示的都是定时任务项
c、定时任务项(TimerTaskEntry)：封装了真正的定时任务TimerTask
d、层级时间轮：当任务的到期时间超过了当前时间轮所表示的时间范围时，就会尝试添加到上层时间轮中，类似于钟表就是一个三级时间轮
e、JDK DelayQueue：存储TimerTaskList，并根据其expiration来推进时间轮的时间，每推进一次除执行相应任务列表外，层级时间轮也会进行相应调整
3）缺点：
a、延迟精度取决于时间格设置
b、延迟任务除由超时触发还可能被外部事件触发而执行
4、ActiveMQ
1）简介：基于JMS协议，Java编写的Apache顶级开源项目，支持点对点和发布订阅两种模式。
a、点对点（point-to-point）：消息发送到指定的队列，每条消息只有一个消费者能够消费，基于拉模型
b、发布订阅（publish/subscribe）：消息发送到主题Topic上，每条消息会被订阅该Topic的所有消费者各自消费，基于推模型
2）延迟队列实现：需要延迟的消息会先存储在JobStore中，通过异步线程任务JobScheduler将到达投递时间的消息投递到相应队列上
a、Broker Filter：Broker中定义了一系列BrokerFilter的子类构成拦截器链，按顺序对消息进行相应处理
b、ScheduleBroker：当消息中指定了延迟相关属性，并且jobId为空时，会生成调度任务存储到JobStore中，此时消息不会进入到队列
c、JobStore：基于BTree存储，key为任务执行的时间戳，value为该时间戳下需要执行的任务列表
d、JobScheduler：取JobStore中最小的key执行（调度时间最早的），执行时间<=当前时间，将该任务列表依次投递到所属的队列，对于需要重复投递和投递失败的会再次存入JobStore中。
注： 此处JobScheduler的执行时间间隔可动态变化，默认05s，有新任务时会立即执行（Object->notifyAll()）并设置时间间隔为01s，没有新任务后，下次执行时间为最近任务的调度执行时间。
3）缺点：投递到队列失败，将消息重新存入JobStore，消息调度执行时间=系统当前时间+延迟时间，会导致消息被真实投递的时间可能为设置的延迟时间的整数倍
5、Redis
1）简介：基于Key-Value的NoSQL数据库，由于其极高的性能常被当作缓存来使用，其数据结构支持：字符串、哈希、列表、集合、有序集合
2）延迟队列实现：Redis的延迟队列基于有序集合，score为执行时间戳，value为任务实体或任务实体引用
3）缺点：
a、实现复杂，本身不支持
b、完全基于内存，延迟时间长浪费内存资源
6、消息队列对比
1、公开课延迟队列技术选型
1）业务场景：关闭超时未支付订单、限时优惠活动、拼团
2）性能要求：订单、活动、拼团 数据量可控，上述MQ均能满足要求
3）可靠性：使用ActiveMQ、RabbitMQ、RocketMQ作为延迟队列更普遍
4）可用性：ActiveMQ、RocketMQ自身支持延迟队列功能，且目前公开课业务中使用的中间件为ActiveMQ和Kafka
5）延迟时间灵活：活动的开始和结束时间比较灵活，而RocketMQ时间粒度较粗，Kafka会依赖时间格有精度缺失
结论： 最终选择ActiveMQ来作为延迟队列
2、业务场景：关闭未支付订单
1）关闭微信未支付订单
2）关闭IOS未支付订单
3、ActiveMQ使用方式
1）activemqxml中支持调度任务
2）发送消息时，设置message的延迟属性
其中：
a、延迟处理
AMQ_SCHEDULED_DELAY：设置多长时间后，投递给消费者（毫秒）
b、重复投递
AMQ_SCHEDULED_PERIOD：重复投递时间间隔（毫秒）
AMQ_SCHEDULED_REPEAT：重复投递次数
c、指定调度计划
AMQ_SCHEDULED_CRON：corn正则表达式
4、公开课使用中进行的优化
1）可靠性：针对实际投递时间可能翻倍的问题，结合ActiveMQ的重复投递，在消费者逻辑中做幂等处理来保证延迟时间的准确性
2）可追溯性：延迟消息及消费情况做数据库冗余存储
3）易用性：业务上定义好延迟枚举类型，直接使用JmsDelayTemplate发送，无需关心数据备份和参数等细节
1、无论是基于死信队列还是基于数据先存储后投递，本质上都是将延迟待发送的消息数据与正常订阅的队列分开存储，从而降低耦合度
2、无论是检查队头消息TTL还是调度存储的延迟数据，本质上都是通过定时任务来完成的，但是定时任务的触发策略以及延迟数据的存储方式决定了不同中间件之间的性能优劣
张浩，2018年加入网易传媒，高级Java开发工程师，目前在网易公开课主要做支付财务体系、版本迭代相关的工作。
中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/ 服务器的 *** 作系统之上，管理计算机资源和网络通讯。是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。
执行中间件的一个关键途径是信息传递。通过中间件，应用程序可以工作于多平台或OS环境。
中间件是基础软件的一大类，属于可复用软件的范畴。顾名思义，中间件处于 *** 作系统软件与用户的应用软件的中间。
扩展资料中间件在 *** 作系统、网络和数据库之上，应用软件的下层，总的作用是为处于自己上层的应用软件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。
在众多关于中间件的定义中，比较普遍被接受的是IDC表述的：中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的 *** 作系统之上，管理计算资源和网络通信。
由于标准接口对于可移植性、标准协议对于互 *** 作性的重要性，中间件已成为许多标准化工作的主要部分。对于应用软件开发，中间件远比 *** 作系统和网络服务更为重要，中间件提供的程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件怎样更新换代，只要将中间件升级更新，并保持中间件对外的接口定义不变，应用软件就几乎不需任何修改，从而保护了企业在应用软件开发和维护中的重大投资。
参考资料来源：百度百科-中间件
中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/ 服务器的 *** 作系统之上，管理计算机资源和网络通讯。是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。执行中间件的一个关键途径是信息传递。通过中间件，应用程序可以工作于多平台或 OS 环境。
中间件是介于 *** 作系统和应用软件之间，为应用软件提供服务功能的软件，有消息中间件，交易中间件，应用服务器等。由于介于两种软件之间，所以，称为中间件。
Linux系统常用的中间件
1、tomcat
是一款java语言servlet规范的服务器软件适用于本地开发，小项目，或者是个人开发(免费的开放源代码的Web 应用服务器)，Apache 为HTML页面服务，而Tomcat 实际上运行JSP 页面和Servlet，但是Tomcat处理静态[HTML]的能力不如Apache服务器
2、weblogic
大项目或者商业项目，Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中，是美国bea公司出品的一个基于j2ee架构的中间件。
3、jetty
一些示例项目或者小项目常(开源的servlet容器)，是使用Java语言编写的，Jetty的运行速度较快，而且是轻量级的，可以在Java中可以从test case中控制其运行。从而可以使[自动化测试]不再依赖外部环境，顺利实现自动化测试
4、JBoss
管理EJB的容器和服务器(开放源代码的项目)，JBoss遵循商业友好的LGPL授权分发，并且由开源社区开发
5、WebSphere
IBM 的软件平台，它包含了编写、运行和监视全天候的工业强度的随需应变 Web 应用程序和跨平台、跨产品解决方案所需要的整个中间件基础设施，如服务器、服务和工具。WebSphere 提供了可靠、灵活和健壮的软件。WebSphere 是一个模块化的平台，基于业界支持的开放标准。可以通过受信任和持久的接口，将现有资产插入 WebSphere，可以继续扩展环境。WebSphere 可以在许多平台上运行，包括 Intel、Linux 和 z/OS。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）