消息队列中的若干消息如果是对同一个数据进行 *** 作,这些 *** 作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。
1:MQ顺序错乱的场景比如通过mysql binlog进行数据同步,由于对数据库的数据 *** 作是具有顺序性的,如果 *** 作顺序搞反,就会造成不可估量的错误。
比如数据库对一条数据依次进行了 插入->更新->删除 *** 作,这个顺序必须是这样,如果在同步过程中,消息的顺序变成了 删除->插入->更新,那么原本应该被删除的数据,就没有被删除,造成数据的不一致问题。
2:数据同步3:详细剖析
一个 queue,多个 consumer。比如,生产者向 RabbitMQ 里发送了三条数据,顺序依次是
data1/data2/data3,压入的是 RabbitMQ 的一个内存队列。有三个消费者分别从 MQ 中消费这三条数据中的一条,结果消费者 2 先执行完 *** 作,把 data2 存入数据库,然后是 data1/data3。这不明显乱了。
解决方案 方法一拆分多个queue,每个queue一个consumer,这样会造成吞吐量下降。【路由键】
回到原始状态,一个生产者,一个消费者,一个MQ
方法二一个queue对应一个consumer,然后这个consumer内部用内存队列排队,然后分发给底层不同的worker处理
①生产者发送三个消息到一个queue中,三个消息具有先后顺序
②消费者不在去直接消费消息,而是将消息保存到内存队列中【根据关键值进行hash *** 作,将关键值相同的数据发送到相同的队列里面】
③消费线程直接去内存队列获取消息消费,这样就可以保证消息的顺序
如果您觉得文章好看,欢迎点赞,感谢!!☺☻
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)