11月11日24时,天猫双11总交易额定格在5403亿元。截至11月11日23时,698个中小品牌的成交额实现从百万级到千万级的突破,78个品牌实现成交额破亿。其中“剁手”大军的中坚力量还是年轻人,数据显示仅90后与00后的消费者占比就超过45%。
满足了“剁手瘾”之后,每个人心心念的是什么呢?当然是自己的包裹了。而除了我们自己,还有一群人也在时刻关注着这些包裹,那就是菜鸟。
目前菜鸟参与支持整个淘系平台物流,根据它们的统计,11月1日至14日有超过16亿包裹使用了菜鸟电子面单,到今天为止包裹体量远超16亿。这样体量的配送压力可想而知,如何保证全国商家快速寄出商品,用户快速收到包裹,才是菜鸟技术团队在双11期间最关心的事儿。
菜鸟技术团队其实很早就意识到了这个问题。2019年他们认为随着网购的发展和全国快递业务爆发,数据存储量将会极速攀升,如果还依赖以往的底层数据库可能业务在半年或1年内就会遇到瓶颈。只有对数据库进行全面升级,才能从根本上解决数据收集、分析、处理的问题,增加整个系统应对巨大物流压力的能力,保证把包裹第一时间送到用户手里。
于是,2019年菜鸟开始进行数据库技术选型,从存储模式、OLTP、OLAP、运维成本、数据一致性等多个维度进行综合考核,最终在多家数据库服务提供商中选择了 Oceanbase,着手对发货、寄件和控制塔系统数据库进行升级。
包裹跑更快以淘系全网的物流异常监控来说,系统会对发货、揽收、派件、签收等关键环节进行时效异常监控。目前根据淘宝的规定,自买家付款起商家必须做到24小时内发货、48小时内有揽货记录、72小时内有物流记录。通过物流异常监控,任何一个环节出现问题时系统都能立刻锁定问题节点并反馈处理。对于在手机或电脑前购物的你来说,完全没有感知,唯一的感受就是包裹跑得更快了,送达时间更短了。
这种速度背后,离不开 Oceanbase 存储海量数据及应对数据处理高并发的技术能力。菜鸟技术团队的大白(化名)介绍说,起初菜鸟只覆盖淘系5%的仓配订单业务的需求,而今天已经达到淘系全网业务100%覆盖。这意味着仅时效类异常监控一项,监控数据量级就从百万行提升到近亿行每天,数据存储和处理量暴增。而如果仍使用原数据库,需要添加更多的服务器,成本大大提升并不划算。而 Oceanbase 凭借分布式模式,可以通过水平扩缩容在高峰期调用更多存储和算力,帮助系统应对数据吞吐高峰,保证包裹及时送到用户手里。
购物更丝滑随着越来越多人参与网购,商家日常打单和发货量变多,相应数据存储和订单数据也愈发庞大,6个月产生的数据量能达到几十亿行。当商家进入物流后台或者买家查询物流进度时,数据库会进行聚合查询,这相当于在几十亿行的数据海洋中“捞一根针”。而菜鸟此前的数据库的聚合查询QPS支撑只能达到180条/秒左右,尤其当遇到双11这种购物高峰期,反馈速度会受到影响。
在升级为 Oceanbase 数据库之后,问题得到了解决。Oceanbase 技术团队的屿寒介绍说,借助分区表的算子下压技术,Oceanbase 的聚合查询能力更强,通过均衡分布数据分片到所有服务器上,提高集群资源利用率,同时大大缩短了聚合查询响应时间。从2019年双11上线至今,整个系统运行稳定,QPS支撑由180条/秒提升到1200+条/秒,列表查询耗时从200毫秒下降到了20毫秒。在今年刚过去的双11期间,整个RT都在10毫秒以下,进一步帮助商家提高包裹查询和发货速度,让用户的购物体验更加丝滑。
目前,Oceanbase 已经支持菜鸟发货、寄件和控制塔三大业务,仅商家和控制塔部分每年就节省成本近400万元;随着业务持续长,Oceanbase 的技术优势和性价比会进一步显现出来,为菜鸟节省更多成本。大白表示:“Oceanbase 至少能解决业务规模翻一番带来的数据挑战,没有问题。”
对于广大消费者来说,今年双11的包裹一定已经收到了吧!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)