成都市红星路是一条重要的交通干道,红星路上遍布的数百个视频监控卡口在方便了及时洞察交通状况的同时,也产生了PB级别的数据。为应对其对于存储系统的带来的挑战,成都交通管理部门采用浪潮软件定义存储存储系统,通过创新的软硬件组合,实现了小文件读写性能提高100%,读集群性能提高50%,同时满足未来业务发展的海量数据存储、处理需求。
数百套视频监控设备考验存储“肚量”
说起“红星路”,对于老成都人来说,承载着童年记忆,上世纪30年代,这里是加工、经营金属制品一条街,常年响着加工金属的“叮叮当当”声。如今,这几条街巷名已经消失,代而取之的是红星路一段、二段、三段和四段,它呈南北走向贯穿中心城区,成为成都市骨架路网中,一条重要的城市主干路。作为城市主干道,红星路承载着非常巨大的交通流量,一旦出现交通问题更是可能影响成都市整体交通的运行效率。因此,成都市交通管理部门希望构建集信息采集、交通管控、信息服务于一体的智能交通管控系统,从而有效疏导交通、缓解城市交通压力。
在智能交通管控体系的建设过程中,成都市交管部门发现,存储系统是一个亟待突破的瓶颈。为了多方位监控道路的交通状况,交管局在红星路上设置了大量的监测设备,其中视频监控设备数量就达到数百套。这些视频监控设备需要不间断的拍摄道路状况,记录交通违法、车辆号牌、车辆特征、车辆速度等各种信息。
红星路数百个摄像头产生源源不断的数据红星路的视频监控设备采集的数据以1MB以下的图片为主,据统计,每个视频监控设备每天需要采集图片数据近1.2万张左右,而红星路上总共有数百个视频监控设备,每天需要存储的数据量就达到TB级别,再加上交通系统往往会存储相当长时期内的历史数据来进行查证、回溯,对当前存储系统容量带来压力。
更大的挑战在于小文件的存储性能问题,这些海量小文件在写入时,每个小文件存储都会执行一次全写流程, *** 作频繁,使得分布式文件系统的磁盘压力剧增。其不仅会由于有用数据占获取数据量比例过低,导致内存、带宽的浪费,而且,当用户读取大量小文件时,首先选择与元数据交互,当访问过于集中、信息交互过于频繁时,将产生显而易见的延迟。
IHS Markit发布的《2018全球视频监控信息服务报告》还显示,基于深度学习的视频监控存储/服务器设备(DLRS)市场将以平均每年62.7%的复合增长率高速增长,这带来了对于小文件读写性能的更高要求,这也使得对于小文件存储的优化成为视频监控行业的突出需求。
100% 的性能提升 浪潮AS13000 实现高效存储
针对成都市红星路智能交通系统碰到的存储难题,浪潮提供了软件定义存储 AS13000 的系统,AS13000 该可以支持 480PB 以上的存储容量,整体支持十亿级的文件数量,可以有效应对未来5-10年内,成都市红星路视频监控数据的快速增长。
浪潮软件定义存储尤为重要的是,AS13000 针对红星路视频监控以小文件存储为主的应用场景,对于小文件存储性能进行了优化,这些优化技术包括:面向全局存储资源的条带化,确保应用数据的并发写入、读取;同时,AS13000还通过小文件聚合技术,将碎片化小文件聚合成一个大文件,在数据读写时提前读取相关数据,提高缓存命中率;提高磁盘使用率,读小文件时将所在对象读入缓存,提高读命中率、缩短读I/O路径。通过这些技术,红星路视频监控存储系统,实现小文件读写性能提高100%,读集群性能提高50%。
除了极大的优化小文件的存储性能,浪潮软件定义存储解决方案在扩展性、可用性、节能性等方面表现突出。在扩展性方面,AS13000 节点可根据视频监控数据增长的需求灵活扩展,随着节点数量的增加,存储容量与性能都会得到高效的扩展;在可用性方面,解决方案采用4+2的纠删冗余,可以容许两个节点同时故障,或者任意两个节点同时各坏一块磁盘的故障。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)