从落地效果看，如何基于SequoiaDB构建「PB级数据」股份制银行内容管理平台

从落地效果看，如何基于SequoiaDB构建「PB级数据」股份制银行内容管理平台

导读：

股份制银行内容管理平台基于巨杉数据库结构化数据与非结构化数据统一管理，实现PB级数据的高并发访问与统一集中运营。

近些年，伴随着移动互联网的飞速发展，海量非结构化数据场景出现。巨杉数据库基于原生分布式技术，演进出独特的湖仓一体架构，提供存算分离、海量数据存储、多模数据、高并发访问等能力，为银行非结构化数据治理提供银行内容管理平台解决方案。经过客户与巨杉在海量非结构化数据场景下的共同探索，结合客户发展阶段与业务特性的不同，可以将场景细分为股份制银行、农信银行以及城商行内容管理平台。巨杉深度剖析了客户内容管理平台的业务需求，基于湖仓一体架构，在结构化数据与非结构化数据融合处理方向提供了成功的解决方案，并进一步积极探索湖仓一体在全量数据场景下的落地方案，截止到目前，可以为客户提供实时在线数据服务、联机交易等场景落地解决方案。

巨杉数据库银行典型客户案例

在股份制银行的内容管理平台场景中，已经落地了近百亿条、百TB级数据的稳定支撑能力，提供PB级数据场景下的高并发访问。

行业背景

近些年，伴随着移动互联网飞速发展，基于手机银行、移动营业厅、网上银行、远程银行、开放银行、流程银行等业务渠道，在各类创新的业务有效地提升了客户体验的同时，也为银行带来了海量的电子票据、图像、音视频等非结构化数据。非结构化数据从原来仅仅用于数据的电子化存档，上升成为业务交易链条中的关键环节，传统内容管理平台基于documentum、FileNet、IBM CM、SAN存储等架构的管理系统随着数据量爆发式增长之后，逐渐面临查询性能慢、实时性不高、并发处理性能急速下降、扩容困难等问题。

SequoiaDB基于原生分布式技术构建的湖仓一体架构，实现了资源池化，结构化和非结构化等多模数据海量存储，多中心容灾等技术能力，为银行提供一体化的非结构化数据存储平台，以及包含批次管理、版本管理、生命周期管理、标签管理、模糊检索、断点续传等丰富的元数据管理机制。

SequoiaDB银行分布式内容管理平台满足银行的灵活按需扩容、低成本海量存储、高并发低延时访问、异地分布式架构、高效整合、多中心高可用、跨中心容灾等需求，有效解决了平台高并发低延时、数据管理、d性扩容、双活、高可用、集约运营、容灾、系统持续稳定等问题，实现非结构化数据统一管理、数据全量在线、降低风险和减少成本等目标。

现状

股份制银行内容管理平台提供各类业务流程化处理的影像数据及相关元数据的存储，将原本分散的影像数据进行统一集中的管理，原内容管理平台使用documentum、 FileNet架构，随着数据量增长，面临性能急速下降、扩容困难、查询并发低、实时性不高等问题。不适用于面向客户、高并发、高实时场景。同时由于数据量较大，存在灾难恢复周期长的问题。

解决方案

​股份制银行内容管理平台是基于SequoiaDB的内容管理平台进行规划建设的。

以基于Spring-Cloud框架的微服务架构为基础，SequoiaDB 内容管理平台解决方案通过可插拔组件与可配置流程，允许用户自由定义不同数据存储容器中对象文件的处理方式。譬如，对于合同扫描件类型的业务，系统可以将OCR文字识别模块直接加入非结构化文件处理流程，使得所有写入该容器的合同自动进行文字识别处理，并直接支持针对其内容的全文检索能力。

基于SequoiaDB的内容管理平台的优势股份制银行内容管理平台规划建设设计如下：

各厂商的的内容管理平台（如：信雅达、方正国际、清华紫光等）通过调用巨杉数据库提供的标准SQL或SCM API，与分布式SequoiaDB进行交互，实现可按需横向扩展的元数据、对象数据、标签数据的跨中心一体化管理。

平台采用SequoiaDB巨杉数据库进行数据的存储与统一管理。

巨杉数据库是国产分布式数据库，原生支持分布式集群模式，基于湖仓一体设计，“计算与存储分离”架构满足客户海量数据d性存储、横向d性扩容、亿级记录情况下的低延时高并发的数据查询等需求，多副本机制提供数据高可用能力，多中心双活提升数据读写性能以及灾备能力，可以实现打通不同业务类型、不同数据类型之间的技术壁垒，实现交易分析一体化、流批一体化、多模数据一体化，充分满足客户在海量数据下高并发低延时查询、按需的节点扩容、持续稳定运行等需求。

巨杉数据库提供存算分离、资源隔离、多副本一致性、跨引擎分布式事务以及多模数据（结构化、半结构化、非结构化数据）能力。

巨杉数据库基于存算分离架构，实现存储与计算能力的横向d性无限扩展。

本方案采用集群方式部署，消除单点问题，提供高可用、高并发性能。

除此之外，系统还拥有丰富的平台能力，如下：

此改造方案已经成功落地实施，并帮助客户实现系统性能提升。

结束语

目前SequoiaDB已经有超过100家大中型金融机构客户，客户生产系统最长稳定运行时间超过7年，数据量超过3PB，单集群物理机超过300台。我们将客户案例整理归类、深度分析之后，精心编制成精彩的通用解决方案并附加案例集，分期进行推送。这是首期银行内容管理平台解决方案及股份制银行内容管理平台落地场景方案和案例，下一期，我们将推送更多精彩内容，敬请期待......