从落地效果看，如何基于SequoiaDB构建「多法人、多中心缓存」农信内容管理平台

从落地效果看，如何基于SequoiaDB构建「多法人、多中心缓存」农信内容管理平台

导读：

省级农信内容管理平台基于巨杉数据库多级缓存数据服务，实现多法人、多中心缓存系统的数据共享能力及高并发访问能力。

农信作为乡村振兴、服务实体经济的金融主体，坚持回归本源，专注主业，做好服务“三农”、服务小微企业、服务金融精准扶贫三方面工作，全力支持地方经济转型发展。在建设自身的特色服务过程中，伴随着移动互联网的飞速发展，用户对金融服务的方式由线下转为线下线上相结合，新需求场景带来海量非结构化数据存储、管理和高并发访问的问题。巨杉数据库基于原生分布式技术，演进出独特的湖仓一体架构，支持结构化和非结构化数据的海量存储，高并发访问，引擎内置支持多中心灾备，集群跨多中心部署，解决农信多法人机构本地数据中心建设，一中心统一数据管理的问题。巨杉深度剖析了客户内容管理平台的业务需求，基于湖仓一体架构，在结构化数据与非结构化数据融合处理方向提供了成功的解决方案，并进一步积极探索湖仓一体在全量数据场景下的落地方案，截止到目前，可以为客户提供实时在线数据服务、联机交易等场景落地解决方案。

巨杉数据库农信典型客户案例 

在省级农信的内容管理平台场景中，已经落地了近几十亿条、超百TB级数据的稳定支撑能力，提供多法人、多中心缓存数据场景下的数据共享及高并发访问。

背景

省农村信用社联合社是由省内的地市级农村信用合作联社（农村商业银行）和县（市、区）级农村信用合作联社（农村信用合作社联合社、农村商业银行、农村合作银行）自愿入股组成，具有独立企业法人资格的地方性金融机构。经省政府授权，省农村信用社联合社在省政府的领导下，负责行使对辖内市、县（市、区）农村信用合作联社、农村信用合作社联合社、农村合作银行、农村商业银行等农村合作金融机构的行业管理、业务指导、协调服务职能。

基于农信的组织架构模式，农信的原有内容管理平台以各社数据中心独立建设，以满足分社本地内容文件的业务需求以及联合社的数据管理需求，一般的系统建设概况如图1所示。

随着移动互联网的飞速发展，用户对金融服务的方式由线下转为线下线上相结合，新需求场景带来海量非结构化数据存储、管理和高并发访问的问题，而目前的建设情况形成了数据孤岛，无法实现实时的跨数据中心数据访问。

需求痛点

农信在各地拥有大量分支机构，因业务交易由各地分支机构系统承载，故内容数据存储在本地数据中心。省中心对业务数据的管理，需要将各分中心数据通过网络带宽传输到省数据中心，数据传输的性能与时效严重不满足业务发展需求。

为了更好的适应业务发展的挑战，增强市场的竞争力，急需建设在各社能与总中心联动的内容缓存系统，以满足分社本地内容文件的管理需求，提高相关业务系统的整体性能，同时通过数据迁移、清理机制将所有的内容管理元数据信息存放在省中心，实现全社影像文件元数据统一纳管，非机构化数据异地存放，最大化节省数据中心之间的带宽。

改造方案

农信内容管理平台是基于SequoiaDB分布式数据库集群进行规划的，改造设计框架如图2所示。

农信内容管理平台改造方案

本改造方案替换掉之前由关系型数据库存储影像元数据、高级存储设备存储影像数据的方式，通过省农信中心巨杉SCM多级缓存服务、地市农信分中心巨杉SCM多级缓存服务、SequoiaDB分布式数据库以及中心调度的服务实现项目落地。

本改造方案采用集群方式部署，消除单点问题，提供高可用、高并发性能。

改造方案设计：

各厂商的的内容管理平台（如：信雅达、大连同方软银）通过调用巨杉数据库提供的SCM多级缓存服务，与分布式SequoiaDB集群进行交互，实现可按需横向扩展的影像元数据、影像文件、标签数据的跨中心一体化管理。

影像元数据统一存储于省农信数据中心SequoiaDB分布式数据库，以便为地市农信分数据中心提供数据查询服务；地市农信影像数据本地数据中心存放，通过SCM多级缓存服务数据迁移机制将影像数据迁移存放于省农信内容管理平台，实现跨中心数据访问、统一存储和管理。

巨杉数据库原生分布式架构：

SequoiaDB 巨杉数据库作为分布式数据库，由数据库存储引擎与数据库实例层架构组成。

其中，数据库存储引擎是数据存储的核心，负责提供整个数据库的读写服务、数据的高可用与容灾、ACID与分布式事务等全部核心数据服务能力。

数据库实例模块则作为协议与语法的适配层，用户可根据需要创建包括 MySQL与 PostgreSQL 在内的结构化数据实例；支持 JSON 语法；以及完全兼容 S3 文件系统的对象存储实例。

 除此之外，系统还拥有丰富的平台能力，如下：

 此改造方案已经成功落地实施，并帮助客户实现系统性能提升。

结束语

目前SequoiaDB已经有超过100家大中型金融机构客户，客户生产系统最长稳定运行时间超过7年，数据量超过3PB，单集群物理机超过300台。我们将客户案例整理归类、深度分析之后，精心编制成精彩的通用解决方案并附加案例集，分期进行推送。这是农信内容管理平台落地场景案例和方案，下一期，我们将推送更多精彩内容，敬请期待......