GBase数据融合解决方案

GBase数据融合解决方案

某银行系统业务中，涉及到多种渠道采集来的不同数据来源和数据类型，在系统中，需要对不同数据进行定制化的处理和计算。在原系统中，客户采用了Oracle传统数据库，TRS全文库以及Hadoop平台。但是由于业务的发展，很多业务类型涉及到跨多个引擎共同完成，原来单一引擎方式无法满足业务需求。而多个引擎的开发、维护和管理，也给系统增加了复杂度，且无法对多个引擎进行统一管理，性能也无法优化到最佳水平。因此，该行急需一种平台，能够融合不同的计算和存储引擎，对不同引擎进行统一的优化和管理，降低系统开发复杂度，维护复杂度，提升性能和管理效率。

客户希望建立一个信息处理平台，类似于大数据处理平台，侧重于不同计算引擎的部署、集成和管理能力。

l 结构化、半结构化、非结构化数据和流数据存储和管理；

l 多种引擎统一管理、统一权限管理、统一元数据管理；

l 可以完成跨引擎访问、引擎级别的读写分离、跨引擎数据交换；

l 可以支持系统内基于Hadoop的全数据备份；

l 数据的生命周期管理；

l 支持自定义计算模型和算法的扩展；

南大通用采用统一数据平台系统Gbase UP优化改造了原有的信息处理平台。Gbase UP融合了Gbase 8a MPP分析型数据库、传统事务型数据库Gbase 8s、Hadoop生态系统，兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库，以及Hadoop生态系统的多种大规模结构化与非结构化数据处理技术，能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景，完成数据的查询、分析。

信息处理平台系统新架构图如图所示。

Gbase 8s与Gbase 8a管理高价值密度的结构化数据，并分别面向OLTP和OLAP型应用场景。而Hadoop集群管理低价值密度的结构化、半结构化、非结构化以及流数据存储和计算。非结构化数据和流数据经过解析后，加载至Gbase 8a和Hadoop进行联合存储，并由Gbase UP对外提供统一的数据服务。Gbase UP通过统一元数据管理，可以对数据进行生命周期管理，当天数据存储在Gbase 8s中，当周数据存储在Gbase 8a中，而历史全量数据存储在Hadoop中。Gbase UP对外提供统一标准的JDBC、ODBC标准接口，并以UDF的方式，为应用提供自定义的分析模型扩展。

最终实现以下效果：

Ÿ 统一融合：多引擎融合，降低开发复杂度和运维管理工作量；

Ÿ 动态高扩展：不受数据量与设备能力的限制，随着业务数据量增长，按需线性扩展；

Ÿ 跨引擎业务扩展：应用可以方便的实现跨引擎业务 *** 作，统一优化策略可以达到各引擎的最佳性能；

大数据备份：以集群备份集群的策略，完成PB级数据的自动备份与恢复。