该系统是针对"国家开发银行基础数据库系统招标书"的具体要求,结合我公司在数据库和数据仓库方面的开发经验、系统集成能力与技术优势,组织该方面专家进行多次讨论,并充分考虑国家开发银行实际情况和我们在金融行业数据仓库的建设经验,最终构建国家开发银行基础数据库系统。在该系统中,我们采用最先进和完善的IBM数据仓库系列产品,结合具有丰富表现力的COGNOS公司前端展现工具,集成三层体系结构(Multi-tier)技术,融合WEB方式,最终为开发银行开发建设一个技术上先进、业务应用成熟、功能完善、性能稳定的基础数据库系统,并在此基础上考虑到系统的未来扩展。
系统简介
国家开发银行基础数据库系统的总体架构包括数据管理层、应用控制层和用户界面层三个部分。数据管理层负责管理国家开发银行各个层次的数据;应用控制层负责处理基于基础数据库系统的应用系统业务控制逻辑;用户界面层处理用户人机交互接口,将用户接口与复杂的业务控制逻辑分开,负责将业务信息以一种用户友好的一致方式提供给用户。
1、数据管理层
国家开发银行基础数据库系统中,需要管理不同层次的数据:
实时易变的数据:
由国家开发银行日常业务的 *** 作型应用系统创建和管理。
高质量的一致性数据:
通过对存放在国家开发银行不同业务应用系统中的数据进行基本的代码转换和不一致问题的处理,得到国家开发银行统一业务视图的综合数据。
派生数据:
是在一致性数据基础上不同程度的聚集产生的数据。
元数据:
元数据是关于以上几类数据的描述性数据,是国家开发银行企业级的信息目录。元数据描述和定位数据元素的来龙去脉:数据来自何处,如何转换,抽取频率怎样,去哪儿,数据仓库正是通过对元数据的有效管理,为数据工作者寻找、理解和利用上述几类数据提供方便。
数据管理层采用DB-ODS-DW三层体系结构来管理以上各类数据。其中DB指实时易变的数据和外部数据,ODS(Operational Data Store, *** 作数据储存)包括高质量的一致性数据和派生数据,DW(Data Warehouse,数据仓库)包含历史的高质量一致性数据和派生数据。
ODS作为一个中间层次,一方面,它包含企业全局一致的、细节的数据,可以进行全局 *** 作型处理;另一方面,它又是一种面向主题的、集成的数据环境,适合完成日常报表和决策的数据处理分析。可见,ODS一方面支持业务性 *** 作,另一方面面向主题。所谓主题是指国家开发银行业务发展中所关注的业务对象,比如项目开发、信贷管理和资金管理,是在较高层次上将数据归类,将来自各部门的原始数据做一个从面向应用到面向主题的转变,即整个系统的设计将按照业务对象进行,而不是按照行政框架设计。在主题之下放置与该主题相关的各种基础数据,组合在一起就是基础数据源。基础数据源是整个ODS的核心,存储着最为基础的非派生数据。从上面分析可看出,建设数据仓库的第一步是建设基础数据源。这就要求对国家开发银行相关部门的业务流程和需求进行分析,通过对来自会计信息系统的数据和外部录入数据进行清洗、抽取和转换来解决数据的不一致性、分散性、完整性及异构问题。
面向主题和集成性使得ODS的数据在静态特征上很接近DW中的数据。但是,在ODS与DW之间仍然有许多基本的、重要的差别。首先,ODS主要保存近期数据,而DW大量是长期保存并可重复查询的历史数据。其二,ODS支持面向记录的联机刷新,满足国家开发银行全局应用的需要,包括企业级的OLTP;而DW中的基础数据是不可修改的。其三是向ODS数据仓库DW提供一致的数据环境以供抽取。DW则主要用于长期趋势分析或战略决策。
1)数据源
国家开发银行业务系统数据
国家开发银行的业务处理系统包括已经投入运行的(会计核算系统)、正在建设的(信贷管理和非现场稽核)和准备建设的各个业务处理系统。这些系统的数据周期性地形成增量文件,由数据库抽取代理程序(Agent)抽取到总行 *** 作数据库中(ODS)。
外部数据
外部数据,根据业务需求可以加载到总行 *** 作数据库中(ODS),也可以直接加载到数据仓库中。
补充数据
补充数据,由手工输入或接收程序倒入。
2)基础数据收集
为了提高基础数据收集的效率和质量,需要综合考虑业务需求、数据量、数据加载周期和技术基础设施多种因素,制定切实可行的数据抽取、净化、转换和加载策略,并选择合适的工具辅助基础数据收集。
对于国家开发银行现有业务应用系统管理的数据,应尽力区分存量数据、增量数据和变更的数据(比如,可以通过增加触发器来得到变更的数据),因为在广域网环境下,存量数据的抽取、传输和加载,增加网络的压力,是不可取的。而且不管选择哪种数据库,数据库管理系统的大量数据加载速度有限,大量数据加载一般会影响其他用户对数据库的 *** 作。
在网络带宽许可的情况下,总行的ODS收集存储各分行详细的业务数据,各分行的详细业务数据通过数据收集代理(Agent)自动抽取到总行。数据抽取、传输和加载的策略是,第一次数据初始化的时候,进行存量数据的批量加载,以后则进行增量数据和变更数据的加载。加载周期是按小时、天、月或季度和年来加载,取决于业务需求。
随着业务的发展,详细业务数据量的增大,超出网络带宽的负荷,建议各分行设置ODS收集存储各自详细的业务数据,总行ODS收集存储各分行经过聚集的业务数据,以减少抽取、传输和加载的数据量。
可视化数据仓库管理器(IBM Visual Warehouse)是IBM公司推出的一个创建和维护数据仓库的集成工具,可以定义、创建、管理、监控和维护数据仓库,也可以自动地把异质数据源抽取到中央集成的数据仓库管理环境中来,它采用分布式的客户/服务器(Client/Server)体系结构,包括如下几个部分:
数据仓库服务器(Visual Warehouse Server)
数据仓库管理员(Visual Warehouse Administrative Clients)
数据仓库代理(Visual Warehouse Agents)
控制数据库(Control Database)
数据仓库(目标数据库,Target Database)
数据仓库服务器运行于Windows NT *** 作系统之上,监控和管理数据仓库的处理过程,提供基于时间的和基于事件的调度机制,并且也控制数据仓库代理的活动。
数据仓库代理在数据仓库服务器的控制下,处理源数据的存取、过滤、传输和把数据加载到目标数据仓库中。数据仓库代理可以运行在NT、AIX、OS/400、OS/2、SUN不同的系统平台上。为了提高处理效率和可扩展性,一般在数据源和目标数据仓库所在的机器都安装数据仓库代理。
控制数据库由数据仓库管理员产生并被数据仓库代理所利用。可视化数据仓库管理器把所有的元数据都存储在控制数据库中,控制数据库还可以被一个元数据管理工具集成管理(该工具称为Dataguide,是可视化数据仓库管理器的组件之一)。
虽然数据抽取、传输和加载自动化的机制可以选择合适的工具来实现,但针对实际数据环境的数据抽取、转换和净化需要自行设计程序,因为实际数据的非标准化和数据转换的复杂性,数据抽取、转换和净化的商品化工具在实际应用中达不到预期效果。
2、总行ODS
总行ODS由两层数据组成,一层为基础数据源,是国家开发银行业务产生的最基础的非派生的数据;另一层为二次汇总数据。二次汇总数据放置于项目受理、贷款管理和资金管理三个模块中,直接为项目受理、贷款管理和资金管理三个业务子系统提供数据支持。基础数据源中的数据主要从会计信息系统中转换而来,同时又有一部分基础数据来自于外部数据录入。
一、数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。而不同的数据库是按不同的数据结构来联系和组织的。
二、所谓数据结构是指数据的组织形式或数据之间的联系。
三、数据结构又分为数据的逻辑结构和数据的物理结构。
数据的逻辑结构是从逻辑的角度(即数据间的联系和组织方式)来观察数据,分析数据,与数据的存储位置无关;
数据的物理结构是指数据在计算机中存放的结构,即数据的逻辑结构在计算机中的实现形式,所以物理结构也被称为存储结构。
四、层次结构模型实质上是一种有根结点的定向有序树(在数学中"树"被定义为一个无回的连通图)。
五、数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。简单来说是本身可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等 *** 作。
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。
数据库是用来存放数据的仓库,它的存储空间很大,可以存放大量数据。用户可以对文件中的数据进行新增、查询、更新、删除等 *** 作。数据库先后经历了多个阶段的发展,数据库技术在各个方面快速的发展。数据库也有很多种类型,有最常见的存储数据的表格和能够进行大量数据存储的大数据库系统,都在很多方面得到了比较多的应用。数据库技术是各类信息系统的核心部分,是研究和管理的重要技术手段。常用关系型数据库产品有Oracle和微软公司的SQL。
基本结构:
数据库的基本结构分三个层次,反映了观察数据库的三种不同角度。
以内模式为框架所组成的数据库叫做物理数据库;以概念模式为框架所组成的数据叫概念数据库;以外模式为框架所组成的数据库叫用户数据库。
⑴ 物理数据层。
它是数据库的最内层,是物理存贮设备上实际存储的数据的集合。这些数据是原始数据,是用户加工的对象,由内部模式描述的指令 *** 作处理的位串、字符和字组成。
⑵ 概念数据层。
它是数据库的中间一层,是数据库的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系,是存贮记录的集合。它所涉及的是数据库所有对象的逻辑关系,而不是它们的物理情况,是数据库管理员概念下的数据库。
⑶ 用户数据层。
它是用户所看到和使用的数据库,表示了一个或一些特定用户使用的数据集合,即逻辑记录的集合。
数据库有两种类型,分别是关系型数据库与非关系型数据库。
数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等 *** 作。
关系型数据库主要有:
Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等等。
非关系型数据库主要有:
NoSql、Cloudant、MongoDb、redis、HBase等等。
扩展资料:
非关系型数据库的优势:
1、性能高:NOSQL是基于键值对的,可以想象成表中的主键和值的对应关系,而且不需要经过SQL层的解析,所以性能非常高。
2、可扩展性好:同样也是因为基于键值对,数据之间没有耦合性,所以非常容易水平扩展。
关系型数据库的优势:
1、可以复杂查询:可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。
2、事务支持良好:使得对于安全性能很高的数据访问要求得以实现。
参考资料来源:百度百科-数据库
关系表中行列的顺序不重要。根据查询相关公开资料信息显示,由命名的若干列和行组成的表格。关系中的列称为元素,行称为元组。表中行列的排列顺序是无关紧要的,关系数据库中,每个列都有一个名字,同一表中列次序无关紧要。关系数据库每个行列单元都是不能再分的原子值。
数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等 *** 作。由于资料集中管理,电脑的资源便可由使用者共享,而且资料的保密及处理的一致性更容易达成。
数据库将相关数据的集合存储在一起的,这些数据是结构化的,无有害的或不必要的冗余,并为多种应用服务;数据的存储独立于使用它的程序;对数据库插入新数据,修改和检索原有数据均能按一种公用的和可控制的方式进行。
扩展资料:
数据库一般具备具有存储、截取、安全保障、备份等基础功能的数据库管理系统。数据库管理系统可以依据它所支持的数据库模型来作分类,或依据所支持的计算机类型来作分类,或依据所用查询语言来作分类,或依据性能冲量重点来作分类。
而且拥有有数据索引的功能。像是一本书前面几页都有目录,目录也算是索引的一种,只是它的分类较广,例如车牌、身份z字号、条码等,都是一个索引的号码,可以从号码中看出其中的端倪,若是要找的人、车或物品,也只要提供相关的号码,即可迅速查到正确的人事物。
参考资料来源:百度百科——数据库
以上就是关于汇丰银行、花旗银行、工商银行、中国银行、建设银行、招商银行等各大银行所用的数据库系统全部的内容,包括:汇丰银行、花旗银行、工商银行、中国银行、建设银行、招商银行等各大银行所用的数据库系统、数据库分为哪几类、什么是数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)