对于银行来说,数字化转型背后有着业务增长和降本增效上的强烈诉求。
2020年的春节注定令大家难忘。
往年热闹的街市,受疫情的影响变得冷冷清清。没了人员流动,让各行各业受到了非常严重的影响。没了生意,诸多商家陷入嗷嗷待哺的境地,迫切需要贷款救急。然而,对许多银行来说,业务根本无法有效地开展,银行不开门,有业务需要的人也出不去。
46岁的王晓峰就是其中一个。
2019年初,他带着东拼西凑来的100多万来到常熟市做服装生意。“原本我的生意不错,但是谁成想遇到了疫情!”王老板无奈地表示。
2020年2月碰到了前所未有的疫情导致生意惨淡,很多应收款无法及时收回,然而客户又急着要备货旺季,上游工厂又催促货款,这让王老板手头儿顿时没了资金来源。
王晓峰尝试着向客户索要货款,向朋友借钱,最终都无功而返。在他焦头烂额之际,尝试着联系了常熟农商银行小微客户经理顾可文,根据客户情况选用了某贷款产品,通过手机银行App成功获得50万元的额度,解决了燃眉之急。
其实,通过线上渠道,常熟农商银行及时服务了大量类似王晓峰的客户。
根据内部统计,截至今年2月末,常熟农商银行小微贷款线上服务平台客户申请数、通过户数及放款金额分别环比增长24倍、75倍和39倍,积极对冲了线下网点因为疫情导致的增长问题。
数字化转型早已提上日程
自2018年起,常熟农商银行就开始跟阿里云合作,大力拓展线上业务,开发了一系列纯线上产品和服务。例如,通过手机银行、网银和小程序直接申请的星享贷、薪优贷等产品,以及贷款、还贷、对公远程开户等功能。
在多数农商行存贷业务出现大幅度萎缩的情况下,常熟银行逆势大幅增长,这背后是常熟银行经年积累的数字化能力,在紧急关头起到了关键作用。
距离上海市100 公里,常熟市是苏南经济的模范,这里出现了波司登等知名服装企业,还生产路虎、捷豹等豪华品牌 汽车 ,助推常熟市稳坐全国“百强县市”排行榜的前列。
常熟农商银行扎根当地,通过聚焦“三农”领域、小微企业和个体工商户的金融需求,走出了一条零售银行特色发展之路。
2017年,常熟农商银行敏锐地捕捉到了数字化转型的气息。在安排人员到大型互联网 科技 公司进行深度考察之后,常熟农商银行最高层提出了“ 科技 引领业务”的理念。
紧接着,一场数字化转型的改革,就此提上日程。
常熟农商银行分管 科技 条线的付行长在回忆这场数字化转型的开端时,对雷锋网《AI金融评论》坦承,这次数字化转型背后有着业务增长和降本增效上的强烈诉求。
传统的小微零售业务主要靠着业务人员的地面推广,成本较高不说,由于人均产能有限,导致银行增长空间可以很明显看到瓶颈。
基于此,常熟农商银行决定大力推进数字化转型,“我们希望通过 科技 手段提升人均产能,拓展一些新业务,从而把业务做得更大、更强。”付行长表示。
数字化转型离不开 科技 的支持
“数字化转型肯定离不开 科技 的支持,但是也不完全是 科技 的事儿。”分管 科技 条线的付行长思路非常清晰,常熟农商银行数字化转型的第一步,是从 科技 部门进行转型开始的。
2017年,常熟农商银行制订了 科技 发展的三年规划,提出项目化、公司化、市场化的转型理念。随后, 科技 部门启动了两大改革。
第一个是IT体制机制的改革。
此前,常熟农商银行 科技 条线主要分为两个部门,一个是 科技 管理部,另一个是 科技 开发部。2018年,常熟农商银行将两个部门合并,成立了事业部制的金融 科技 总部,并以公司化的运作模式来推动全行 科技 工作。
第二个是文化的改革。
常熟农商银行的文化是以奋斗者为本,通过抢单、内部招投标等方式,用类似合伙人的机制激活团队, 科技 团队所开发出来的产品在业务侧产生的效益,也会进行一定的分配和激励回馈。
在整体银行的数字化转型上,常熟农商银行敲定了两条主线:业务在线和管理在线。通过业务在线,将线下业务转到线上,让用户可以方便快捷的通过线上方式就能办理;通过管理在线,把业务流程和管理流程,包括绩效考核、员工行为管理等以数字化的方式体现出来,通过数字来驱动人,提高工作效率。
要实现这样落到实处的数字化转型,付行长带领的 科技 团队很早就意识到,必须要有一套强有力并且先进的 科技 系统来支撑。
在激活内部活力的同时,常熟农商银行也开始紧锣密鼓地寻找“强援”。
与阿里云、蚂蚁签订金融 科技 战略合作协议,
助力数字化转型
要实现业务在线和管理在线,移动端的重要性不言而喻,手机银行、直销银行、小程序等都是重要的获客、运营、服务渠道。
对于常熟农商银行而言,需要的移动开发平台首先要具备安全性,同时还要功能强大,最终能够为业务赋能。在评估过几个厂家的移动开发平台之后,常熟农商银行选定了阿里云输出的mPaaS移动开发平台,而这款移动开发平台支撑了支付宝、12306、钉钉等国民级应用,拥有多年的技术经验。
“几番市场调研接触下来,阿里的mPaaS功能相对而言比较完善,并且还在不断进行迭代升级,让我们可以专注移动应用场景的研发。” 付行长说,常熟银行也是基于同样的理由选择了金融属性非常强的分布式数据库OceanBase。
随着零售业务的高速发展,用户经营信息不断累积,银行后端数据库的压力越来越大,传统关系型数据库越来越无法支撑业务的快速发展。
常熟农商银行每天来自全行40多个系统的增量数据达到百G,对银行数据库承载能力提出了很大考验,而且传统封闭式的架构也给数据互通、智能化驱动带来限制。
通过OceanBase的改善,可以帮助常熟农商银行在保障业务事务特性的同时,提供海量数据的高效处理能力。
截止目前,常熟农商银行采用mPaaS移动开发平台和OceanBase分布式数据库等产品开发了对私手机银行、对公手机银行、移动厅堂、浓农生活等多款APP以及大零售营销平台、产品中心、客户中心、交易中心、核算中心、APIBank等数十个业务系统,并且进一步加深跟阿里云的合作,引入了诸如蚂蚁图数据库、云效等产品和技术,加速数字化转型。
“跟阿里云合作,我们通过使用他们成熟的产品和技术,可以少走一些弯路,同时也能加快系统建设步伐。” 付行长评价道。
数字化转型带来的成效显著
有八年信贷业务经验的徐秋瑾深切地感受到常熟农商银行数字化转型前后的改变。
徐经理于2012年加入常熟农商银行,起初她办理一项贷款,需要至少跟客户见面4次,先是审核资质、上门拜访做材料、带客户开卡,最后见面签合同,这个周期至少需要4天的时间。
通过数字化转型,可以简化部分客户的贷款申请流程,省去了与客户线下见面、沟通的时间,对于业务员来说可以帮助他们更好地工作提高产能。
“现在不同了,有些客户甚至可以通过扫码进入贷款平台,然后和我们客户经理零接触办理贷款。“徐经理对AI金融评论透露,”之前一个月大概只能做10笔贷款,现在已经逐渐提升到每月20笔,旺季甚至能达到30-40笔。”
这种业务能力的提升,得益于常熟农商银行打造的小微信贷工厂。通过数字化转型,常熟农商银行实现了小微零售业务的在线化、移动化、智能化以及流水线化。
通过这套系统,常熟农商银行的信贷经理每天可以节省出四个多小时的工作时间,人均管控的贷款金额从原来的1000万元提升到2300万元。
不仅如此,数字化转型还大幅提升了员工的工作效率。常熟农商银行的运营人员,通过引入RPA机器人、OCR等创新技术,省去了很多重复型工作,每天可以减少2个小时的工作量。
付行长对AI金融评论透露了一个更为直观的数字,“今年上半年,我们线上贷款放款超过60亿元,较年初新增了25亿元。如果没有数字化转型,说实话今天我们放款都放不出去。”
持续加码数字化转型一直在路上
未来,常熟银行将继续跟进数字化的发展之路, 科技 人员的占比是一个最直观的信号。2017年常熟农商银行有68名 科技 人员,目前扩招到220多人,加上外围的合作公司,整个 科技 部能够调动的人员规模达到720多人。
常熟农商银行年报披露,2019年公司信息 科技 投入220 亿元,同比增长6541%,占当年营业收入的341%,同比提高113%, 这些投入都表明了常熟农商银行深耕数字化发展的决心。
“数字化转型是每个银行都要面临的问题,不论银行大小。但数字化转型永远都在路上。”付行长坦言,在这场大潮中,每家银行都要结合自身特色,因地制宜,才能寻找到最合适的数字化转型路线。
而面对未来的增长方向和发展,银行零售业务就是要打造区域特色,发挥业务灵活优势,通过数据智能等数字化技术更好地为更多的人提供服务。
(注:为保护受访者隐私,文中王晓峰、顾可文为化名)
谁说大象不能跳舞?
2020于全体银行而言,是一场无预告的终极考验,一轮最直观的金融 科技 对决。疫情让网点流量骤降到接近于0,全方位挑战银行线上服务水平,检验那些连年增加的 科技 投入,有多少真正变作数字化、智能化的一点一滴。
踏进2021,银行们迎来周密复盘、整装待发的最好时间节点。
在过去这一年,银行更努力地摆脱大象转身的刻板印象,告别以往被各路创新推着走的窘况,试图在金融 科技 和数字新基建的浪潮里承担更主动、开放的角色,以轻快敏捷的步伐持续向前。
没有一家银行不想拥抱AI,没有人愿意错过数智化转型的未来。在梳理数十家银行AI全布局,以及 「银行业AI生态云峰会」 多位嘉宾的分享过程中,我们逐渐发现银行业AI的那些挑战和困境,那些艰险之处同样是机遇所在。
数据安全与隐私保护
银行业AI,首先被AI本身正面临的数据困境,和日渐收紧的数据监管尺度拦住。
在技术维度不断向前奋进的同时,银行必然要思考的一个议题是:业务创新与隐私保护如何兼顾?
雷锋网AI金融评论主办的 《联邦学习系列公开课》 曾对这一问题展开过系统深入的探讨。第一节课上, 微众银行首席人工智能官杨强 就直接点明:“人工智能的力量来自于大数据,但在实际运用过程中碰到更多的都是小数据。”
平安 科技 副总工程师王健宗 也在课上指出,“传统的AI技术必须从海量的数据中学习或者挖掘一些相关的特征,利用数学理论,去拟合一个数学模型,找到输入和输出的对应关系,比如深度学习中训练网络的权重和偏置,模型效果与数据量级、质量、以及数据的真实性等有着密切的关系。”
一个典型例子就是银行信贷风控:现在大部分AI应用都由数据驱动,信贷风控更需要大量数据训练,但大额贷款风控的案例又非常少。“要是来做深度学习模型,只用少量这种大额贷款的样本远远不够。”杨强解释。
小数据需要“聚沙成塔”,同时又面临侵犯隐私的可能。为此,网络安全与数据合规领域的立法进入了快车道,滥用数据和爬虫也受到过严厉整治。
虽然目前《数据安全法》还只是处于草案的状态,但是草案明确提出要关注数据本身的使用,需要在保护公民组织、相关权益的前提下,促进数据为关键要素的经济发展。
数据被称作是新时代的油田,但银行该怎样通过AI摸索出更高效、更合规的开采工具?
在「银行业AI生态云峰会」第一场演讲中, 微众银行区块链安全科学家严强博士 就对银行必备的数据安全与隐私保护思维,进行了深入讨论。他指出:
在数字经济时代下,银行业AI发展 必须要尊重“数据孤岛”作为数据产业的原生态,隐私保护技术则是打破数据价值融合“零和博弈”的关键,需要打通隐私数据协同生产的“双循环”。
而 区块链 是承载数据信任和价值的最佳技术,对于隐私计算和AI应用中常见的数据品质等难题,都可以通过区块链进行互补或提升效果。
联邦学习、TEE可信计算、安全多方计算等多个AI技术路线也正尝试落地于银行的核心业务场景。
AI金融评论了解到,除了微众银行, 江苏银行 2020年也已开展联邦学习方向的 探索 ,他们与腾讯安全团队合作,基于联邦学习技术对智能化xyk经营进行联合开发和方案部署,在联邦学习技术支持下进行金融风控模型训练。
银行数据库
以“数据”为线,银行前中后台的升级轨迹清晰可见。
如果说前些年的银行 科技 ,讨论度更集中在前台智能化应用,那么如今中后台建设开始更多地来到聚光灯下,讨论它们为银行数字化转型呈现的价值和意义。
这当中的一个重要模块,就是 银行数据库 的改造升级。
我们曾经报道,Oracle自进入中国市场以来,在银行数据库市场,一直具有压倒性优势,也是许多银行的采购首选。
由于长期使用Oracle,不少银行形成较严重的路径依赖。平安银行分布式数据库技术负责人李中原也曾向AI金融评论表示,系统迁移和重新建设需要大量成本,从单机变为多机群体,故障发生的故障发生的概率和维护成本都会加大,对整体系统运维将是巨大挑战。(详见 《银行业“求变”之日,国产数据库“破局”之时》 )
但随着银行业务创新需求愈发复杂,传统数据库在技术边界、成本、可控性方面越来越不相匹配;采购数据库的来源单一也让银行陷入非常被动的处境。
而云计算的出现,让Oracle在数据库市场接近垄断的地位有所动摇,各大互联网云厂商杀入战场。
腾讯云副总裁李纲就表示,云化数据库胜在成本低、易扩容两大特点,任意一台X86的PC服务器就可以运行,理论上也有着无限的横向扩展能力,这都是Oracle等传统数据库难以企及的优点。
中国数千家银行由此获得更多选择余地,开始从集中式数据库迁移到分布式数据库,一场事关“大机下移”的漫长征途就此展开。
这场变革已有先行者,例如 张家港行 在2019年就将其核心业务系统放在了腾讯云TDSQL数据库上,传统银行首次为核心系统选用国产分布式数据库;2020年,平安银行xyk的核心系统也完成切换投产,新核心系统同样采用了国产数据库。
在「银行业AI生态云峰会」上, 腾讯云数据库TDSQL首席架构师张文 就深入分享了张家港行和平安银行这两个典型的数据库迁移转型案例。
以 平安银行 为例,其体量之大,意味着应用改造更具挑战性。张文解释道,为了配合此次改造,应用引入了微服务架构对应用进行了拆分和解耦。对账号的分布进行了单元化划分,以DSU为一个逻辑单元,单个DSU包含200万个客户信息,单个DSU同时处理联机和账务两种业务。
但国产分布式数据库也同样还在成长当中,张文也指出了目前金融级分布式数据库面临一系列挑战点,除了有可伸缩、可扩展的能力,更要解决高可用性、数据强一致性,同时 探索 更具性价比的性能成本,以及为金融机构打造更易上手的、更产品化的成熟解决方案。
中台建设
“中台建设”这个热门关键词,不再是互联网公司的专属。银行也不例外,甚至更需要中台。
银行这样的大型机构,架构极其复杂,还有跨部门多团队的协作,海量数据日积月累之下如同年久失修的危楼,更需要及时、持续的治理。
在看来,银行拥有大量的数据、技术和人才,资源却往往“各行其是”,部门之间没有配合意识、独立造烟囱;技术流于表面,无法链接、深入,这造成了银行资源的大量浪费。
中台 的体系化建设和顺利运转,才能将这庞大体系中的“死结”一一梳开。
建设银行 监事长王永庆就曾指出:中台建设是商业银行数字化经营转型的关键环节,认为商业银行数字化转型的必然归宿是生态化、场景化。
尽管商业银行在多年经营过程中沉淀了一定的竞争优势,形成了各具特色的内部生态系统,但目前仍是封闭的、高冷的,还无法满足数字经济对开放式生态化经营可交互、高黏性、有体感、无边界的要求。
因此,建行也已在数据中台先行一步,其落地上概括为5U(U是统一的意思),包括统一的模型管理、统一的数据服务、统一的数据视图,统一的数据规范以及统一的数据管理。
为求轻松支撑亿级用户,实现高时效、高并发场景化经营, 招商银行 近两年也在中台和技术生态体系的建设上持续发力。去年年底发布的招商银行App 90,迭代需求点超过1800项,“10+N”数字化中台建设就占据了相当的比重。
如何构建金融机构需要的数据中台?
在「银行业AI生态云峰会」上, 360数科首席科学家张家兴 就用“三通三快”概括了数据中台的标准:
金融机构面对着海量用户、复杂业务,一个优秀的数据中台,必须是达到多业务打通,内外数据互通和用户关系连通,同时还要做到数据的实时处理快、使用快、需求响应快。
他进一步强调,数据与AI融合得非常紧密,如果数据中台和AI中台各自建设,两者之间将不可避免地存在割裂的现象。
基于此,360数科也推出了自己的数据AI融合中台,将最上层数据平台,到中间数据服务支撑的平台服务,再到整个数据资产的管理,到最下面整个数据技术架构的设计都进行调整,并且将自身沉淀的AI能力嵌入其中。
张家兴也在云峰会的演讲上透露,360数科研发了一项联邦学习技术——分割式神经网络,通过神经网络在高维空间,Embedding不可逆的特性,使得不同参与的数据合作方只需要传递Embedding向量,见不到原始数据,但最终可以使模型产生目标效果。
银行信贷智能风控
而在过去一年里,银行信贷风险管理,仍然是最引人关注的方向之一。
关注度一方面来自于,受疫情影响而剧增的贷款逾期和坏账风险,如何借助技术手段“端稳这碗水”,把握好信贷支持尺度,成为银行、消金公司和风控技术服务商们的开年大考。(详见 《信贷战“疫”:一场给风控的开年大考》 )
而另一方面,2020年下半年起,针对金融 科技 或是互联网金融的监管“红线”逐渐清晰。例如《商业银行互联网贷款管理暂行办法》,其中就明确提出了对商业银行的风险管控要求,和对合作机构的管理规范。
尽管结合AI、大数据的智能风控在银行 科技 应用中不再新鲜,但这并不意味着智能风控已经足够成熟—— 数据资源壁垒、自有数据累积、数据特征提炼、算法模型提升 ,被认为是大数据风控目前所面临四大困境。
某商业银行负责人就曾表示,在模型建设和模型应用过程中普遍存在数据质量问题,包括外部数据的造假(黑产欺诈)和内部数据的滥用等,在模型迭代方面,很多银行只追求迭代的速度和频次,而忽略了最终效果。
前百度金融CRO、融慧金科CEO王劲 进一步指出,数据规范和治理体系不健全,数据质量差且缺失率高,技术能力不足,复合型 科技 人才匮乏等因素都是银行等金融机构无法做好模型的重要原因。
王劲曾在有着“风控黄埔军校”之称的美国运通工作17年,负责过全球各国各类产品相关的700余个模型提供政策制度和独立监控。在云峰会上,他也结合自身二十余年风控经验,剖析了金融风险管理中的那些理念误区。
“很多人并不是特别理解,风险管理永远是一个寻找平衡点的科学。”王劲认为,风险管理平衡有着这样的核心三问:
他也解析了银行等持牌金融机构做好风险管理平衡的核心要素,谈到风险管理最重要的就是对数据的把控,“金融公司成立之初就要思考数据的生命周期。首先要从对业务产品和客户的选择当中,决定需要什么样的数据。”
数据战略是一个相对长期的落地过程,机构首先要立下数据选择的原则和条件:要考虑的不只是数据的合规性、稳定性和覆盖率,更要考虑数据的新鲜度、时效性和时间跨度。
从模型建设的角度出发,王劲指出,一个卓越的风控模型应当具备辨别力、精准度、稳定性、复杂度和可解释性五大要素,“原材料”数据、模型架构和算法的选择,衍生变量的出现,对模型的监控和迭代,以及对y的定义和样本的筛选,无一不影响模型的“锻造”。
在他看来,银行等金融机构如果能在身份识别和控制、数据安全管理、风险模型管理,和自动化监控体系方面,做到高效完善,将会是非常理想的一种状态。
RPA与内部流程优化
还有一个关键词,在各家银行年报中出现频率越来越高,那就是RPA(机器人流程自动化)。此前AI金融评论也曾举办 《RPA+AI系列公开课》 ,邀请到五位头部RPA厂商高管分享RPA与金融碰撞出的火花。
RPA的定义,很容易联想到2012年左右的“流程银行”转型潮。当时的流程银行,意为通过重新构造银行的业务流程、组织流程、管理流程以及文化理念,改造传统的银行模式,形成以流程为核心的全新银行经营管理体系。
如今银行的转型之战,全方位升级为“数字化转型”,内部流程的优化改造在AI和机器人技术的加持下持续推进,RPA也迅速成为银行数字化转型不可缺席的一把“武器”。
达观数据联合创始人纪传俊 在「银行业AI生态云峰会」上指出,RPA+AI为银行带来的价值,最明显的就是减少人工作业、降低人工失误,提升业务流程效率,同时也提高风险的预警和监控能力。
AI金融评论注意到,已有多家国有大行将RPA投产到实际业务中。
以 工商银行 为例,RPA在工行的应用覆盖了前台 *** 作、中台流转和后台支撑等多个业务场景,在同业率先投产企业级机器人流程自动化(RPA)平台并推广应用,全行累计46家总分行机构运用RPA落地实施120个场景。
建设银行 同样也引入了RPA,建立国内首个企业级RPA管理运营平台,敏捷研发业务应用场景 100 个,实现人工环节自动化、风险环节机控化。
农业银行 方面则透露,农行目前还处于技术平台建设阶段,之后将以xyk业务、财务业务等为试点落地RPA需求。其实施策略,是建设全行统一的RPA技术平台,面向总分行各部门输出RPA服务。
中国银行 在2017年底,旗下公司中银国际就已有RPA的概念验证,团队成功投产20个机器人,分别在不同岗位执行超过30个涉及不同业务流程的自动化处理工作,也与RPA厂商达观数据展开了合作。
纪传俊也在云峰会上分享了目前AI+RPA在银行各大典型场景的落地:
例如智慧信贷,面向的是整个银行最核心的流程——信贷流程,分为贷前、贷中、贷后三大阶段。其中涉及数据查询、数据处理、财务报表、银行流水等专业环节,需要完成基础信息的录入、尽调报告的审核,而这些环节中的大量重复劳动,可以基于AI、OCR、NLP等技术自动化完成。
银行属于传统的金融行业,银行业随着科技的不断进步和客户需求的不断提升,对银行科技系统的要求也是逐渐提高,而且随着近几年互联网金融的快速发展,传统银行业系统的发展也是非常迅速,本人08、09年最早在外企从事北美银行网银和手机银行的产品开发工作,后来从10年一直到16年一直在大型国有银行从事软件开发和架构设计的工作,16年中从国有银行离开加入互联网电商,做了不到一年因为种种非技术问题离开又回归了银行系统,目前在一家微型民营银行从事产品设计、架构设计的工作。总的来说还是经历了这几年银行系统快速发展的时期,也涉及了大型架构的变迁,今天就给大家介绍下银行的架构变迁,如有不对的地方还请专家指正。
90年代初期国内银行业蓬勃发展,早期各个分行都是人工记账,定期由省分行统一报送总行系统,随着国内经济的快速发展,银行的业务量也随之暴涨这样的工作模式已经无法满足需求了,所以90年代初4大国有银行都纷纷加强科技部的研发投入,参考美国、英国银行系统建设经验开始建设现代化银行系统,其实在那个年代大家对计算机的印象还非常陌生,在每个柜面都架设计算机,当时的柜面系统都是统一的命令行模式,没有可视化界面,后台系统采用的是集中式的架构,如下图所示:
当时的银行系统基本都是这样的集中式架构,大型国有银行一般也都是这种简单架构,当时大部分行业的系统也都是这样的架构。在这样的架构下柜面前端和后端系统采用的是CS架构,胖客户端的模式,每次客户端升级都需要将安装包提前一天下发给各个网点,现在看起来还是比较low的。银行后端是大核心的模式,即核心系统承担了主要的功能,账户、存贷款、总账、对账、支付、来账等功能都在集中式的大核心系统中,只有很少的一部分功能被剥离出核心系统,归属于外围系统。这些外围系统一般都是市面上有一些软件公司提供了现成的产品,只需要简单的二次开发就可以满足需求,这样一方面降低了开发成本,另一方面也加快的系统实施的进度。但是这种架构的系统承载能力还是比较有限的,随着交易量的快速上升很快就满足不了需求了,听行里的前辈介绍当年的场景,就是他们科技部每天都很忙,交易量每个月都会有大幅增长,每个季度的计息日批量和年底的年终决算都会让所有人忙通宵,这些记忆也成为了所有那个年代银行人痛苦的回忆。
集中式的系统已经逐渐满足不了高速增长的业务需求了,所以规模比较大的国有银行就开始考虑将现有的总行集中式系统分别在各个省分行分别都部署一套,每天晚上再通过批量的方式将各省数据进行集中,这种架构的方式能够最快的解决联机性能问题,但是又会引发新的问题,那就是跨省转账交易无法实时到账,就算是同一家银行的跨省转账一般也无法做到。所以90年代中后期的系统架构图如下图所示:
看图就可以发现,和之前的架构区别主要就是将总行集中式的部署架构调整为了各省分布式的架构,但是这种分布式架构并不是我们现在讨论的互联网分布式架构,当年还没有比较成熟的分布式架构方案,所以当时的分布式其实只是简单的将原先总行部署的一套核心系统和配套的外围系统分别在各省科技部分别部署,分别独立运维,就好像机构在整体行政关系上是一体的,但是实际科技系统是分开的,没有必然的联系,只是每天会进行数据交换来实现跨省转账、票据承兑等业务,所以很多银行业务的效率比较低,很难满足一些比较急迫的客户需求,最后出现了一些现象就是一个客户为了给一个跨省的客户汇款,最快的手段是先用自己本地的卡取现金,再人肉带到异地,有朋友要问了为什么不到当地再取,因为那个年代跨省取现不但取现时间、金额受限制还有高额的手续费。
2000年互联网高速发展,银行的科技水平也在这几年中高速发展,各家行的水平也逐渐拉开了差距,之前老的各省分布式部署的业务问题也渐渐凸显,由工行率先将之前分布式部署的省行系统进行总行上收,系统上收可不是那么简单,当年为什么要各省分别部署?就是因为集中式系统架构已经无法承载每天高速发展的业务量,如果再将各省的数据上收,那就意味着可能每天核心批量还没跑完还没来得及分发给外围系统就已经到第二天开门营业时间了。这么做科技部门需要承担的压力还是非常大的,需要解决很多问题,主要有以下问题:1)数据结构统一,数据映射,各省数据上收,数据迁移;2)新系统开发工作;3)系统上收对上收省份日常业务的影响;4)分行员工新系统的培训工作;5)新旧系统的平滑迁移,新旧系统的日常兼容性交互;6)整体的投产迁移方案、回退方案。我当时在中国银行也有幸经历了这一过程,整个过程持续了快4年,从整体的方案设计到系统的实施再到后面的系统迁移上线等等一系列工作,这个过程是艰难的,基本上加班成为常态,但是在这个过程中也学到了很多东西,也是成长比较快的一个时期。整个改造的一个核心架构思路就是对核心系统进行瘦身,将核心系统精简化,以此来提高核心系统的业务处理吞吐量,并采购最新的大型机来保证处理性能和IO性能,将大部分的业务都单建系统拆离出核心系统,基本上这样的整体架构在当时评估的时候能保证未来10-20年的业务发展量。下图为当时的整体架构图,但是从这个架构图中可以发现,整体架构核心系统和外围系统,再和渠道系统之间都是非常混乱的,系统间是完全的网状结构,图里还没有完全画完,因为画完以后基本是没办法看的,非常复杂的蜘蛛网。有个别系统因为是外包采购的系统的报文结构和其他系统都是不一样的,这样一旦某个系统要和这些奇葩系统进行对接就会遇到这样的问题,需要把这些奇葩接口的报文全部处理一遍,这就导致了很多重复的工作。
大部分银行很快就意识到这种集中式网状架构的缺陷,当时也正好流行ESB总线架构,所以银行系统也不免俗的纷纷去实现ESB总线。总线架构就是在渠道系统和核心、外围系统之间建立了一个ESB总线桥梁,所有的外围和核心系统的接口都注册发布到ESB总线上,由总线对外提供完全统一的接口标准协议,这样就避免了每个系统接入都是同一套标准接口,不用重复去实现不同的报文协议。这样的架构看起来就非常清爽了,不管是渠道系统还是外围系统调用各个系统的接口的时候都比较方便。这样的架构在银行系统中实施了很长时间,包括目前大部分的银行还都是采用这种架构模式,虽然现在看起来非常普通,但是当时看起来此种架构还是非常完美的。而且这种架构对于中小银行就算现在使用起来也是非常合适的。
随着互联网的发展网上银行、手机银行、直销银行纷纷成为新的渠道,人们也开始快速接受这种新兴的互联网渠道,互联网总线架构和之前架构的最大差别在于安全架构,后面会再单独写两篇关于安全的文章。其他方面的架构基本没什么变化,但是会发现一种现象就是,因为核心系统不新增大功能的情况下,不断新增外围新产品,当时中国银行一共有一百多个外围系统,还没算一些快下线的系统。随着业务量的不断上升,核心系统的业务量不断上升,总线的压力也逐渐上升,总线机器不断的横向水平扩展,在走之前总线的集群就扩展到了100个节点。
到了2012年以后随着facebook、amazon开放平台获得的巨大成功,BAT都逐步将自己的接口开放出来,都实施了开放平台生态圈战略,从而推动了SOA服务化的更快速发展。银行之前也一直在研究服务化的实施方案,但是由于ESB总线架构运转的非常稳定,也没出什么问题,所以导致各个行进行服务化改造的动力不是很强,而且这种整体架构的调整涉及到的部门和业务影响都是非常大的,一般银行这样比较稳妥的公司也都不敢有大的动作。我也是有幸在银行赶上了中国银行试点互联网金融,对新建的互联网金融系统实施服务化架构,下面就是当时中国银行的互联网金融服务架构,这个架构其实是一个传统银行互联网金融的一个妥协架构。
从架构图中可以看到,左边是之前的传统银行集中式总线架构,右边是互联网服务化架构,包含了开放平台、服务注册和发现、服务化产品系统。为什么这样设计,这是因为传统银行的各个产品系统是比较稳定的,而且在银行系统待过的同学都知道传统银行要新建一个系统或者新实施一个需求都是要经过很长的周期,传统银行都是瀑布式开发方式,各种评审、审批流程,导致从需求提出到功能上线基本上3个月过去了,效率还是挺低下的。根本满足不了互联网金融快速迭代的需求,因为当时我们不但试点新的soa架构,同时也在试点迭代开发,所以将互联网金融产品单独排期实施,单独部署,产品系统如果涉及到调用传统银行产品接口的地方全部通过ESB总线来调用传统银行产品系统接口。所有的互联网金融产品系统全部将接口服务化注册到服务注册中心,当时我们所有的互联网金融产品系统全部基于阿里的dubbo开发,系统将接口都注册到zookeeper上,两个系统直接的服务交互采用RPC模式;通过开放平台对外提供接口暴露,可以发现这种架构在保障传统银行系统稳定性的同时也可以满足互金需求的快速迭代实施,并且也使用了新兴的互联网分布式技术,来降低开发和运维的成本,目前我了解到的很多银行都在采用这种架构在实施互联网金融业务。
最近两年随着容器技术的不断发展,私有云平台、devops也逐渐在银行系统中进行试点,目前我所在的一家小型民营银行正在进行这方面的技术试点,底层采用docker进行镜像管理、构建、发布,在系统层面全部采用服务化架构,目前我们使用的是springcloud整体的解决方案。这样的架构看起来也是比较清晰,而且扩展性也很强,能够很好的满足未来业务发展的需求,随着docker技术的不断成熟,后续的devops也是逐渐会替代大部分的人工运维,之前我待过的一家互联网电商,80多个产品系统只有3个运维人员,所有的日常监控、版本部署都是自动化的,基本不需要人工干预,这种模式也是后续银行需要的一种开发和运维的方式。
今天只是大概介绍了下银行系统的历史变迁,真的只是非常简单的介绍,其实每个架构都有很多故事,都可以写很多,等到后续有时间会再把其中发生的很多细节写给大家看:)
以上就是关于员工每天工作量直减2小时,农商银行如何数字化转型全部的内容,包括:员工每天工作量直减2小时,农商银行如何数字化转型、五大赛道、八位专家,银行局中人眼里的AI江湖、传统银行架构变迁等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)