随着银行业务形态的增多、体量的变大,系统规模快速扩大,每天产生的数据信息呈几何式增长,其中包括大量的客户数据、交易数据和运行数据等,它们具有非常大的潜在价值,也是大数据应用的基础来源。
这些信息数据量十分巨大,但却分散在各个中心服务器或者设备的不同位置,对运维数据的统一管理、监控、信息挖掘变得越来越困难,也使得运维工作量越来越大。
背景根据中国银监会《商业银行信息科技风险管理指引》(银监发〔2009〕19号)中针对日志文件完整性、存留周期的相关要求,结合当下监管部门对银行数据治理相关监督的指引,为提高银行竞争力,高质量快速完成数字化转型,将数据价值向资产化过渡,某行拟建设统一的运维大数据处理平台。优先选择从日志场景切入,精细化分析能力,打造场景化应用,实现全面可观测性,保障业务平稳高效运行。
方案简述运维大数据平台的构建基于分布式高可用架构,满足容量随着业务需要动态扩展的需求;优化数据采集手段,实现对IT环境的实时数据采集以及集中高效的存储、查询、分析及可视化展示;基于流批一体的数据处理技术,实现全局数据秒速查询。内置AI智能分析引擎,除了能够解决异常检测、异常定位及辅助故障定位等运维痛点问题外,通过数据建模和洞察还可以对系统进行综合健康及风险分析。
另外,平台对数据处理 *** 作非常友好,用低代码的方式实现对复杂数据的处理,如交易数据的实时响应时间计算,需要从日志中提取请求及响应的时间,再根据交易特征进行计算和时间窗口聚合,类似这种复杂 *** 作,只需要一条数据处理流就可轻松完成。
可观测场景的实现 02 基于业务全景的风险分析观测通过对运行维护中的日志数据进行全面自动收集、治理,再通过建立业务模型与实时数据关联,利用大数据洞察对业务系统做更全面、实时的分析,做到事前预测、事中管控、事后分析,加强不同阶段对业务运行的风险把控。
同时,在全局业务系统风险控制过程中,对业务系统的健康情况建模并从不同维度对业务系统健康风险进行评测,如交易运行情况、基础环境的稳定以及系统的健壮程度等。
以下为参考的业务健康模型:
对于多维度、多权重的决策,通过层次分析法建模,对原来主观判断的维度进行客观比对,通过衡量权重进一步科学地判定问题的影响程度,从而更准确评估系统风险。
这是智能运维可观测性系列案例的第二个,第一个案例请戳下面的链接:
https://eoitek.blog.csdn.net/article/details/124699777
下面还会陆续给大家分享一个可观测性在实践中发挥的作用案例,大家敬请留意哦~
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)