大数据定义、思维方式及架构模式

大数据定义、思维方式及架构模式
一、大数据何以为大
数据现在是个热点词汇，关于有了大数据，如何发挥大数据的价值，议论纷纷，而笔者以为，似乎这有点搞错了原因与结果，就象关联关系，有A的时候，B与之关联，而有B的时候，A却未必关联，笔者还是从通常的4个V来描述一下我所认为的大数据思维。
1、大数据的量，数据量足够大，达到了统计性意义，才有价值。笔者看过的一个典型的案例就是，例如传统的，收集几千条数据，很难发现血缘关系对遗传病的影响，而一旦达到2万条以上，那么发现这种影响就会非常明显。那么对于我们在收集问题时，是为了发现隐藏的知识去收集数据，还是不管有没有价值地收集，这还是值得商榷的。其实收集数据，对于数据本身，还是可以划分出一些标准，确立出层级，结合需求、目标来收集，当然有人会说，这样的话，将会导致巨大的偏差，例如说丧失了数据的完整性，有一定的主观偏向，但是笔者以为，这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类，也可以说成数据的维度，对于一个对象，采取标签化的方式，进行标记，针对需求进行种类的扩充，和数据的量一样，笔者认为同样是建议根据需求来确立，但是对于标签，有一个通常采取的策略，那就是推荐标签和自定义标签的问题，分类法其实是人类文明的一大创举，采取推荐标签的方式，可以大幅度降低标签的总量，而减少后期的规约工作，数据收集时扩充量、扩充维度，但是在数据进入应用状态时，我们是希望处理的是小数据、少维度，而通过这种推荐、可选择的方式，可以在标准化基础上的自定义，而不是毫无规则的扩展，甚至用户的自定义标签给予一定的限制，这样可以使维度的价值更为显现。
3、关于时效性，现在进入了读秒时代，那么在很短的时间进行问题分析、关联推荐、决策等等，需要的数据量和数据种类相比以前，往往更多，换个说法，因为现在时效性要求高了，所以处理数据的方式变了，以前可能多人处理，多次处理，现在必须变得单人处理、单次处理，那么相应的信息系统、工作方式、甚至企业的组织模式，管理绩效都需要改变，例如笔者曾经工作的企业，上了ERP系统，设计师意见很大，说一个典型案例，以往发一张变更单，发出去工作结束，而上了ERP系统以后，就必须为这张变更单设定物料代码，设置需要查询物料的存储，而这些是以前设计师不管的，又没有为设计师为这些增加的工作支付奖励，甚至因为物料的缺少而导致变更单不能发出，以至于设计师工作没有完成，导致被处罚。但是我们从把工作一次就做完，提升企业的工作效率角度，这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员，如何让自己的工作更全面，更完整，避免王府，让整个企业工作更具有时间的竞争力，提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值，一种说法是大数据有大价值，还有一种是相对于以往的结构化数据、少量数据，现在是大数据了，所以大数据的单位价值下降。笔者以为这两种说法都正确，这是一个从总体价值来看，一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点，那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题，首先要说什么是问题，笔者说的问题不是一般意义上的问题，因为一说问题，大家都以为不好、错误等等，而笔者的问题的定义是指状态与其期望状态的差异，包括三种模式，
1）通常意义的问题，例如失火了，必须立即扑救，其实这是三种模式中最少的一种；
2）希望保持状态，
3）期望的状态，这是比原来的状态高一个层级的。
我们针对问题，提出一系列解决方案，这些解决方案往往有多种，例如员工的培训，例如设备的改进，例如组织的方式的变化，当然解决方案包括信息化手段、大数据手段，我们一样需要权衡大数据的方法是不是一种相对较优的方法，如果是，那么用这种手段去解决，那么也就是有价值了。例如笔者知道的一个案例，一个企业某产品部件偶尔会出现问题，企业经历数次后决定针对设备上了一套工控系统，记录材料的温度，结果又一次出现问题时，进行分析认为，如果工人正常上班 *** 作，不应该有这样的数据记录，而经过与值班工人的质询，值班工人承认其上晚班时睡觉，没有及时处理。再往后，同样的问题再没有再次发生。
总结起来，笔者以为大数据思维的核心还是要落实到价值上，面向问题，收集足够量的数据，足够维度的数据，达到具有统计学意义，也可以满足企业生产、客户需求、甚至竞争的时效要求，而不是一味为了大数据而大数据，这样才是一种务实、有效的正确思维方式，是一线大数据的有效的项目推进方式，在这样的思维模式基础上，采取滚雪球方式，把大数据逐步展开，才真正赢来大数据百花齐放的春天。
二、大数据思维方式
大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：
1）人们处理的数据从样本数据变成全部数据；
2）由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；
3）人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。
事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。
1、总体思维
社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。
正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。
在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。
2、容错思维
在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。
舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
3、相关思维
在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。
通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。
4、智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。
但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。
“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。
舍恩伯格指出，“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发”。
大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。

工商银行通过实施“1031”工程、信息化银行建设等工作，打造了同业领先的第四代核心银行系统，确立了信息 科技 领先优势。随着银行进入40时代，金融 科技 推动银行从生产资料、生产力和生产关系三方面打破传统、变更生产经营模式，顺势数字化、智能化、开放化的时代特征，银行不断丰富服务渠道、完善产品供给、提升服务体验和效率，同时对企业级架构建设和信息系统转型提出了新要求。

为应对内外部形势变化、满足业务创新转型发展要求，工商银行于2015年启动IT架构转型工作。充分利用分布式、云计算等新技术，基于开放平台与主机有机结合的基础架构，构建面向未来业务发展，以开放性、高容量、易扩展、成本可控、安全稳定、便捷研发为特征的全新技术体系。在技术变革的外部驱动和转型发展的内生需求互相作用下，工商银行于2017年启动智慧银行生态系统（ECOS）工程，围绕“客户服务智慧普惠、金融生态开放互联、业务运营共享联动、创新研发高效灵活、业务 科技 融合共建”的智慧银行建设目标，通过整合构建企业级业务架构，强化产品创新顶层设计与跨产品线整合，将业务架构由内部企业级延展至跨界生态，在业务架构指导下，进一步深化IT架构转型，持续优化应用架构、数据架构、技术架构、安全架构，建立金融与 科技 高度融合的全新生态体系。

1构建服务化、松耦合应用架构。 同步ECOS工程建设，工商银行引入了业界领先的持续价值提升方法论，通过分析全行发展战略、业务发展前瞻性规划和业务现状问题，体系化地开展业务领域顶层设计，从流程、产品、实体等三个维度开展业务建模，整合构建覆盖63个业务领域、100多个业务组件、近4000个任务组件的企业级业务架构，并指导推动IT系统建设。通过从业务领域、业务组件、业务对象到IT应用、IT服务、数据对象的对接落地，围绕业务对象，以数据为中心聚合服务，形成了覆盖业务产品服务、业务和数据基础服务、技术基础服务的企业级服务体系，打造了分层解耦的应用架构。建立组件化研发机制，实现业务模型的高效传导，促进统一架构语境下从业务到IT的一致性承接。在支付结算、xyk等热点领域完成组件化落地， 提炼 了19000余个IT服务，日交易量逾40亿笔，提升了产品研发的市场响应速度。

2打造主机+开放平台双核心系统。 依托自主可控、体系完备的开放平台技术，逐步从传统的以主机为核心的应用布局向主机+开放平台双核心布局转型，初步建成具备承接主机业务下移能力的开放平台核心银行系统。在国内大型银行中，率先实现银行核心业务的完整闭环处理，截至2020年上半年，已有超过90%的应用部署在开放平台。在中资银行中，率先使用自主研发的开放平台境外核心业务系统，已在欧洲、亚太区域新设机构实际投产运营。随着双核心建设不断深化，工商银行在业务量快速增长态势下，整体保持主机资源零增长，2015~2020年累计实现主机资源压降65000MIPS以上。

3形成双轮驱动的开放金融生态。 工商银行建设以“嵌入场景、输出金融”为特征的API开放平台，与以“绿色部署、敏捷上线”为特征的金融生态云，组合形成全行互联网金融场景建设“双轮驱动”的体系化品牌。目前已对外开放9大类1800多项API服务，为8800多家合作方提供服务，成为银行同业中“合作伙伴最多、服务最全面”的开放平台。已推出教育云、物业云等17款金融生态云产品，累计推广G/B端客户超过3万个，C端客户929万。

1打造多模式、高性能数据交换体系。 工商银行综合运用流数据处理、数据复制、文件共享等技术，打造了多模式、高性能的企业级数据交换平台，面向全行提供实时、准实时、分钟级、小时级等多种时效的企业级数据交换服务，并在余额变动实时提醒、实时交易反欺诈、准实时存贷款偏离度计算等应用场景取得良好成效。

2率先建成自主可控的大数据服务云。 同业率先完成传统封闭式架构（TD、Extradata）向开放分布式架构(Hadoop、MPPDB)转型，建成金融行业集群规模最大、技术生态最全、供给能力最强的大数据服务云体系，软硬件投入仅为原有产品投入的30%。全数据整合后容量超过93PB，为171个总行应用、22个业务部门和52家境内外分行及子公司提供了高效、便捷、丰富的高质量数据服务。

3着力打造企业级数据中台。 按照ECOS工程总体布局，以共享、复用、创新为目标，通过数据资产沉淀、数据服务化、数据资产运营、数据产品输出等措施，打造高效、智慧、开放、共享的标准化数据服务。面向全行1万余名数据分析师提供一站式、全链路线上BI分析能力，支撑全面风险管理、xyk风控、智慧大脑等重点场景建设，加快推进客服、运营、产品和风控等领域的智慧赋能，提升各专业数据应用创新能力。

1打造一系列企业级新技术应用平台。 工商银行依托金融 科技 研究院体系化布局新技术，建成了云计算、分布式、API平台、大数据、流数据、人工智能、物联网、区块链、生物识别、移动互联网十大技术平台，是工商银行技术领先优势的集中体现。人工智能机器学习平台集成业界主流机器学习算法，提供便捷高效、全流程建模、自学习的AI全栈平台，赋能数据智能化应用，构建工行智慧大脑。物联网金融服务平台通过智能感知万物，获取海量物联数据，扩展银行金融服务边界，创新金融服务模式，提供安全可靠的智慧物联解决方案。区块链技术平台在资金管理、供应链金融等七大业务领域构建服务实体经济的区块链应用生态，机构用户超千家，个人用户超100万，拥有近百项专利，荣获多项业界大奖。生物识别平台提供人脸、指纹等生物特征管理、安全管控、服务调度等功能，具备多生物特征统一管控、统一服务的能力。

2建成自主可控、体系完备的云计算、分布式技术体系。 云计算平台具有开放性、高容量、易扩展、智能运维等特点，从传统手工为主的虚拟化架构，转变为快速供给、稳定可靠、资源集约、运维智能的新型云计算体系架构。截至2020年8月，工商银行已实现60000+节点、34000+容器的入云规模，具备万级容器集群自动供给能力，同等业务量下服务器虚拟资源利用率平均提升2~3倍，业务高峰期系统扩容时间由几十分钟缩至秒级，2019年荣获人民银行 科技 发展奖一等奖。分布式技术平台涵盖9大类分布式技术组件，在快捷支付、纪念币预约等150余个应用广泛运用，为IT架构从单体集中式架构向分布式服务化架构转型提供了技术基础。截至2020年8月，日均交易量超过50亿笔，并发支撑能力超过10万笔/秒，重点交易平均响应时间小于10ms，有效应对“双十一”秒杀等高频、大并发交易对IT架构稳定性、业务连续性的冲击。

落实国家网络安全等级保护20要求，完善安全体系建设，加强新技术领域的安全防护，随云计算、大数据、人工智能、区块链、5G、物联网等金融 科技 发展同步规划、同步建设。研究完善以数据为中心的安全方法论和保护体系，加强个人信息和隐私的保护，“融e行”第一批完成在中国互联网金融协会的认证备案。围绕ECOS工程建设，建立多因子身份认证体系，发展手机盾、云证书、指纹、人脸、声纹、指静脉、虹膜等多种认证及生物识别技术。建设企业级反欺诈平台，通过终端、账户、行为等多维度展开智能风控，有效拦截欺诈交易，提升开放银行防御和风险处置能力。

在新一轮 科技 革命与我国转变发展方式的 历史 交汇期，工商银行将 科技 创新作为第一发展动力，积极创新和引入金融 科技 前沿技术，在全行战略、企业架构的指引下，强化IT与业务的融合。通过金融 科技 赋能经营转型，创新服务模式，拓展新生态，提高金融供给对实体经济的适配性和灵活性，为广大客户提供高价值服务，为建设具有全球竞争力的世界一流现代金融企业提供动能源泉。

工业互联网体系架构。根据查询相关资料信息显示，在工业互联网体系架构中，数据采集属于工业物联网的范畴，是工业互联网体系架构的一个重要模块。工业物联网是指基于物联网技术，将工业设备、工业数据、工业控制等资源进行互联互通和数据共享，实现生产过程全面数字化、智能化和自动化的一种新型工业模式。在工业物联网中，数据采集是指通过各种传感器、监测设备等实现对生产过程中各种物理量、参数、状态等信息的获取和采集，并将这些数据传输到云平台或数据中心进行处理和分析。

---