大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生36GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均01个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为564亿，手机网民为42亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析34亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅03%。
在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。
中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。
大数据行业主要上市公司：易华录(300212)、美亚柏科(300188)、海量数据(603138)、同有科技(300302)、海康威视(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科创信息(300730)、神州泰岳(300002)、蓝色光标(300058)等
本文核心数据：中国大数据产业发展历程 市场规模 细分市场格局 应用市场格局 发展前景预测等
发展历程：十年来大数据产业高速增长，我国信息智能化程度得到显著提升
我国大数据产业布局相对较早，2011年，工信部就把信息处理技术作为四项关键技术创新工程之一，为大数据产业发展奠定了一定的政策基础。自2014年起，“大数据”首次被写进我国政府工作报告，大数据产业上升至国家战略层面，此后，国家大数据综合试验区逐渐建立起来，相关政策与标准体系不断被完善，到2020年，我国大数据解决方案已经发展成熟，信息社会智能化程度得到显著提升。
市场规模：2020年市场规模超6000亿 维持高速增长
中国大数据产业联盟发布的《2021中国大数据产业发展地图暨中国大数据产业发展白皮书》指出，2018年以来，大数据技术的快速发展，以及大数据与人工智能、VR、5G、区块链、边缘智能等新技术的交汇融合，持续加速技术创新。与此同时，伴随新型智慧城市和数字城市建设热潮，各地与大数据相关的园区加速落地，大数据产业持续增长。
赛迪顾问的数据显示，2020年中国大数据产业规模达6388亿元，同比增长186%，预计未来三年保持15%以上的年均增速，到2023年产业规模超过10000亿元。
市场格局
——细分市场格局：软硬件占据行业主要市场
目前，我国的大数据产业尚处于初级建设阶段，从市场结构来分，大数据产业可划分为大数据硬件、软件以及服务三类市场。
根据《IDC全球大数据支出指南》，2020年中国大数据市场最大的构成部分仍然来自于传统硬件部分——服务器和存储，占比超过40%，其次为IT服务和商业服务，两者共占336%的比例，剩余由254%的大数据软件所构成。从软件角度来看，2020年中国最大的三个细分子市场依次为终端用户查询汇报分析工具(End-User Query, Reporting, and Analysis Tools)、人工智能软件平台(AI Software Platforms)以及关系型数据仓库(Relational Data Warehouses)，并且IDC预计，三者总和占中国整体大数据软件市场的比例接近50%。
——应用市场格局：互联网、政府、金融为大数据主要应用领域
从具体行业应用来看，互联网、政府、金融和电信引领大数据融合产业发展，合计规模占比为776%。互联网、金融和电信三个行业由于信息化水平高，研发力量雄厚，在业务数字化转型方面处于领先地位;政府大数据成为近年来政府信息化建设的关键环节，与政府数据整合与开放共享、民生服务、社会治理、市场监管相关的应用需求持续火热。此外，工业大数据和健康医疗大数据作为新兴领域，数据量大、产业链延展性高，未来市场增长潜力大。
发展趋势与前景
——发展趋势：数据治理成为大数据发展的重要方向
——发展前景预测
据赛迪顾问预测，2023年中国大数据产业市场规模将超过10000亿元，2021-2023年增速将达到15%以上。在此基础上，前瞻测算，到2027年我国大数据产业市场规模将接近18000亿元。
更多行业相关数据请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。
区别数据中台是物联中台的子集。数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。
物联中台随着近几年物联网的发展，特别是在2020年提出的新基建，七个关键词中有四个是跟物联网产业紧密相关，这是一个新的发展机遇，也是企业改革的重要节点。十四五规划中，设备接入、多系统数据融合互联互通，是物联网的重点内容，也是产业互联网中大数据、人工智能应用的基础，也是当下普遍存在的痛点， 这些痛点容易形成信息孤岛，使企业不会达到真正意义上的智慧管理，解决这些问题需要大量的人力、财力、时间等成本，是大部分企业无法承担的。基于这种情况，IOTOS物联中台作为一款技术型平台型产品因此而诞生了。什么是IOTOS物联中台？专业解释：按照目前普遍的说法，中台分为6类：数据中台、业务中台、算法中台、技术中台、研发中台、组织中台。物联中台是爱投斯（IOTOS）公司于2020年8月份率先提出的。这里“物”不仅仅是设备设施等有形的物体，而是广义上的概念。万物互联的对象包含了人、设备、系统、算法、服务。物联中台相对于数据中台层次上更为抽象和高级，通常包含了采集平台、通信中台和数据中台的全部特性，除了支持数据分析、处理、交易等抽象业务服务外，还涉及采集和通信。采集平台需要提供系统设施等数据的协议解析、数据异构处理；通信中台需要能提供局域网、公网以及混合网络下数据的通信链路传递实现对数据应用对位置无感。
它是一种在公司之间传输订单、发票等作业文件的电子化手段。 EDI的发展背景 当代世界，科学技术突飞猛进，社会经济日新月异。特别是自20世纪80年代以来，在新技术革命浪潮的猛烈冲击下，一场高技术竞争席卷世界，使人类社会的一切领域正在飞速地改变着面貌。国际贸易也空前活跃，市场竞争愈演愈烈。 在国际贸易中，由于买卖双方地处不同的国家和地区，因此在大多数情况下，不是简单地直接地面对面地买卖，而必须以银行进行担保，以各种纸面单证为凭证，方能达到商品与货币交换的目的。这时，纸面单证就代表了货物所有权的转移，因此从某种意义上讲“纸面单证就是外汇”。 全球贸易额的上升带来了各种贸易单证、文件数量的激增。虽然计算机及其它办公自动化设备的出现可以在一定范围内减轻人工处理纸面单证的劳动强度，但由于各种型号的计算机不能完全兼容，实际上又增加了对纸张的需求，美国森林及纸张协会曾经做过统计，得出了用纸量超速增长的规律：即年国民生产总值每增加10亿美元，用纸量就会增加8万吨。此处，在各类商业贸易单证中有相当大的一部分数据是重复出现的，需要反复地键入。有人对此也做过统计，计算机的输入平均70%来自另一台计算机的输出，且重复输入也使出差错的机率增高，据美国一家大型分销中心统计，有5%的单证中存在着错误。同时重复录入浪费人力、浪费时间、降低效率。因此，纸面贸易文件成了阻碍贸易发展的一个比较突出的因素。 另外，市场竞争也出现了新的特征。价格因素在竞争中所占的比重逐渐减小，而服务性因素所占比重增大。销售商为了减少风险，要求小批量、多品种、供货快，以适应瞬息万变的市场行情。而在整个贸易链中，绝大多数的企业既是供货商又是销售商，因此提高商业文件传递速度和处理速度成了所有贸易链中成员的共同需求。同样，现代计算机的大量普及和应用以及功能的不断提高，已使计算机应用从单机应用走向系统应用；同时通信条件和技术的完善，网络的普及又为EDI的应用提供了坚实的基础。 正是在这样的背景下，以计算机应用、通信网络和数据标准化为基础的EDI应运而生。EDI一经出现便显示出了强大的生命力，迅速地在世界各主要工业发达国家和地区得到广泛的应用。正如香港TRADELINK公司的宣传资料所指出的那样：“当EDI于20世纪60年代末期在美国首次被采用时，只属于当时经商的途径之一；时至今日，不但美国和欧洲大部分国家，以至越来越多的亚太地区国家，均已认定EDI是经商的唯一途径”。 由于EDI具有高速、精确、远程和巨量的技术性能，因此EDI的兴起标志着一场全新的、全球性的商业革命的开始。国外专家深刻地指出：“能否开发和推动EDI计划，将决定对外贸易方面的兴衰和存亡。如果跟随世界贸易潮流，积极推行EDI就会成为巨龙而腾飞，否则就会成为恐龙而绝种”。 20世纪60年代末，欧洲和美国几乎同时提出了EDI的概念。早期的EDI只是在两个商业伙伴之间，依靠计算机与计算机直接通信完成。 20世纪70年代，数字通信技术的发展大大加快了EDI技术的成熟和应用范围的扩大，也带动了跨行业EDI系统的出现。80年代EDI标准的国际化又使EDI的应用跃入了一个新的里程。 时至今日，EDI历经萌芽期、发展期已步入成熟期。英国的EDI专家明确指出：“以现有的信息技术水平，实现EDI已不是技术问题，而仅仅是一个商业问题”。随着智能手机的普及和各种智能联网设备的广泛运用，联网设备的数量近几年都在不断增长，从2017年起，整个物联网市场预计每年价值超过10亿美元。物联网渗透到各行各业中已经是不争的事实，2018年即将结束，千锋物联网培训为大家分析2018年物联网呈现的四大关键趋势。
趋势1：物联网平台被大规模采用
根据研究，企业决策者正在迅速意识到物联网带来的机遇。其研究显示，60%的决策者已经使用或计划在未来两年内使用物联网。
到2018年为止，我们已经看到了物联网软件平台的发展，以及硬件 *** 作管理、安全性、预测性维护和资产跟踪的打包应用程序的广泛采用。
趋势2：物联网与AR、人工智能和机器学习协同应用
没有一项技术是在真空中发展起来的，大量的物联网应用及平台生态集成了机器学习、图像识别、增强现实和区块链技术。今年，我们看到很多单点智能技术与物联网协同或者多个技术与物联网协同应用案例。
趋势3：优化数据
数据是支持物联网系统和服务的重要因素。然而，只有精心准备、干净、格式化和可索引的数据才能成为有价值的数据。根据数据科学家的观点，从异构数据中获得分析洞察力的工作80%是乏味的。因此，并不是每一个将IOT技术引入到其 *** 作和过程中的公司都会得到最好的数据。
趋势4：面对物联网安全挑战
安全仍是整个物联网生态系统中最大的问题。多层物联网系统存在安全问题。企业数据传输和个人数据共享都是主要问题。其他问题领域包括支付交易安全和硬件层安全性。
如今，个人移动设备的生物识别已经无处不在。我们可以期待连接的设备接受先进认证的好处。
据悉，预计到2030年，物联网将为全球GDP增长贡献10-15万亿美元。这个庞大的市场必然大有发展，如果你也看好物联网的发展，可以来千锋智能物联网培训进行专业系统的学习。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）