大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生36GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均01个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为564亿,手机网民为42亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告,全球企业的信息存储总量已达22ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析34亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅03%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。如今, 科技 发展日新月异,深刻影响和改变着 社会 经济的发展和每个人的日常生活。尤其是随着物联网、云计算、大数据、人工智能和5G等新技术的不断发展,人类即将迈入“万物感知、万物互联和万物智能”的智能时代。其中,物联网作为智能时代的基础,将解决人与物、物与物之间的连接,物联网也正在形成一个包括政府、企业、研究机构和协会在内分工明细、合作紧密的产业生态圈。
本次论坛中,政府代表、行业精英、专家学者等齐聚一堂,共同探讨了智能化趋势下应该如何做大做强物联网产业,从而助力行业数字化转型和数字经济新发展。
“当前,海南正在加快建设自由贸易试验区、 探索 建设中国特色自由贸易港,可以说,物联网将为海南实现跨越式发展提供弯道超车的机遇。”海南省工业和信息化厅有关负责人在致辞中表示,海南的发展离不开以物联网为基础的 科技 创新支撑,希望陵水借助此论坛机会,与华为公司及众多物联网相关企业一起,积极 探索 物联网在智慧城市、智慧 旅游 、智慧农业、智慧医疗康养等方面的应用,争取将陵水打造成为海南省物联网创新应用示范区和先行先试的样板城市。
据介绍,近两年来,陵水以清水湾国际信息产业园、中电科海洋信息产业基地、陵水互联网创业园为依托,互联网产业日益成为陵水经济产业的新亮点。在本次论坛上,陵水黎族自治县政府有关负责人从招商领域、主要任务、保障措施等三个方面,详细介绍了陵水互联网产业发展的规划与思路,“陵水希望与包括华为在内的ICT技术企业合作,通过龙头企业的辐射作用,带动一批生态企业落户,同时尽最大的力量扶持好新落户企业的发展。”
“华为公司是5G行业领导者,专利占比以及签署商用合同数量均排名世界第一,在物联网的研究及实际应用上有着丰富的经验,华为也拥有着从物联网芯片、边缘计算、网络传输到云平台的一体化解决方案。”华为技术有限公司数字政府业务部有关负责人表示,华为愿意开放自身在5G和物联网方面的技术和能力,在陵水成立海南物联网创新中心,联合合作伙伴打造陵水物联网应用的示范标杆,同时发挥华为在物联网的行业影响力,孵化培育本地物联网产业生态,驱动陵水高新技术产业转型升级。
本次论坛由海南省工业和信息化厅指导,陵水黎族自治县人民政府主办。
物联网时代的大数据策略
互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息,海量的数据促进了云计算,分布式技术的发展,而这些技术反过来不仅推动了Web和移动互联网的革新,也推动了物联网的飞速前进。现在,我们正逐渐迈入物联网时代,实现万物互联的愿景,如果说之前人是信息生产的主体,那么或许不久的将来设备将成为主角,它们将源源不断地产生与人相关的衣食住行信息,这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据,应该采用什么样的大数据策略呢?
THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道:
“你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作,完全理解物联网方面的用例,然后寻找满足业务需求的技术。特别是,IT部门必须识别出最优的分析平台和工具,让业务用户能够获取到需要的数据,分析数据的含义并快速地做出响应。”
Gartner公司的副总裁、著名分析师 Joe Skorupa 认为:
“分布在世界各地的物联网设备将产生大量的输入数据,将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中,在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”
Patrick McFadin则在自己的博文《 物联网:数据都去了哪里? 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段:产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。
第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过>
以上是小编为大家分享的关于物联网时代的大数据策略的相关内容,更多信息可以关注环球青藤分享更多干货
物联网的发展前景很不错,具体如下:1更安全的保护措施。在新技术出现之初,它的技术力量几乎都集中在创新上,导致监管水平低下,这就使业界的兴奋、激进和政策、监管的滞后常常形成鲜明的对比。由于物联网设备和基础设施的价格下降,企业在物联网设备上的应用也越来越普遍,这种创新和应用一旦普及,各种新技术的风险也突显出来。
2更普遍使用智能消费品设备。IoT所覆盖的行业人群广泛,从智慧交通、智能物流、医疗、农业、能源等行业应用,到私人智能家居、个人、智能汽车等应用,无论是降低成本,还是提高中国居民的生活质量,都将是中国居民生活质量的巨大提升。技术的进步通常是为了让人类的生活更美好,但如果它不能帮助我们保护和改善世界,那么任何进步都是不够的。
甚至在新冠肺炎疫情暴发之前,人类避免即将到来的气候危机的能力就已经刻不容缓。在平衡经济复苏与环境可持续性方面,疫情给我们带来了一些额外挑战,但它也可以被视为提供了一个前所未有的机会。
幸运的是,5G有可能通过一些前瞻性应用来解锁更广泛的环境管理。通过实现行为改变,如允许更多人在家或几乎在其他任何地方工作,以及通过改善车辆管理以实现高效运输等等。
以下是5G给人们生活带来改变的四种方式:
1、减少车辆污染
虽然一些政府计划呼吁电动 汽车 逐渐取代以石油为燃料的 汽车 ,但现在可以采取很多措施来减少排放。通过5G连接的车辆可以通过传感器将维修状态的数据流回制造商,例如,识别何时刹车片磨损过薄,何时需要更换。将这些数据与使用模式的数据相结合,可以允许无线软件调整以优化性能和燃油效率。未来,传感器将通过5G与其他 汽车 和基础设施中的传感器进行交互。该技术被称为Cv2x 通信技术,将为全自动 汽车 铺平道路。即使是现在,T-Mobile网络采集的匿名5G数据也可以实时显示出交通缓慢的区域,让联网 汽车 建议最佳路线,继续前进,并在此过程中节省燃料,减少排放。
在4G时代流行起来的叫车和拼车服务,预计将利用5G开发一种新的基于云计算的边缘计算基础设施。这种低延迟连接可以用于智能驾驶辅助,并通过向司机提供道路和交通状况的更新来提高安全性。与此同时,人工智能个人助理可以通过信息服务和流媒体视频改善乘客体验。
2、节约资源,减少浪费
随着经济的快速发展以及城市化进程的加快,水资源分布不均、短缺、污染等造成了严重的生态问题。连接到支持 5G 的物联网的智能水传感器不仅可以检测漏水,还可以检测水污染。5G的规模意味着可以部署更大、更敏感的传感器网络,为企业和公共组织节约和优化用水。在更大范围内,传感器可以优化农业用水以及化肥和杀虫剂的使用,方法是将天气数据与土壤和作物状况数据结合起来,帮助农民更好地配置资源,更有效地耕作,并减少对环境的影响。
3、紧急和人道主义援助
5G驱动的物联网允许易受洪水或火灾影响地区的传感器传输早期预警数据,通过触发和协调缓解措施,有可能挽救生命,并保护财产和环境。在火灾的情况下,5G不仅改善了消防员和其他机构之间的沟通,而且智能头盔等5G增强现实工具可以让消防员穿透浓烟和火焰,直接看到火灾的中心。通过5G网络传输的视频分析数据揭示了燃烧材料释放出的热量水平和气体的化学成分,为消防员提供了前所未有的见解。
4、保护自然栖息地
森林在保护环境和使人们的生活更 健康 、更愉快方面发挥着巨大的作用。除了保持森林及其本土野生动物免受火灾伤害之外,物联网传感器还可以监测树木的 健康 ,对污染、疾病或缺水造成的危险发出警报。来源: 科技 日报
补齐关键核心技术短板 八部委推行物联网行动计划
物联网是以感知技术和网络通信技术为主要手段,实现人、机、物的泛在连接,提供信息感知、信息传输、信息处理等服务的基础设施。物联网是新基建的重要组成部分,“十四五”规划将其纳入了七大数字经济重点产业。
但与此同时,我国物联网产业发展还存在一些需要解决的问题,如关键核心技术存在短板、产业生态不够健全、规模化应用不足、支撑体系难以满足产业发展需要等。
近日,工信部联合国家网信办、 科技 部等八部委印发《物联网新型基础设施建设三年行动计划(2021—2023年)》(以下简称《行动计划》),提出到2023年底,在国内主要城市初步建成物联网新型基础设施, 社会 现代化治理、产业数字化转型和民生消费升级的基础更加稳固,具体包括四大行动目标:创新能力有所突破、产业生态不断完善、应用规模持续扩大、支撑体系更加健全。
《行动计划》也提出了到2023年底的一系列具体量化目标:推动10家物联网企业成长为产值过百亿、能带动中小企业融通发展的龙头企业;物联网连接数突破20亿;完善物联网标准体系,完成40项以上的国家标准或行业标准制修订等。
《行动计划》从突破关键核心技术、推动技术融合创新、构建协同创新机制3个方面对提升物联网产业创新能力进行了部署安排,提出突破关键核心技术,实施“揭榜挂帅”,鼓励和支持骨干企业加大对高端传感器、物联网芯片、新型短距离通信、高精度定位等关键核心技术的攻关力度,补齐高端传感器、物联网芯片等产业短板;力争到2023年底,突破一批制约物联网发展的关键共性技术,高端传感器、物联网芯片、物联网 *** 作系统、新型短距离通信等关键技术水平和市场竞争力显著提升。
行业应用是物联网发展的主要驱动力之一。综合考虑各领域对物联网需求的紧迫性、发展基础和经济效益等重要因素,《行动计划》按照“分业施策、有序推进”的原则,提出在 社会 治理、行业应用、民生消费三大领域内,重点推进12个行业的物联网部署:以 社会 治理现代化需求为导向,积极拓展市政、乡村、交通、能源、公共卫生等应用场景,提升 社会 治理与公共服务水平;以产业转型需求为导向,推进物联网与农业、制造业、建造业、生态环保、文旅等产业深度融合,促进产业提质增效;以消费升级需求为导向,推动家居、 健康 等领域智能产品的研发与应用,丰富数字生活体验。
《行动计划》还提出,鼓励地方联合龙头企业、科研院所、高校建立一批物联网技术孵化创新中心,调动物联网产业技术联盟、基金会、开源社区等机构协同创新形成合力。
此外,标准是物联网发展的基础。《行动计划》提出从标准体系建设与关键标准制定方面推动物联网标准化工作,依托全国信标委及相关标准化技术组织,进一步完善物联网标准体系,计划3年内组织国内产学研力量加快制修订40项以上国家标准或行业标准;同时,深度参与国际标准化工作,提升我国在国际标准化活动中的贡献度。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)