如何应对物联网时代下数据采集的机遇与挑战

如何应对物联网时代下数据采集的机遇与挑战,第1张

 大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生36GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均01个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为564亿,手机网民为42亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告,全球企业的信息存储总量已达22ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析34亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅03%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。

哐哐认为物联网是微处理器基础上,互联网与嵌入式系统发展到高级阶段交叉融合的产物,从技术发展上看物联网是互联网的自然延伸。物联源头是嵌入式系统。
嵌入式技术在物联网系统中的整合,给嵌入式系统带来新的机遇,许多先进技术都会首先出现在嵌入式系统中。从物联网平台建设到物联网平台应用的全面机遇,同时嵌入式系统有最广泛的人才需求。包括物联网的基础建设,即微电子、计算机、电子技术、通信技术等多学科通力合作,网络终端、智能化设备、网络连接下的应用整合。
目前嵌入式系统的前沿技术,包括多核技术、软件集成、软硬件IP化、云开发环境、GPS时空定位、软硬件开源、无线传感器网络、物联网、云MES系统等多种接入方式。

工业领域物联网发展趋势分析 传统工业加速向智能化转变
所谓“物联网”(Internet of
Things,IOT),又称传感网,指的是将各种信息传感设备,如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网连接起来并形成一个可以实现智能化识别和可管理的网络。
前瞻产业研究院数据显示,2016年我国物联网产业规模超过9000亿元人民币,同比增速连续多年超过20%。物联网作为通信行业新兴应用,在万物互联的大趋势下,市场规模将进一步扩大。随着行业标准完善、技术不断进步、国家政策扶持,中国的物联网产业将延续良好的发展势头,为经济持续稳定增长提供新的动力。移动互联向万物互联的扩展浪潮,将使我国创造出相比于互联网更大的市场空间和产业机遇。
物联网利用射频识别(RFID)、GPS、摄像头、传感器、传感器网络等感知、捕获、测量的技术手段,随时随地对物体进行信息采集和获取,实现智能化的决策和控制。因此,物联网在工业领域应用过程中,物联网相关技术和产品是智能工业的核心。
工业是物联网应用的重要领域。具有环境感知能力的各类终端、基于泛在技术的计算模式、移动通信等不断融入到工业生产的各个环节,可大幅提高制造效率,改善产品质量,降低产品成本和资源消耗,传统工业加速向智能化转变。
根据前瞻产业研究院发布的《物联网行业应用领域市场需求与投资预测分析报告》测算,2014年,国内物联网在工业领域需求规模为1260亿元;2016年,国内物联网在工业领域需求规模为1804亿元。2017年,国内物联网在工业领域需求规模约为2354亿元。
物联网在工业领域应用问题分析
1、IT安全问题
和前几次由新的硬设备、技术所带来的工业革命不同,工业40是由互联网所带来的第四次工业革命。也因此,有66%的受访者认为IT安全是一大挑战,当企业的IT系统连上网络,随时可能有一些未知的威胁出现在仓储管理系统、机器设备或供应链当中。
2、制造系统管理问题
工业40除了带来生产效率之外,同时也改变传统制造业的思维。当智能生产真正落实后,将会对制造管理系统带来巨大的变革,且势必变得更为复杂,包括整体的生产物流、人机协同作业等改变,也让员工培训更显重要。
3、通讯基础设施建设问题
通讯网络是实现工业40的重要关键,但是要建立一个让所有组织都能够配合的网络,必须要有一个一致的接口、通讯标准和规范。目前许多标准都还未建立,例如工业通讯、工程、IT安全、数字化工厂、设备整合等都还未被纳入整体参考架构中。
物联网在工业领域应用前景及发展趋势预测
近年来,我国政府通过工业化与信息化融合战略正在大力推进物联网技术向传统行业中的深度渗透。工信部于2013年9月发布的《工业化与信息化深度融合专项行动计划(2013-2018年)》中重点提出的互联网与工业融合创新试点工作已经进入了全面实施阶段。
以物联网融合创新为特征的新型网络化智能生产方式正塑造未来制造业的核心竞争力,推动形成新的产业组织方式、新的企业与用户关系、新的服务模式和新业态,推动汽车、飞机、工程装备、家电等传统工业领域向网络化、智能化、柔性化、服务化转型,孕育和推动全球新产业革命的发展。
美国制造业巨头通用电气公司充分利用物联网技术,已推出了二十余种工业互联网/物联网应用产品,涵盖了石油天然气平台监测管理、铁路机车效率分析、提升风电机组电力输出、电力公司配电系统优化、医疗云影像等各个领域。AT&T基于GE的软件平台Predix开发M2M解决方案,越来越多的工业机器将通过M2M连接到网络。
例如:物联网应用在智能工厂,具有相当广泛的应用前景,经济效益和社会效益明显。导入物联网的智能工厂,至少可以实现以下五个功能,即:电子工单、生产过程透明化、生产过程可控化、产能精确统计、车间电子看板。通过这五大功能,不但可实现制造过程信息的视觉化,对于生产管理和决策也会产生许多作用。根据物联网在智能工业的产值贡献比例来看,2023年国内物联网在工业需求规模在7821亿元左右。

物联网时代给物流行业更大的发展空间,当然对物流企业来说就提出了更高的要求,哪些物流公司能够跟上物联网时代的脚步,那么他的发展机会与空间就会空前放大,物联网对于物流行业的企业来说,就像一扇大门,你进入这个大门那么你就有了一片广阔的新天地。不断发展的同时,肯定会产生很多很多的机遇,找个肯定要生在其中才好发现机遇

2006至2020年,物联网应用从闭环、碎片化走向开放、规模化,智慧城市、工业物联网、车联网等率先突破。中国物联网行业规模不断提升,行业规模保持高速增长,江苏、浙江、广东省行业规模均超千亿元。

截至到2019年,我国物联网市场规模已发展到15万亿元。未来巨大的市场需求将为物联网带来难得的发展机遇和广阔的发展空间。

近年来,我国政府出台各类政策大力发展物联网行业,不少地方政府也出台物联网专项规划、行动方案和发展意见,从土地使用、基础设施配套、税收优惠、核心技术和应用领域等多个方面为物联网产业的发展提供政策支持。在工业自动控制、环境保护、医疗卫生、公共安全等领域开展了一系列应用试点和示范,并取得了初步进展。

目前我国物联网行业规模已达万亿元。中国物联网行业规模超预期增长,网络建设和应用推广成效突出。在网络强国、新基建等国家战略的推动下,中国加快推动IPv6、NB-IoT、5G等网络建设,消费物联网和产业物联网逐步开始规模化应用,5G、车联网等领域发展取得突破。

政策推动我国物联网高速发展

自2013年《物联网发展专项行动计划》印发以来,国家鼓励应用物联网技术来促进生产生活和社会管理方式向智能化、精细化、网络化方向转变,对于提高国民经济和社会生活信息化水平,提升社会管理和公共服务水平,带动相关学科发展和技术创新能力增强,推动产业结构调整和发展方式转变具有重要意义。

以数字化、网络化、智能化为本质特征的第四次工业革命正在兴起。物联网作为新一代信息技术与制造业深度融合的产物,通过对人、机、物的全面互联,构建起全要素、全产业链、全价值链全面连接的新型生产制造和服务体系,是数字化转型的实现途径,是实现新旧动能转换的关键力量。

我国物联网行业呈高速增长状态 未来将有更广阔的空间

自2013年以来我国物联网行业规模保持高速增长,增速一直维持在15%以上,江苏、浙江、广东省行业规模均超千亿元。中国通信工业协会的数据表明,随着物联网信息处理和应用服务等产业的发展,中国物联网行业规模已经从2013年的4896亿元增长至2019年的15万亿元。

虽然我国物联网发展显著,但我国物联网行业仍处于成长期的早中期阶段。目前中国物联网及相关企业超过3万家,其中中小企业占比超过85%,创新活力突出,对产业发展推动作用巨大。

物联网作为中国新一代信息技术自主创新突破的重点方向,蕴含着巨大的创新空间,在芯片、传感器、近距离传输、海量数据处理以及综合集成、应用等领域,创新活动日趋活跃,创新要素不断积聚。

物联网在各行各业的应用不断深化,将催生大量的新技术、新产品、新应用、新模式。未来巨大的市场需求将为物联网带来难得的发展机遇和广阔的发展空间。

在政策、经济、社会、技术等因素的驱动下,2020年GSMA移动经济发展报告预测,2019-2025年复合增长率为9%左右,2020年中国物联网行业规模目标16亿元,按照目前物联网行业的发展态势,十三五规划的目标有望超预期完成;预计到2025年,中国物联网行业规模将超过27万亿元。

未来物联网行业将向着多元方向发展

标准化是物联网发展面临的最大挑战之一,它是希望在早期主导市场的行业领导者之间的一场斗争。目前我国物联网行业百家争鸣,还未有一个统一的标准出现。因此在未来可能通过不断竞争将会出现限数量的供应商主导市场,类似于现在使用的Windows、Mac和Linux *** 作系统。

合规化同样是当下物联网面临的问题之一,特别是数据隐私问题。目前数据隐私已成为网络社会的一个关键词,各种用户数据泄露或被滥用的事件频发,特别是Facebook的丑闻引发了全球担忧。

因此在未来,我国各种立法和监管机构将提出更加严格的用户数据保护规定,,用户的敏感数据可能会随着时间的推移而受到更严格的监管。

安全化是指预防物联网软件遭受网络黑客攻击,在未来,以安全为重点的物联网设施将受到更多的关注,特别是某些特定的基础行业,如医疗健康、安全安防、金融等领域。

多重技术推动物联网技术创新

从技术创新趋势来看,物联网行业发展的内生动力正在不断增强。连接技术不断突破,NB-Iot、eMTC、Lora等低功耗广域网全球商用化进程不断加速;物联网平台迅速增长,服务支撑能力迅速提升;

区块链、边缘计算、人工智能等新技术题材不断注入物联网,为物联网带来新的创新活力。受技术和产业成熟度的综合驱动,物联网呈现“边缘的智能化、连接的泛在化、服务的平台化、数据的延伸化”等特点。

——以上数据来源于前瞻产业研究院《中国物联网行业应用领域市场需求与投资预测分析报告》


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/dianzi/13169781.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-06-15
下一篇 2023-06-15

发表评论

登录后才能评论

评论列表(0条)

保存