物联网时代的大数据策略
互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息,海量的数据促进了云计算,分布式技术的发展,而这些技术反过来不仅推动了Web和移动互联网的革新,也推动了物联网的飞速前进。现在,我们正逐渐迈入物联网时代,实现万物互联的愿景,如果说之前人是信息生产的主体,那么或许不久的将来设备将成为主角,它们将源源不断地产生与人相关的衣食住行信息,这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据,应该采用什么样的大数据策略呢?
THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道:
“你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作,完全理解物联网方面的用例,然后寻找满足业务需求的技术。特别是,IT部门必须识别出最优的分析平台和工具,让业务用户能够获取到需要的数据,分析数据的含义并快速地做出响应。”
Gartner公司的副总裁、著名分析师 Joe Skorupa 认为:
“分布在世界各地的物联网设备将产生大量的输入数据,将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中,在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”
Patrick McFadin则在自己的博文《 物联网:数据都去了哪里? 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段:产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。
第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过>
以上是小编为大家分享的关于物联网时代的大数据策略的相关内容,更多信息可以关注环球青藤分享更多干货
数据收集的重要渠道,主要是三个。
分别是物联网系统、Web系统和传统信息系统,所以数据采集主要的渠道就是这三个。
物联网的发展是导致大数据产生的重要原因之一,物联网的数据占据了整个大数据百分之九十以上的份额,所以说没有物联网就没有大数据。物联网的数据大部分是非结构化数据和半结构化数据,采集的方式通常有两种,一种是报文,另一种是文件。在采集物联网数据的时候往往需要制定一个采集的策略,重点有两方面,一个是采集的频率(时间),另一个是采集的维度(参数)。
Web系统是另一个重要的数据采集渠道,随着Web20的发展,整个Web系统涵盖了大量的价值化数据,而且这些数据与物联网的数据不同,Web系统的数据往往是结构化数据,而且数据的价值密度比较高,所以通常科技公司都非常注重Web系统的数据采集过程。目前针对Web系统的数据采集通常通过网络爬虫来实现,可以通过Python或者Java语言来完成爬虫的编写,通过在爬虫上增加一些智能化的 *** 作,爬虫也可以模拟人工来进行一些数据爬取过程。
传统信息系统也是大数据的一个数据来源,虽然传统信息系统的数据占比较小,但是由于传统信息系统的数据结构清晰,同时具有较高的可靠性,所以传统信息系统的数据往往也是价值密度最高的。传统信息系统的数据采集往往与业务流程关联紧密,信息系统的数据采集工具也发展很迅速,未来行业大数据的价值将随着产业互联网的发展进一步得到体现。1、数据新鲜性是对所接收的历史数据或超出时限的数据进行识别的特性。
2、因为物联网感知层数据要保证接收到数据的时效性,确保接收到的信息是非恶意节点重放的。
3、在物联网环境中,一般情况下,数据将经历感知、传输、处理这一生命周期所以需要新鲜性保护。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)