物联网的整个结构可分为射频识别系统和信息网络系统两部分。射频识别系统主要由标签和读写器组成,两者通过RFID空中接口通信。读写器获取产品标识后,通过internet或其他通讯方式将产品标识上传至信息网络系统的中间件,然后通过ONS解析获取产品的对象名称,继而通过EPC信息服务的各种接口获得产品信息的各种相关服务。整个信息系统的运行都会借助internet的网络系统,利用在internet基础上的发展出的通信协议和描述语言。因此我们可以说物联网是架构在internet基础上的关于各种物理产品信息服务的总和。从应用角度来看,物联网中三个层次值得关注,也即是说,物联网由三部分组成:一是传感网络,即以二维码、RFID、传感器为主,实现对“物”的识别。二是传输网络,即通过现有的互联网、广电网络、通信网络等实现数据的传输与计算。三是应用网络,即输入输出控制终端。
EPC系统是一个非常先进的、综合性的和复杂的系统。其最终目标是为每一单品建立全球的、开放的标识标准。如图2.4所示,它主要由全球产品电子代码(EPC)体系、射频识别系统及信息网络系统三大部分组成[17]。
图24 EPC系统的构成图
(1)EPC编码标准
EPC编码是EPC系统的重要组成部分,它是对实体及实体的相关信息进行代码化,通过统一并规范化的编码建立全球通用的信息交换语言。
(2)EPC标签
EPC标签是装载了产品电子代码的射频标签,通常EPC标签是安装在被识别对象上,存储被识别对象相关信息。标签存储器中的信息可由读写器进行非接触读/写。
32 EPC系统特点
(1)开放的体系结构
EPC系统采用全球最大的公用的刀又TERNET网络系统。这就避免了系统的复杂性,同时也大大降低了系统的成本,并且还有利于系统的增值。梅特卡夫(Metcalfe)定律表明,一个网络大的价值是用户本系统是应该开放的结构体系远比复杂的多重结构更有价值。
(2)独立的平台和高度的互动性
EPC系统识别的对象是一个十分广泛的实体对象,因此,不可能有那一种技术适用所有的识别对象。同时,不同地区,不同国家的射频识别技术标准也不相同。所以开放的结构体系必须具有独立的平台和高度的交互 *** 作性。EPC系统网络建立在INTERNET网络系统上可以与INTERNET网络所有可能的组成部分协同工作
(3)灵活的可持续发展的体系
EPC系统是一个灵活的开放的可持续发展的体系,可在不替换原有体系的情况下就可以做到系统升级。整体的EPC网络 *** 作依赖于RFID系统和网络应用系统的介入,使产品信息有效的传播。安装在不同需求链环境的解读器可以读取标签中储存的产品数据。因此供应链数据可以通过网络及时地检查、更新或者交换信息。
33 EPC编码编码标准
EPC码是新一代与EAN/UPC码兼容的编码标准,在EPC系统中EPC编码与现行GTIN相结合,因而EPC并不是取代现行的条码标准,而是由现行的条码标准逐渐过渡到EPC标准或者是在未来的供应链中EPC和EAN.UCC系统共存。EPC中码段的分配是由EAN.UCC来管理的。在我国,EAN.UCC系统中GTIN编码是由中国物品编码中心负责分配和管理。同样,ANCC也即将启动EPC服务来满足国内企业使用EPC的需求。
EPC码是由一个版本号加上另外三段数据(依次为域名管理者、对象分类、序列号)组成的一组数字。其中版本号标识EPC的版本号,它使得EPC随后的码段可以有不同的长度;域名管理是描述与此EPC相关的生产厂商的信息。
第四章 物联网在家庭中应用
随着时代的发展,中国已经逐步进入了老龄化社会,以后我们社会面临的现状将是一对年轻的夫妻,在照看自己小孩的同时,还要照看2~6对老人,这就为全社会出了一个难题。每家都雇保姆,显然不现实;那么,只能通过科技的手段来解决这个问题了,靠提高家庭的生活品质、方便家庭与外界的信息交互、用传感节点感知家里发生的情况等,这就为家庭物联网的实现奠定了社会基础。
物联网的概念正大行其道,也使人们看到了社会未来的发展趋势,然而物联网大部分却停留在概念阶段,真正规模应用还有待时日。家庭区域相对狭小、需求比较明确,最有可能优先实现物联网的应用。它不只是现代家庭现实的需要(照看老人、孩童),更是人们日益增强的家庭安全
41家庭物联网应用领域
寒冷的冬季,供暖系统使北方城市家庭充满温暖,而当白天大部分人离家上班的时候,空空的房间仍温暖如春。我们需要一个智能化的供暖控制系统。在生产安全领域,在食品卫生领域,在工程控制领域,在城市管理领域,在人们日常生活的各个方面,甚至在人们的娱乐活动中,都需要建立随时能与物体沟通的智能系统。通过装置在各类物体上的电子标签(RFID),传感器、二维码等经过接口与无线网络相连,从而给物体赋予智能,可以实现人与物体的沟通和对话也可以实现物体与物体相互间的沟通和对话。在电度表上装上传感器,供电部门随时都可知道用户的用电情况,实现用电检查、电能质量监测、负荷管理、线损管理、需求侧管理等高效一体化管理,一年来降低电损。在电梯装上传感器,当电梯发生故障时,无需乘客报警、电梯管理部门会借助网络在第一时间得信息,以最快的速度去现场处理故障。
42发展历程
1999年,物联网的概念就已被提出,10年间,世界各国都在加紧研究。物联网的发展共分为四个阶段:第一个阶段是大型机、主机的联网,第二个阶段是台式机、笔记本与互联网相联,第三个阶段是手机等一些移动设备的互联,第四阶段是嵌入式互联网兴起阶段,更多与人们日常生活紧密相关的应用设备,包括洗衣机、冰箱、电视、微波炉等都将加入互联互通的行列,最终形成全球统一的“物联网”。
对于互联网来说,20世纪80年代是黄金时代,这段时间出了一个知名的人物——鲍勃•卡恩(BobKahn),他被人们称为互联网之父(被赋予同样称呼的人还有好几个)。在为互联网做出卓越贡献的同时,他也非常有远见的为另一个始于上世纪80年代的项目——分布式传感网(DistributedSensorNet,简称DSN)——做了奠基。在那个年代,传感器远比我手上的这个大得多,要用一辆卡车来拉。这么大的传感器作为一个个节点组织在一起,通过微波彼此相连,就组成了传感网。
庞大的传感器在体积方面跟不上人们对其功用上的期望,于是研究者们就开始思考能不能把它做得小一点、再小一点。于是,在上世纪90年代,“智能微尘”(SmartDust)这个很有意思的概念出现了,提出者是KrisPister,他是加州大学伯克利分校的教授。这一概念认为可以将计算和通讯集成在约1~2平方毫米的超微型传感器中,用以对周围环境的参数进行探测。其核心的成分是微电机系统(Micro-Electro-MechanicalSystem,简称MEMS;这个概念在当时引起非常大的轰动),该系统中可以集成很多和机械有关的传感器。
当时KrisPister这批人有一个幻想——在蒲公英上面悬挂一个传感芯片,蒲公英飞到哪里就探测哪里的信号,再把信号传递回来。虽然只是一个假想,但当时真有科学家信心百倍地投入其中,并且还把所需的数据算出来了。比如有空气动力学专家计算出了芯片应有的重量等等。在2001年,加州大学伯克利分校的实验室真做出了这种理想中的芯片雏形,比米粒还小,可谓“细如发丝,薄如蝉翼”。他们送给了我一个,当时我还精心包装了一下。可惜最近找不到了,特别遗憾。倘若芯片里面还有电留存的话,说不定我就能通过网络定位到它的“安身之所”了。
在这一时期,有三所高校和研究机构在传感器领域处于领军地位,一是加州大学伯克利分校(以KrisPister为代表,他们提出了“智能微尘”理论),另外两个是加州大学洛杉矶分校(他们提出了“微无线技术”)和施乐帕克研究中心(XeroxPARC)。施乐帕克研究中心的团队主要由我带领,我们做的是传感信息处理和“智能物质”(SmartMatter),希望能把计算、微电机系统放到物理世界中,与“智能微尘”也有非常紧密的联系。
自本世纪初以来,对于传感的研究越来越受到人们的重视,有很多学校和大公司的研发机构开始进行了类似的研究,并有许多新兴公司借此东风异军突起。将传感器连接成“网”或“系统”,就成了传感网。除了传感网以外,类似的概念也相继提出,比如“CyberPhysicalSystem”和“InternetofThings”(简称IOT)。相较而言,IOT的概念在提出的初期更接近于日常生活,比如常见的RFID(RadioFrequencyIdentification,射频识别)技术就是它的一部分。
关于传感网和物联网的历史,若从大的传感器开始算起,传感网诞生至今应有30年了;而若从微传感网(MicroWirelessSensorNetwork)来说,应该仅有15至20年:微传感网始于上世纪90年代,那个时期的人们刚刚提出“微电机系统”的概念,试图把传感器和计算机处理和通讯全部都集成在一个芯片上,即“智慧微尘”。
其实传感器的历史,归结起来就八个字——从大到小,以点到面。这八个字看似简单,但做起来却是困难重重——要想让传感器真正“飞入寻常世界中”,它必需在体积、造价、能耗等方面进行“瘦身”,这样它才真正能够进入到物理世界。
然而,造型的缩小并不是传感进入生活的唯一条件,还需要互联网技术的配合以实现从点到面的网际联系。就IP地址而言,物联网应采用IPv6(IPv4必然不够),它有128位两进制的IP网址数,这相当于给世界上的每个沙粒都赋予了一个 IP地址。唯有当所有的物体都有一个属于自己的IP的时候,物联网才能真正实现。总而言之,物联网的实现需要这两方面的相辅相成:一是利用微处理技术(micro-fabrication),提高集成度;其二是运用IP技术,以提供足够丰富的网址。
43面临的问题
国内智能家居市场存在很多问题。1、进入门槛较高,一般一次性投入要1、2万元,这就大大限制了中等收入以下人群的购买需求。2、功能华而不实,很多都是遥控个灯光、音响,需求跟投入不成比例。3、生搬硬套,将原来很多工业上使用的东西直接照搬到家庭里,缺少人性化,不能完全适合家居生活需要。4、很多智能家居企业缺少核心技术,东拼西凑,组成个系统就推广,导致成本增高、企业竞争力下降。
RFID超高频技术在我国的应用尚处于起步阶段,一些项目的应用只是试点,还没有得到广泛应用,也没有在供链上应用。比如,只在某一个仓库里应用,或只在生产线上应用。应该说,这些试点项目全
都属于闭环状态的应用,在供应链上串起来应用的案例国内还没有出现。
物联网发展潜力无限,但物联网的实现并不仅仅是技术方面的问题,建设物联网过程将涉及到许多规划、管理、协调、合作等方面的问题,还涉及标准和安全保护等方面的问题,这就需要有一系列相应的配套政策和规范的制订和完善。
首先是技术标准问题。标准是一种交流规则,关系着物联网物品间的沟通。各国存在不同的标准,因此需要加强国家之间的合作,以寻求一个能被普遍接受的标准。
其次是安全的问题。物联网中的物品间联系更紧密,物品和人也连接起来,使得信息采集和交换设备大量使用,数据泄密也成为了越来越严重的问题。如何实现大量的数据及用户隐私的保护,成为待解决的问题。
第三,协议问题。物联网是互联网的延伸,在物联网核心层面是基于TCP/IP,但在接入层面,协议类别五花八门,CPRS、短信、传感器、TD-SCDMA、有线等多种通道,物联网需要一个统一的协议基础。
第四,终端问题。物联网终端除具有本身功能外还拥有传感器和网络接入等功能,且不同行业需求各异议,如何满足终端产品的多样化需求,对运营商来说的一大挑战。
第五,地址问题。每个物品都需要在物联网中被寻址,就需要一个地址。物联网需要更多的IP地址,IPv4资源即将耗尽,那就需要IPv6来支撑。IPv4 向IPv6过渡是一个漫长的过程,因此物联网一旦使用IPv6地址,就必然会存在与IPv4兼容性问题。
第六,费用问题。目前物联网所需的芯片等组件的费用较高,若把所有物品都植入识别芯片花费自然不少,如何有效解决这一问题仍需考虑。
第七,规模化问题。规模化是运营商业绩的重要指标,终端的价格、产品多样性、行业应用的深度和广度都会地用户规模产生影响,如何实现规模化是具有待商讨的问题。
第八,商业模式问题。物联网在商业应用方面的业务模式还不是很明朗,商业模式问题值得更进一步探讨。
第九,产业链问题。物联网所需要的自动控制、信息传感、射频识别等上游技术和产业已成熟或基本成熟,而下游的应用也单体形式存在。物联网的发展需要产业链的共同努力,实现上下游产业的联动,跨专业的联动,从而带动整个产业链,共同推动物联网发展。
要建立一个有效的物联网,有两大难点必须解决:一是规模性,只有具备了规模,才能使物品的智能发挥作用;二是流动性,物品通常都不是静止的,而是处于运动的状态,必须保持物品在运动状态,甚至高速运动状态下都能随时实现对物品的监控和追踪。
实现物联网,首先必须在所有物品中嵌入电子标签等存储体,并需安装众多读取设备和庞大的信息处理系统,这必然导致大量的资金投入。因此,在成本尚未降至能普及的前提下,物联网的发展将受到限制。已有的事实均证明,在现阶段,物联网的技术效率并没有转化为规模的经济效率,目前的所谓物联网应用也没有一个在商业上获得了较大成功。例如,智能抄表系统能将电表的读数通过商用无线系统(如GSM短消息)传递到电力系统的数据中心,但电力系统仍没有规模使用这类技术,原因在于这类技术没有经济效率。
物联网的关键在于RFID、传感器、嵌入式软件及传输数据计算等领域,包括“云计算”、无线网络的扩容和优化等均是物联网普及需解决的问题。只有通过“云计算”技术的运用,才能使数以亿计的种类物品的实时动态管理变得可能。从目前国内产业发展水平而言,传感器产业人水平较低,高端产品为国外厂商垄断。 大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生36GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均01个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为564亿,手机网民为42亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告,全球企业的信息存储总量已达22ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析34亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅03%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。
大数据即巨量数据的集合,互联网、物联网、穿戴设备等等,在这个互联网时代,人们留下的行为数据无时无刻不被记录,造就了巨量的数据,进而出现了大数据分析挖掘等岗位的出现。通过对大数据的分析挖掘,可以发现历史规律以及对未来的预测,这也是大数据分析的核心目标。
那么如果利用大数据来深度挖掘互联网里的潜在用户呢?下面从业务逻辑流程上来介绍。
1、潜在目标用户画像
首先你需要对你的潜在用户群进行特征分析,包含:用户群主要在哪些渠道活跃、共同特征(喜好、职业、收入、消费力等)有哪些等,通过对用户画像,能够清晰的了解你所要挖掘的潜在用户群的一些特征及活动规律,从而为挖掘模型提供数据来源及条件支撑。
例如需要挖掘装修的潜在用户,他们的活跃渠道主要在各大家装网站、家居网、装修设计网等与房子有关的网站或app,一般这类用户都会提前在这些网站/app浏览做准备。
2、数据采集
在明确了潜在用户活跃渠道后,可以针对性的采集数据,数据采集后需要对数据做清洗、转换、加载,将一些无用的数据提前筛选,保证数据的质量。
3、数据建模
这个阶段是非常重要的,通过数据的建模去分析出潜在目标用户,建模是一件非常复杂的工作,需要将用户的行为数据、画像数据进行拆分、合并、关联,从而建立一套或多套数据模型。
还以装修为例:
(1)消费能力模型,我们可以根据用户浏览家具的价格、以往消费历史纪录、收入等对用户进行消费能力分析;
(2)优质客户分析模型,可以根据用户浏览次数、停留时长、购买记录、信誉度等数据进行分析,从而得出用户装修的迫切程度,可以分为高、中、低三个等级。
同时还可以加入用户的所在区域、小区等维度进行分析(根据具体需要),将模型细分,最后可以通过各个模型关联碰撞,组合成多种模型,如消费能力强且马上要装修的潜在用户、消费能力强不太迫切要求装修的潜在用户等等,这样可以实现差异化、精准化的运营。(例子举的很简单,事实上真正做起来还是很复杂的,各方面因素都要考虑到)
4、开发验证
数据建模完成后,就需要研发完成并运用到实战当中,去检验数据模型的准确性到底如何,根据结果去对模型做调整。
大数据分析本来就是一项对未来将要发生什么事做的预测的工作,这种不确定性的预测随着社会发展、时间、地点、环境、政策等变化而不断变化,所以我们在做分析挖掘时,需要快速不断地试错去调整,从而达到一个比较准确的分析结果。
物联网发展的主要前景和趋势包括以下4个方面:趋势1:人机交互性增强的数据和设备增长 到2019年底,将有约36亿台设备主动连接到Internet并用于日常任务。随着5G的推出,将为更多设备和数据流量打开大门。
趋势2:人工智能再次成为物联网的重要参与者 充分利用数据,需要通过人工智能提供计算机帮助。人工智能是理解收集的大量数据并提高其业务价值所必需的基本要素。人工智能将在以下领域帮助物联网数据分析:数据准备,数据发现,流数据的可视化,数据的时间序列准确性,预测和高级分析以及实时地理空间和位置(后勤数据)。 包括亚马逊,微软和谷歌在内的主要云供应商越来越多地希望基于其AI功能进行竞争。各种初创企业希望通过能够利用机器学习和深度学习的AI算法使企业能够从不断增长的数据量中提取更多的价值。
趋势3:VUI:语音用户界面将成为现实
语音占了我们日常通讯的80%,就像科幻中一样,与机器人交谈应该是常见的通讯方式,例如R2D2,C-3PO和Jarvis。在设置设备、更改设置、发出命令和接收结果中使用语音不仅在智能房屋,工厂中,而且在诸如汽车,可穿戴设备之类的设备之间都是常见的。
趋势4:在物联网上的更多投资
物联网是少数新兴和传统风险投资家都感兴趣的市场之一。智能设备的普及以及客户越来越依赖于使用它们执行许多日常任务,将增加对物联网初创企业投资的兴趣。客户将等待物联网的下一个重大创新,例如可以对您的面部进行分析的智能镜,如果您生病了,可以打电话给您的医生;将结合智能监控摄像头的智能ATM机;可以告诉您如何进食和饮食的智能叉子。吃什么,以及每个人都在睡觉时会关灯的智能床。物联网是指各种传感器等实时采集相关信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。
物联网是新一代信息技术的重要组成部分,其核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络,但又不完全是互联网,是将互联网的用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。物联网的基本特征从通信对象和过程来看,物与物、人与物之间的信息交互是物联网的核心。物联网的基本特征可概括为整体感知、可靠传输和智能处理。
物联网有三个层面:感知层、网络层、应用层。在感知层,我们在客观物体中植入了精密的传感器和芯片,有相关的感知设备,通过信息传感设备,把物体的状态信息从物理信号转化成电信号,感知层是物联网发展前提,必须由传感器,才能获取物体信息。
光把物体的信息感知出来是不够的,要实现到网络上来传输应用,既包括ZigBee、蓝牙、红外、超宽带、近场通信等用于传感器网络或智能设备近距离通信的技术,也包括宽带接入。将物体与网络连接,物体通过信息传播媒介进行信息交换和通信,实现智能化识别、定位、跟踪等,万物皆可连。
利用经过分析处理的感知数据为用户提供丰富的服务,可分为管理和应用两个部分内容,在管理层有信息处理、应用集成、云计算、解析服务、网络管理、web服务。目前物联网在很多领域应用,智能家居、环保检测、城市管理、公共安全、远程医疗等。
物联网的原理是在计算机互联网的基础上,利用RFID、无线数据通信技术,构建覆盖全球数万座建筑的物联网。在这个网络中,建筑物(物品)之间可以在不需要人工干预的情况下进行通信。其实质是利用射频自动识别技术,通过计算机互联网实现物品之间的自动识别和信息的互联与共享。移动互联网是"人-服务器-人"的框架,物联网是"物-服务器-人"的框架,两者是相同的,物联网终端设备也采用TCP、>
区块链发展到今天,早已从最初的金融交易延伸到所有需要中间人作保或认证的应用项目,比如房屋交易、汽车买卖等,甚至可经由API的串联,将区块链技术与其他应用服务内容加以整合,据此加速产生各式各样的创新应用,甚至有助于加速推动物联网应用发展。
区块链最早期的应用就是比特币了,区块链是一串使用密码学方法相关联产生的数据块,它像一个数据库账本,而账本里面也蕴含自比特币以来的所有交易记录,包含多个区块记录,每个区块各自对应一部分交易,又记载着前一区块的Hash值,形成一个链条状的数据结构。
许多专家认为区块链技术的出现解决了物联网安全性、隐私性和可靠性问题所缺失的一环。它可以用于追踪数十亿相互连接的设备,促成设备之间的交易和协作处理,为物联网行业节省大量成本,这种去中心化方法将会消除单点失败,创造一种更为可靠的设备运行生态系统。同时区块链所使用的加密算法还能为消费者数据带来更高的隐私。
区块链的优势在于它是公开的,每一个网络参与者都能看到区块以及存储在里面的交易信息。不过,这并不意味着所有人都能看到你的实际交易内容,这些内容通过你的私钥被保护着。
区块链是去中心化的。因此没有一种单一的机构可以批准交易或者为交易的接收设定特殊的规则,这就意味着参与者之间存在着巨大的信任,因此所有的网络参与者都必须达成共识来接收交易。
更重要的一点是,区块链是非常安全的,这种数据只能不断被扩展,之前的记录是无法被改变的。并且区块链所使用的账本是防篡改的,并且无法被不法分子 *** 纵,这种账本并不是位于某个具体的地点,并且无法对中间商进行攻击,因为没有任何单一的通信线程可以被截获。
区块链可以应用到物联网保证信息安全,比如设备仪器的制造商,可以借助区块链技术追溯到每一项零组件的生产厂商、生产日期、制造批号乃至于制造过程的其他信息,以确保整机生产过程的透明性及可塑性,有效提升整体系统与零组件的可用性,继而保障设备仪器运作的安全性。
区块链特有的共识机制,通过点对点的方式是各个设备之间连接起来,而不是通过中央处理器,各个设备之间保持共识,不需要中心验证,这样就保证了当一个节点出现问题之后,不会影响网络的整体数据安全性。
现在,随着区块链技术的不断发展和升温,深圳北航物联网研究院(>随着社会迅速发展,人类逐渐进入大数据的时代,而物联网与云计算作为近年来的热点,受到了业内不少人士的关注。据业界人士分析,大数据的前景与物联网以及云计算这两者之间的关系非常密切,那么,真像业界人士所说的那样它们之间存在着不一样的关系呢?下面,我们就来了解一下大数据与物联网、云计算之间的关系吧。
大数据概念
巨量资料(big data),或称大数据、海量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用,形成的智力资源和知识服务能力。
大数据市场格局
具体意义上来讲,早在20世纪90年代“数据仓库之父”的Bill Inmon便提出了“大数据”的概念。大数据之所以在最近走红,主要归结于互联网、移动设备、物联网和云计算等快速崛起,全球数据量大大提升。可以说,移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。
我们通过分析,形象的知道大数据与移动互联网、物联网以及传统互联网的关系。物联网,移动互联网再加上传统互联网,每天都在产生海量数据,而大数据又通过云计算的形式,将这些数据筛选处理分析,提前出有用的信息,这就是大数据分析。
大数据与云计算
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。近几年,云计算的概念受到了学术界、商界,甚至政府的热捧,一时间云计算无处不在,这真让同时代其他的IT技术相形见绌,无地自容。
本质上,云计算与大数据的关系是静与动的关系;云计算强调的是计算,这是动的概念;而数据则是计算的对象,是静的概念。如果结合实际的应用,前者强调的是计算能力,或者看重的存储能力;但是这样说,并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力(数据获取、清洁、转换、统计等能力),其实就是强大的计算能力;另一方面,云计算的动也是相对而言,比如基础设施即服务中的存储设备提供的主要是数据存储能力,所以可谓是动中有静。
如果数据是财富,那么大数据就是宝藏,而云计算就是挖掘和利用宝藏的利器!没有强大的计算能力,数据宝藏终究是镜中花;没有大数据的积淀,云计算也只能是杀鸡用的宰牛刀。
大数据与物联网
物联网是一个基于互联网、传统电信网等信息承载体,让所有能够被独立寻址的普通物理对象实现互联互通的网络。
大数据与物联网之间的关系是相铺相成的。物联网产生大数据。美国人前几年医院一年产生500个数据,IMT1。4TB数据等各种的数据通过传感器产生,也有在网上直接产生的,我们现在处于大数据时代,物联网一分钟可以产生非常多的东西,苹果下载2万余次,一分钟会上传10万条新微博,全世界物联网上虚拟网络上,产生了大量的数据。
物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的,更大的不同是它的高增长率。物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据,但不是人与人的交往信息,而是物与物,物与人的社会合作信息。
除此之外,大数据助力物联网,不仅仅是收集传感性的数据,实物跟虚拟物要结合起来。今天北京交通堵塞,但是并不知道堵塞原因,如果政府发布消息和市民微博发布消息结合起来就知道发生什么事,物联网要过滤,过滤要有一定模式。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)