大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生36GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均01个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为564亿，手机网民为42亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析34亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅03%。
在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。
中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。物联网雁飞格物dmp平台物网协同功能有物联网设备管理、物联网数据采集、数据分析和处理、物联网应用开发、物联网安全管理。具体如下：
1、物联网设备管理：雁飞格物DMP平台可以管理大量的物联网设备，包括注册、授权、监控、配置、维护等。这些设备可以是传感器、执行器、控制器等，可以实现数据采集、控制、监测等功能。
2、物联网数据采集：平台可以通过采集物联网设备传输的数据来分析设备状态、控制设备等。可以支持多种协议，包括MQTT、CoAP等，支持实时数据采集和批量数据采集。
3、数据分析和处理：平台可以对采集到的数据进行分析和处理，包括数据清洗、数据存储、数据挖掘、数据建模等。可以通过可视化的方式展现数据分析结果。
4、物联网应用开发：平台提供应用开发的支持，包括API接口、应用模板、应用开发工具等。可以帮助开发人员快速开发出符合业务需求的应用程序。
5、物联网安全管理：平台可以提供物联网设备的安全管理机制，包括身份认证、访问控制、数据加密等。可以确保设备的安全性和数据的保密性。●传感器技术：价格低廉、性能良好的传感器是物联网应用的基石，物联网的发展要求更准确、更智能、更高效以及兼容性更强的传感器技术。智能数据采集技术是传感器技术发展的一个新方向。信息的泛在化对传感器和传感装置提出了更高的要求。具体如，微型化：元器件的微小型化，要求节约资源与能源；智能化：具备自校准、自诊断、自学习、自决策、自适应和自组织等人工智能技术；低功耗与能量获取技术：供电方式为电池、阳光、风、温度、振动等多种方式。\x0d\●设备兼容技术：大部分情况下，企业会基于现有的工业系统建造工业物联网，如何实现工业物联网中所用的传感器能够与原有设备已应用的传感器相兼容是工业物联网推广所面临的问题之一。传感器的兼容主要指数据格式的兼容与通信协议的兼容，兼容关键是标准的统一。目前，工业现场总线网络中普遍采用的如Profibus、Modus协议，已经较好地解决了兼容性问题，大多数工业设备生产厂商基于这些协议开发了各类传感器、控制器等。近年来，随着工业无线传感器网络应用日渐普遍，当前工业无线的WirelessHART、ISA100．11a以及wIA—PA3大标准均兼容了IEEE802．15．4无线网络协议，并提供了隧道传输机制兼容现有的通信协议，丰富了工业物联网系统的组成与功能。\x0d\●网络技术：网络是构成工业物联网的核心之一，数据在系统不同的层次之间通过网络进行传输。网络分为有线网络与无线网络，有线网络一般应用于数据处理中心的集群服务器、工厂内部的局域网以及部分现场总线控制网络中，能提供高速率高带宽的数据传输通道。工业无线传感器网络则是一种新兴的利用无线技术进行传感器组网以及数据传输的技术，无线网络技术的应用可以使得工业传感器的布线成本大大降低，有利于传感器功能的扩展，因此吸引了国内外众多企业和科研机构的关注。\x0d\传统的有线网络技术较为成熟，在众多场合已得到了应用验证。然而，当无线网络技术应用于工业环境时，会面临如下问题：工业现场强电磁干扰、开放的无线环境让工业机器更容易受到攻击威胁、部分控制数据需要实时传输。相对于有线网络，工业无线传感器网络技术则正处在发展阶段，它解决了传统的无线网络技术应用于工业现场环境时的不足，提供了高可靠性、高实时性以及高安全性，主要技术包括：自适应跳频、确实性通信资源调度、无线路由、低开销高精度时间同步、网络分层数据加密、网络异常监视与报警以及设备入网鉴权等。\x0d\●信息处理技术：工业信息出现爆炸式增长，工业生产过程中产生的大量数据对于工业物联网来说是一个挑战，如何有效处理、分析、记录这些数据，提炼出对工业生产有指导性建议的结果，是工业物联网的核心所在，也是难点所在。\x0d\当前业界大数据处理技术有很多，如SAP的BW系统在一定程度上解决了大数据给企业生产运营带来的问题。数据融合和数据挖掘技术的发展也使海量信息处理变得更为智能、高效。工业物联网泛在感知的特点使得人也成为了被感知的对象，通过对环境数据的分析以及用户行为的建模，可以实现生产设计、制造、管理过程中的人一人、人一机和机一机之间的行为、环境和状态感知，更加真实地反映出工业生产过程中的细节变化，以便得出更准确的分析结果。\x0d\●安全技术：工业物联网安全主要涉及数据采集安全、网络传输安全等过程，信息安全对于企业运营起到关键作用，例如在冶金、煤炭、石油等行业采集数据需要长时问的连续运行，如何保证在数据采集以及传输过程中信息的准确无误是工业物联网应用于实际生产的前提。
1 物联网（Internet of Things，IoT）
指将传感器、执行器、智能设备、人工智能和云计算等技术融合在一起，通过互联网连接、交互和协同工作来实现智能化和自动化的网络。
2 传感器（Sensor）
指一种可以感知并测量实际物理量的设备或系统，通过将物理信号转换成数字或模拟信号来输出相应的测量结果。
3 执行器（Actuator）
指一种可以根据输入信号转换成机械或电动力的设备或系统，用于控制或驱动实际物理行为。
4 物联网平台（IoT Platform）
指一种用于将各种传感器、执行器和智能设备互联互通的技术平台，提供数据采集、数据分析、数据处理和数据交互等功能。
5 云计算（Cloud Computing）
指一种基于互联网的分布式计算和存储模式，将计算和数据存储分布在多个服务器上，提供虚拟化和动态扩展等功能。
6 数据采集（Data Collection）
指通过传感器和其他设备收集和记录现实世界中的数据，如温度、湿度、压力、位置、声音等。
7 数据处理（Data Processing）
指将采集到的数据进行分类、筛选、转换、分析等处理，以提取有用的信息，比如预警、异常检测、预测分析等。
8 数据交互（Data Interaction）
指通过互联网将数据传输到物联网平台等服务器上，并将处理结果返回到智能设备中，以实现设备之间的互通和协同工作。
9 人工智能（Artificial Intelligence，AI）
指模拟人类智能和行为的计算机系统和算法，用于实现自动化、智能化和自主学习等功能，如图像识别、语音识别、机器人等。
10 区块链（Blockchain）
指一种去中心化的分布式账本技术，用于实现安全性、透明度和信任度的高效交互和协同，如支付、合同管理、安全通信等。
物联网的技术原理
事实上，物联网的原理是在计算机互联网的基础上，利用RFID、无线数据通信技术，构建覆盖全球数万座建筑的物联网。在这个网络中，建筑物（物品）之间可以在不需要人工干预的情况下进行通信。其实质是利用射频自动识别技术，通过计算机互联网实现物品之间的自动识别和信息的互联与共享。
物联网的核心技术还在云计算中，云计算是物联网实现的核心。物联网的三个关键技术和领域包括：传感器技术、RFID标签技术、嵌入式系统技术。领域：公共事务管理(节能环保、交通管理等)、公共社会服务(医疗健康、家居建筑、金融保险等)、经济发展(能源电力、物流零售等)。
传感器技术是计算机应用中的一项关键技术，将传输线上的模拟信号转化为可由计算机处理的数字信号。
RFID，即射频识别，是一种集射频技术和嵌入式技术于一体的集成技术，在不久的将来将广泛应用于自动识别和货物物流管理。
嵌入式系统技术是集计算机软件、计算机硬件、传感器技术、集成电路技术和电子应用技术为一体的复杂技术。
物联网使用场景，主要体现在几个步骤：采集、传输、计算、展示
物联网终端采集数据，将数据传送给服务器，服务器存储和处理数据，并将数据显示给用户。
例如，自行车是共享的，前向过程是自行车获取GPS位置数据，通过2G网络向服务器报告，服务器记录自行车位置信息，用户在APP终端查看自行车位置。反向处理是用户向服务器发出解锁请求，服务器通过2G网络向自行车发送解锁指令，自行车执行解锁指令。
物联网的大大小小的应用都是基于正向数据采集和反向指令控制实现的。
传输模式的选择：取决于距离和功耗
物联网的联网方式：
近距离低功耗，带BLE或ZigBee。
远距离低功耗，NB-IoT或2G
近距离大数据，带WiFi
大数据远程，使用4G网络
关于网络布局：
远距离传输比短距离传输更昂贵，功耗更高。合理使用远距离和远距离配置可以有效降低物联网终端的成本。
例如，原始共享自行车被2G网络解锁，需要数据的长连接或下行短消息解锁，功耗高，下载的共享自行车丢弃了远程解锁，直接使用手机的蓝牙解锁自行车，节省数据流，降低功耗，本发明还可以提高解锁速度，剩余能量电动自行车智能充电站也是物联网的高科技产品，采用最新的窄带通信技术引领电动自行车充电设备的技术高度。
云服务设计
物联网的云服务器和应用程序设计与I互联网基本一致，Java、PHP和ASP可用于物联网的后台处理。
移动互联网是“人-服务器-人”的框架，物联网是"物-服务器-人"的框架，两者是相同的，物联网终端设备也采用TCP、>
总结简图
物联网、大数据及人工智能都是近年来互联网行业比较火热的话题，三者之间具有非常紧密的联系。想探讨物联网、大数据及人工智能之间如何融合，首先需要了解其基本概念。
概念
1、物联网
根据百度百科的解释，物联网（InternetofThings，IoT）是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络（万物互联）。物联网网络架构设计由感知层、网络层及应用层组成，分别实现数据采集、数据传输及数据应用的功能。目前，物联网已经广泛应用于智慧医疗、智慧环保、智慧城市、智能家居及物流等领域。
2、大数据
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有体量大（Volume）、及时性（Velocity）、多样性（Variety）、低价值密度（Value）及真实性（Veracity）的“5V”特性。
3、人工智能
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前，人工智能正在改变各行各业的传统模式，作为人工智能分支的机器学习/深度学习已经广泛用于自然语言处理（NLP）、计算机视觉（CV）、机器翻译及推荐系统等领域。
深度融合
物联网、大数据、人工智能三者之间相辅相成，可以形成一个闭环通路。物联网作为智能感知层，主要负责采集现场的数据并将数据上传至分布式数据库中；大数据作为数据存储层，将经过ETL处理后的数据保存到分布式文件系统（HDFS）或数据仓库（HIVE）中；人工智能作为应用层，可利用sparkml或tensorflow实现相关的机器学习或深度学习算法，对存储在HDFS或HIVE中的数据进行数据挖掘。
应用案例
目前，物联网、大数据、人工智能已经广泛用于智慧城市、智慧环保、智慧交通等领域。以智慧环保中的空气预警为例，首先，物联网可以作为智慧感知层，安装在客户现场的空气监测设备采集的空气质量信息通过网络传输数据中心；而后，利用大数据ETL工具（spark、hive）进行数据清洗并存储至分布式数据库/文件系统/数据仓库中；最后，利用人工智能相关技术进行大数据分析（sparkml、tensorflow），预测未来若干天的空气质量，并以此辅助进行科学决策及改善环境。
物联网的应用如下：1、智能仓库。物联网一个很好的应用。它能准确的提供仓库管理各个环节数据的真实性，对于生产企业，可以根据这个数据合理的把控库存量，调整生产量。物联网中利用SNHGES系统的库位管理功能，可以准确提供货物库存位置，这就大大提高了仓库管理的效率。
2、智能物流。运用条形码、传感器、射频识别技术、全球定位等先进的物联网通信技术，实现物流业运输、仓储、配送、装卸等各个环节的智能化。不仅货物运输更加的自动化，而且作出的全面分析还能及时的处理问题对物流过程作出调整，优化了管理。大大提高了物流行业的服务水平，还节约了成本。
3、智能医疗。利用物联网技术，实现患者和医务人员、医疗机构、医疗设备的互动，实现医疗智能化。物联网医疗设备中的传感器与移动设备可以对患者的生理状态进行捕捉，把生命指数记录到电子健康文件中，不仅自己可以查看，也方便了医生的查阅，实现远程的医疗看病。很好的解决当前的医疗资源分布不均，看病难的问题。
4、智能家庭。物联网的出现让我们的日常生活更加的便捷。不远的将来一台手机，就可以 *** 作家里大多数的电器，查看它们的运行状态。寒冷的冬天，我们可以提前打开家里的空调，回到家就暖暖的。物联网还能准确的定位家庭成员的位置，你再也不用担心孩子跑的找不见人，省心省力。
5、智能农业。物联网在农业中的应用就更加的广泛。监测温湿度，监视土壤酸碱度，查看家禽的状态。在这些数据的支持下，农户就可以合理进行科学评估，安排施肥，灌溉。监测到的天气情况比如降水，风力等又为我们抗灾、减灾提供了依据。提高了产量，降低了减产风险。
6、智能交通。物联网将整个交通设备连在一起。主要是用图像识别为核心技术。可以准确的收集到交通车流量信息，通过信号灯等设备进行流量的控制，这个技术的运用，会让堵车成为历史。管理人员利用这个技术能将道路、车辆的情况掌握的一清二楚，驾驶违章无处可逃，交通事故也能及时的得到处理。人们的出行得到了很大的方便。
7、智能电力。电力工程是一项重大的民生工程，对电网的安全检测是一项必修科目。以南方电网与中国移动通过M2M技术进行的合作为例，因为物联网的运用，使得自动化计量系统开始启动，使得故障评价处理时间得到一倍的缩减。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）