大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生36GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均01个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为564亿，手机网民为42亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析34亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅03%。
在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。
中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。物联网是一个集合，而旗下各类传感器(射频识别等传感技术)、各类有/无线传感网络、智能联动等技术才是物联网的根本。
传感器技术
传感技术同计算机技术与通信技术一起被称为信息技术的三大技术。从仿生学观点看，如果把计算机看成处理和识别信息的“大脑”，把通信系统看成传递信息的“神经系统”的话，那么传感器就是“感觉器官”。微型无线传感技术以及以此组件的传感网是物联网感知的重要技术手段。
射频识别(RFID)技术
射频识别(Radio
Frequency
Identification)是通过无线电信号识别特定目标并读写相关数据的无线通讯技术。在国内，RFID已经在身份z、电子收费系统和物流管理等领域有了广泛应用。RFID技术市场应用成熟，标签成本低廉，但RFID一般不具备数据采集功能，多用来进行物品的甄别和属性的存储，且在金属和液体环境下应用受限，RFID技术属于物联网重要的信息采集技术之一。
WSN(无线传感网络)技术
无线传感器网络(Wireless
Sensor
Network,或称神经末梢网)主要有ZigBee、蓝牙、NFC、Wi-Fi等表现形式。上海秀派电子科技有限公司董事长兼总经理宋福鑫介绍到：“无线传感器网络是一种由独立分布的节点以及网关构成的传感器网络，安放在不同地点的传感器节点不断采集外界的物理信息，如温度、声音、震动等，相互独立的节点之间通过无线网络进行通信。无线传感器网络的每个节点都能够实现数据采集和数据的简单处理，还能接收来自其他节点的数据，并最终将数据发送到网关，再从网关获取数据，查看历史数据记录或进行分析。”
IOT网关，接收sensor数据的总入口，主要是日志，安全防护，流控，协议转换等功能，
图1 IOT网关
之前有提到IOT网关是基于python的twisted框架实现的，初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 和 安全防护 。
数据接收和转换功能 ，这里很简单，拟定好数据交互格式后，IOT网关按照约定好的格式进行解析，然后转发给后端服务进行进一步的处理
安全防护 ，设备的区分主要是依靠烧录到硬件的SN号来实现，SN号包含的信息比较多，如生产批次，设备型号等，受制于厂商我安全防护不能做的非常完善，同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密，协议上还应该启用tls/ssl安全通信协议。
图2 鉴权
安全防护要做ssl这类的安全通信协议的话，要考虑设备厂商实现通信模块能力，设备功耗，设备性能（低端设备cpu性能可能比较差，可考虑对称加密形式），IOT网关也需要引入相应模块。
另外认证从性能方面考虑，后期在设备比较多的情况下，可以加入redis等内存型key-value数据库，缓存设备信息，提高鉴权模块性能。
实践中，我们的sensor基本都是依靠电池供电，因此我们的IOT网关基本是面向短链接（后期我们有监测设备，依靠外部电源直接供电，为长连接），因此在每次发起连接我们都要进行一次鉴权，鉴权通过后，设备方可上传传感器监测数据和设备自身状态。
图3 数据交互流程
这一块的调试工作长达半年左右，才基本稳定下来，主要集中在设备商处除了硬件稳定性，还有在调试中发现传输的字符串乱码（c语言处理问题），沾包（厂商开发人员tcp协议不熟），优化传输效率，关闭cork或者 Nagle 算法（传输包很小）。
因为IOT网关不能主动断连接，理论 *** 作中，IOT网关应该和sensor有心跳协议，保证连接的有效性。设备商在数据流程交互完成后，竟然没有close 连接，直接休眠，导致网关所在服务器的连接的文件描述符一直没有正常释放，后面为了预防这种现象，我开启了 *** 作系统层面的keepalve定时器，回收失效连接（系统默认时间是2小时左右，我缩短了失效时间），理论上来说应该是应用层面去实现心跳协议。
整个IOT网关的设计，是无状态，可伸缩的，单网关在普通型ecs上可轻松达到数百tps。
以下回答仅供参考：
智能环境监测应该使用了一下物联网技术
1
传感器技术，对环境的监测都会涉及到传感器，比如监测大气、水质、土壤、污染、漂浮物颗粒等等，这些都必须借助专业的传感器才能做到。
2
无线通信技术，智能环境的概念是脱离原有有线的范畴，在一些户外环境下无法布线的时候，往往使用的都是无线通信技术，比如SZ06
ZigBee无线数据采集设备，用来采集传感器输出的一些模拟量，比如4-20ma，0-5V，温湿度、烟雾、有毒气体等等。如果需要数据远传的话，还需要SZ11
GPRS无线模块，把数据通过GPRS传输到公网里面。
3
嵌入式系统技术，所有的数据进行汇总与分析，才能挖掘数据的价值。物联网其实到目前为止也没有一个精确的定义，一般来说，我们认为物联网是传统的互联网向物理世界的一个延伸。通过连接物理世界，使得网络能够更好的为人类服务。物联网能够广泛用在生产和生活的各个方面，产生了如智慧家庭、智慧城市、智慧农业、智慧医疗、智慧环境等一系列相关的应用场景。
涉及的主要技术包括以下几种：
1、传感器网络技术
传感器网络实现了数据的采集、处理和传输三种功能。它与通信技术和计算机技术共同构成信息技术的三大支柱。传感器网络是由各种各样的传感器节点所组成，用以进行信息的收集、传输和处理的网络系统。
作为物联网感知和获取数据信息的重要手段，传感器网络在物联网中发挥着极为重要的作用。无线传感器网络是一项通过无线通信技术把数以万计的传感器节点以自由式进行组织与结合进而形成的网络形式。
无线传感器网络主要由三大部分组成，包括节点、传感网络和用户这3部分。其中，节点一般是通过一定方式将节点覆盖在一定的范围，整个范围按照一定要求能够满足监测的范围；传感网络是最主要的部分，它是将所有的节点信息通过固定的渠道进行收集，然后对这些节点信息进行一定的分析计算，将分析后的结果汇总到一个基站，最后通过卫星通信传输到指定的用户端，从而实现无线传感的要求。
构成传感器节点的单元分别为：数据采集单元、数据传输单元、数据处理单元以及能量供应单元。
（1） 数据采集单元，通常都是采集监测区域内的信息并加以转换，比如温湿度、光照度等；
（2） 数据传输单元则主要以无线通信和交流信息以及发送接收那些采集进来的数据信息为主；
（3） 数据处理单元通常处理的是全部节点的路由协议和管理任务以及定位装置等；能量供应单元为缩减传感器节点占据的面积，会选择微型电池的构成形式。
2、RFID技术
射频识别（Radio Frequency Identification， RFID），是一种利用无线电波进行信息交换与存储的技术，通过无线射频来对电子标签进行读写，以达到自动识别目标以及信息交换目的。
RFID系统通常由读写器、电子标签与数据管理系统组成，其工作原理一般是由读写器在一定范围内发送无线电射频信号，当电子标签接收到读写器所发射的无线电信号时，就会利用感应电流所获得的能量（无源RFID），或者主动发送无线电信号（有源RFID）将标签芯片内所存储的产品信息发送出去，读写器接收到电子标签所发射的信息并解码后，再将这些数据信息反馈至数据管理系统进行数据处理。
RFID系统主要由标签、阅读器和天线三部分组成。一般由阅读器收集到的数据信息传送到后台系统进行处理。
（1）标签：标签由耦合元件及芯片组成，每个电子标签都具有唯一的电子编码，附着在物体上标识目标对象；每个标签都有一个全球唯一的ID号码——UID（用户身份z明），其在制作标签芯片时存放在ROM中，无法修改，其对物联网的发展有着很重要的影响。
（2）阅读器：阅读器是读取或写入标签信息的设备，可设计为手持式或固定式等多种工作方式。对标签进行识别、读取和写入 *** 作，一般情况下会将收集到的数据信息传送到后台系统，由后台系统处理数据信息。
（3）天线：天线是用来在标签和阅读器之间传递射频信号。射频电路中的天线是联系阅读器和电子标签的桥梁，阅读器发送的射频信号能量，通过天线以电磁波的形式辐射到空间，当电子标签的天线进入该空间时，接收电磁波能量，但只能接收其很小的一部分。
3、嵌入式系统技术
嵌入式系统一般是用户针对特殊需求而定制的，能够被内部计算机控制的设备或系统。嵌入式系统往往结合了计算机技术、通信技术以及自动化技术，使得传统的机电产品智能化，并具有故障诊断、自动报警以及信息传输和远程控制等多种功能，用以实现产品使用与管理的信息化、智能化。
由于嵌入式系统体积小、功能强且成本较低等，使其广泛应用于智能家居、车联网等领域。嵌入式系统的核心由一个或多个微处理器或微控制器组成，这些微处理器或微控制器经过预编程以执行一些任务。嵌入式系统上的软件通常是暂时不变的。嵌入式系统需要与应用紧密结合的，它具有很强的专用性，必须结合实际系统需求进行合理的裁减利用。用先进的计算机技术、半导体技术和电子技术与各行业的具体应用相结合的知识集成系统。
从应用角度可分为通用型嵌入式 *** 作系统和专用型嵌入式 *** 作系统。常见的通用型嵌入式 *** 作系统有Linux、VxWorks、Windows >
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）