大数据和物联网的关系

大数据
不是
抽样数据，而是全部的数据；
所以大数据必须依赖云计算，不可能是局域网的；
物联网目标是把所有的物体都连接到互联网，并把物体虚拟化，数据上传，自然就是大数据了。
云计算是为了大并发、大数据下的解决实际运算问题；
大数据是为了解决海量数据分析问题；
物联网是解决设备与软件的融合问题；
可见，它们之间的关系是互相关联、互相作用的：
物联网是很多大数据的来源（设备数据），而大量设备数据的采集、控制、服务要依托云计算，设备数据的分析要依赖于大数据，而大数据的采集、分析同样依托云计算，物联网反过来能为云计算提供issa层的设备和服务控制，大数据分析又能为云计算所产生的运营数据提供分析、决策依据。

有人已经预言未来的时代僵尸一个“大数据”的时代，关注大数据的人越来越多，同时物联网的出现与发展推动了数据采集的能力，为数据库的建立提供了有力的支撑。而大数据的处理结果可以通过物联网这一平台有效地执行。数据的采集处理应用必将成为时代的发展主题。
物联网概念的提出
1998年，MIT的Kevin Ashton第一次提出：把RFID技术与传感器技术应用于日常物品中形成一个“物联网”
2005年，ITU报告：物联网是通过RFID和智能计算等技术实现全世界设备互联互联的网络。
2008年，IBM提出：把传感器设备安装到各种物体中，并且普遍链接形成网络，即“物联网”，进而再次基础上形成“智慧地球”。
物联网形式早已存在，统一意义上的物联网概念提出是在架构在互联网发展成熟的基础上。
物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心是物联网发展的灵魂。
大数据，指的是所涉及的资料量规模据达到无法透过目前主流软件工具，在河里时间内达到管理、处理并且整理成为帮助企业经营决策更有积极目的的资讯。
大数据的误区
1、“大数据”不等于“海量数据”；
2、“大数据”不是一门“新兴技术”；
3、“大数据”不仅仅是“一种理念”。
智慧化的新经济形态
外在：物联网
人和机器的智慧融合
信息和物理世界的智慧融合
信息化与三大产业的智慧融合
内涵：大数据
每个人都是数据产生者、拥有者和消费者；
数据成为新“工业”革命的原材料；
数据中提出信息和智慧
新范式的确立表现为智慧产品的普遍化。
以上由物联传媒转载，如有侵权联系删除

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新20是物联网发展的灵魂。
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1高效分布式
必须是高效的分布式系统。物联网产生的数据量巨大，仅中国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会产生500多亿条记录。这么大的数据量，任何一台服务器都无能力处理，因此处理系统必须是分布式的，水平扩展的。为降低成本，一个节点的处理性能必须是高效的，需要支持数据的快速写入和快速查询。
2实时处理
必须是实时处理的系统。互联网大数据处理，大家所熟悉的场景是用户画像、推荐系统、舆情分析等等，这些场景并不需要什么实时性，批处理即可。但是对于物联网场景，需要基于采集的数据做实时预警、决策，延时要控制在秒级以内。如果计算没有实时性，物联网的商业价值就大打折扣。
3高可靠性
需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统，如果数据处理系统宕机，直接导致停产，产生经济有损失、导致对终端消费者的服务无法正常提供。比如智能电表，如果系统出问题，直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的，必须支持数据实时备份，必须支持异地容灾，必须支持软件、硬件在线升级，必须支持在线IDC机房迁移，否则服务一定有被中断的可能。
4高效缓存
需要高效的缓存功能。绝大部分场景，都需要能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。系统需要提供一高效机制，让用户可以获取全部、或符合过滤条件的部分设备的最新状态。
5实时流式计算
需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行，而是需要通过将一个或多个设备产生的数据流进行实时聚合计算，不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此，计算的需求也相当复杂，因场景而异，应容许用户自定义函数进行计算。
6数据订阅
需要支持数据订阅。与通用大数据平台比较一致，同一组数据往往有很多应用都需要，因此系统应该提供订阅功能，只要有新的数据更新，就应该实时提醒应用。而且这个订阅也应该是个性化的，容许应用设置过滤条件，比如只订阅某个物理量五分钟的平均值。
7和历史数据处理合二为一
实时数据和历史数据的处理要合二为一。实时数据在缓存里，历史数据在持久化存储介质里，而且可能依据时长，保留在不同存储介质里。系统应该隐藏背后的存储，给用户和应用呈现的是同一个接口和界面。无论是访问新采集的数据还是十年前的老数据，除输入的时间参数不同之外，其余应该是一样的。
8数据持续稳定写入
需要保证数据能持续稳定写入。对于物联网系统，数据流量往往是平稳的，因此数据写入所需要的资源往往是可以估算的。但是变化的是查询、分析，特别是即席查询，有可能耗费很大的系统资源，不可控。因此系统必须保证分配足够的资源以确保数据能够写入系统而不被丢失。准确的说，系统必须是一个写优先系统。
9数据多维度分析
需要对数据支持灵活的多维度分析。对于联网设备产生的数据，需要进行各种维度的统计分析，比如从设备所处的地域进行分析，从设备的型号、供应商进行分析，从设备所使用的人员进行分析等等。而且这些维度的分析是无法事先想好的，而是在实际运营过程中，根据业务发展的需求定下来的。因此物联网大数据系统需要一个灵活的机制增加某个维度的分析。
10支持数据计算
需要支持数据降频、插值、特殊函数计算等 *** 作。原始数据的采集可能频次挺高，但具体分析时，往往不需要对原始收据进行，而是数据降频之后。系统需要提供高效的数据降频 *** 作。设备是很难同步的，不同设备采集数据的时间点是很难对齐的，因此分析一个特定时间点的值，往往需要插值才能解决，系统需要提供线性插值、设置固定值等多种插值策略才行。工业互联网里，除通用的统计 *** 作之外，往往还需要支持一些特殊函数，比如时间加权平均。
11即席分析和查询
需要支持即席分析和查询。为提高大数据分析师的工作效率，系统应该提供一命令行工具或容许用户通过其他工具，执行SQL查询，而不是非要通过编程接口。查询分析的结果可以很方便的导出，再制作成各种图标。
12灵活数据管理策略
需要提供灵活的数据管理策略。一个大的系统，采集的数据种类繁多，而且除采集的原始数据外，还有大量的衍生数据。这些数据各自有不同的特点，有的采集频次高，有的要求保留时间长，有的需要多个副本以保证更高的安全性，有的需要能快速访问。因此物联网大数据平台必须提供多种策略，让用户可以根据特点进行选择和配置，而且各种策略并存。
13开放的系统
必须是开放的。系统需要支持业界流行的标准SQL，提供各种语言开发接口，包括C/C++，Java，Go，Python，RESTful等等，也需要支持Spark，R，Matlab等等，方便集成各种机器学习、人工智能算法或其他应用，让大数据处理平台能够不断扩展，而不是成为一个孤岛。
14支持异构环境
系统必须支持异构环境。大数据平台的搭建是一个长期的工作，每个批次采购的服务器和存储设备都会不一样，系统必须支持各种档次、各种不同配置的服务器和存储设备并存。
15支持边云协同
需要支持边云协同。要有一套灵活的机制将边缘计算节点的数据上传到云端，根据具体需要，可以将原始数据，或加工计算后的数据，或仅仅符合过滤条件的数据同步到云端，而且随时可以取消，更改策略。

---