工业和信息化考试如何对报表进行数据采集

本篇文章和大家说说数据采集的那些事儿
实现工业40，需要高度的工业化、自动化基础，是漫长的征程。工业大数据是未来工业在全球市场竞争中发挥优势的关键。无论是德国工业40、美国工业互联网还是《中国制造2025》，各国制造业创新战略的实施基础都是工业大数据的搜集和特征分析，及以此为未来制造系统搭建的无忧环境。不论智能制造发展到何种程度，数据采集都是生产中最实际最高频的需求，也是工业40的先决条件。
数字化工厂不等于无人工厂，产品配置，制造流程越复杂越多变，越需要人的参与；在数字化工厂当中，工人更多地是处理异常情况，调整设备。但数据采集一直是困扰着所有制造工厂的传统痛点，自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，不同采购年代。即便产量停机数据自动采集了，也不等于整个制造过程数据都获得了，只要还有其他人工参与环节，这些数据就不完整。
工业数据采集类型
互联网的数据主要来自于互联网用户和服务器等网络设备，主要是大量的文本数据、社交数据以及多媒体数据等，而工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。
从数据采集的类型上看，不仅要涵盖基础的数据，还将逐步包括半结构化的用户行为数据，网状的社交关系数据，文本或音频类型的用户意见和反馈数据，设备和传感器采集的周期性数据，网络爬虫获取的互联网数据，以及未来越来越多有潜在意义的各类数据。主要包括以下几种：
1、海量的Key-Value数据。在传感器技术飞速发展的今天，包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用，而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据，因此，这部分数据的特点是每条数据内容很少，但是频率极高。
2、文档数据。包括工程图纸、仿真数据、设计的CAD图纸等，还有大量的传统工程文档。
3、信息化数据。由工业信息系统产生的数据，一般是通过数据库形式存储的，这部分数据是最好采集的。
4、接口数据。由已经建成的工业自动化或信息系统提供的接口类型的数据，包括txt格式、JSON格式、XML格式等。
5、视频数据。工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。
6、图像数据。包括工业现场各类图像设备拍摄的（例如，巡检人员用手持设备拍摄的设备、环境信息）。
7、音频数据。包括语音及声音信息（例如， *** 作人员的通话、设备运转的音量等）。
8、其他数据。例如遥感遥测信息、三维高程信息等等。
数据采集的方法
传统的数据采集方法包括人工录入、调查问卷、电话随访等方式，大数据时代到来后，一个突出的变化是数据采集的方法有了质的飞跃，下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。
1、传感器
传感器是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。在生产车间中一般存在许多的传感节点，24小时监控着整个生产过程，当发现异常时可迅速反馈至上位机，可以算得上是数据采集的感官接受系统，属于数据采集的底层环节。
传感器在采集数据的过程中主要特性是其输入与输出的关系。
其静态特性反映了传感器在被测量各个值处于稳定状态时的输入和输出关系，这意味着当输入为常量，或变化极慢时，这一关系就称为静态特性。我们总是希望传感器的输入与输出成唯一的对照关系，最好是线性关系。
一般情况下，输入与输出不会符合所要求的线性关系，同时由于存在这迟滞、蠕变等因素的影响，使输入输出关系的唯一性也不能实现。因此我们不能忽视工厂中的外界影响，其影响程度取决于传感器本身，可通过传感器本身的改善加以抑制，有时也可以加对外界条件加以限制。
2、RFID技术
RFID（Radio Frequency Identification，射频识别）技术是一种非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信，达到识别目的并交换数据。RFID技术可识别高速运动物体并可同时识别多个标签， *** 作快捷方便。
在工作时，RFID读写器通过天线发送出一定频率的脉冲信号，当RFID标签进入磁场时，凭借感应电流所获得的能量发送出存储在芯片中的产品信息（Passive Tag，无源标签或被动标签），或者主动发送某一频率的信号（Active Tag，有源标签或主动标签）。
阅读器对接收的信号进行解调和解码然后送到后台主系统进行相关处理；主系统根据逻辑运算判断该卡的合法性，针对不同的设定做出相应的处理和控制，发出指令信号控制执行机构动作。
RFID技术解决了物品信息与互联网实现自动连接的问题，结合后续的大数据挖掘工作，能发挥其强大的威力。
数据采集技术难点
在当今的制造业领域，数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式，采集过程中容易出现人为的记录错误且效率低下。
有些企业虽然引进了相关技术手段，并且应用了数据采集系统，但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统，因此也无法实现信息采集的实时性、精确性和延伸性管理，各单元出现了信息断层的现象。
技术难点主要包括以下几方面：
1、数据量巨大。任何系统，在不同的数据量面前，需要的技术难度都是完全不同的。
如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。
2、工业数据的协议不标准。互联网数据采集一般都是我们常见的>

物联网时代，大量的数据从不同的设备传感器产生，单机数据库系统肯定无法存储这么大量的数据，在选择数据库方面，肯定要选择具有分布式能力存储的数据库。

在物联网时代，数据之间还有一个非常重要的特性，那就是数据之间的关联性。不同的数据从相互连接的互联网设备传感器中产生，由于不同的传感器相互连接，协同工作和采集数据，如何将大量具有相互关联的数据保存在数据库，这里我推荐使用图数据库来进行存储。

图数据库相对于其他数据库来说，最大的优势就是查询数据之间的关联性会更加快速，消耗的时间会更短。打个比方，在社交网络中，我们想要查询在用户A的粉丝中，粉丝关注了B的用户。如果使用传统关系型数据库来存储用户的关注关系，在上面的数据统计中，要使用两层Join才能算出结果，而关系型数据库Join *** 作会很慢。使用图型数据库存储数据的话，图中的点为用户，边为用户的关注关系，在查询A的粉丝，同时粉丝也关注B的用户，只需要遍历两层关注关系就能很快查询到结果。

图数据库也属于NoSql数据库的一种，常用的图形数据库有，JanusGraph、Neo4j、Cayley、dgraph。不同的图数据库，底层实现也不尽相同。

JanusGraph是一种分布式图数据库，由Java语言开发，可以使用Hadoop生态存储系统作为数据源，构建出数据大图。是TiTan图数据库的开源版本，支持事务的ACID。

Neo4j是一种单机的图数据库，其优势就是能够快速安装并且使用，便于新同学上手。你的数据量一般不大的话，我推荐使用Neo4j，直接使用Neo4j相关的API就可以将数据模型图构建而出，然后使用Neo4jCypher查询语言，就可以分析数据，Cypher是一种类SQL的语言。

Cayley和Dgraph都是使用Go语言实现的图数据库，Go语言的最大特性就是其编译速度和开发便捷性，Cayley和Dgraph都支持分布式存储，不过都不支持SQL语言查询数据，Dgraph不支持事务，而Cayley支持事务，不过在开源社区，Dgraph比Cayley更加活跃，这里优先建议使用Dgraph作为物联网的存储数据库。

总体来说，在物联网时代，一定要学会使用图数据库，在分析大量数据之间的关联性时，图数据库就能够派上用场，图数据库最大的优势就是分析不同数据之间的关联性。

---