中国物联网校企联盟技术部
物联网工程专业是贵州民族大学的数据科学与信息工程学院中的一个本科专业。
贵州民族大学创建于1951年5月17日，隶属贵州省人民政府，是新中国创建最早的民族院校之一，是贵州省重点建设高校、贵州省人民政府和国家民委共建高校、教育部本科教学工作水平评估优秀等次高校，也是接收中国政府奖学金来华留学生的高等院校。
学校于2009年11月进行学科重组，成立了计算机与信息工程学院，并于2016年11月更名为数据科学与信息工程学院，学院现设三系一部，现有数学与应用数学、信息与计算科学、统计学、应用统计学、计算机科学与技术、信息管理与信息系统、物联网工程、软件工程等8个本科专业。
培养目标：培养学生系统地掌握物联网技术所必须的软、硬件产品基本知识，掌握物联网技术应用的基本技能，具有物联网相关产品设计、应用的能力，并具备一定的物联网协议层研发能力，能从事物联网应用方面科研、生产、管理工作的专门人才。
主要课程：电子电路基础、算法与数据结构、电子技术设计、现代通信技术、光电子学、图像处理与模式识别、概率论与数理统计、中间件技术、嵌入式控制系统、接口技术、网络技术、网络组建与设计、无线射频识别系统、系统分析技术、电子电路CAD、物联网设计等课程。
深刻把握物联网产业初级阶段的内涵和历史地位，认识其长期性、艰巨性和复杂性。
1．把握物联网产业初级阶段的内涵，深刻认识物联网产业初级阶段长期性。
当今物联网正处于并将长期处于产业初级阶段。
这个论断是回答现阶段产业所处的历史方位，即在人类科学史上处在什么发展阶段。
这个论断包括两层含义：一是目前物联网产业已经成为一种产业，我们必须坚持物联网产业的基础原则，不能背离物联网发展的方向。
二是中国的物联网产业还处在初级阶段。
一切从初级阶段的实际出发，不能超越阶段、急于求成。
二者的有机统一，就是我国现阶段物联网产业的规定性。
这是我国物联网产业现阶段最基本的事实、最大的实际。
2．了解物联网产业初级阶段的历史地位，是中国物联网发展进程中必然要经历的一个特定的阶段。
物联网产业初级阶段不是泛指任何国家进入物联网时代都会经历的起始阶段，而是特指我国在科学落后、生产力不发达条件下建设物联网产业必然要经历的特定历史阶段。
这个阶段不同于物联网理论提出的过渡时期，又不同于已经实现物联网技术阶段。
这是中国物联网产业在其发展进程中必然要经历的一个特定阶段。
中国的物联网产业在其发展过程中，之所以要经历这样一个长时期的初级阶段，并不是哪个人、哪个研究机构的主观臆断，而是中国科学发展的必然，是由中国现阶段科学能力所决定的。
毫无疑问，历史是人民群众创造的。
但是，人民群众并不能随心所欲的创造历史，只能在特定的历史条件下从事创造活动。
人们不能随意挑选生产力，不能离开从前一代那里继承下来的各种条件去创造新能力。
现代中国特殊的科研条件，决定了我国只能从半抄袭半原创的旧理论，经过“中国制造”走向物联网时代的道路。
正因为我国的物联网科学脱胎于欧美国家、发达地区，科学生产力水平远远落后于发达西方国家。
这就决定了我国物联网科学必须经历一个很长的初级阶段，去实现别的国家在艰苦科研条件下实现的智能化、实用化、市场化和现代化。
即是说，我们应当从全人类文明进步的视角考察中国物联网产业初级阶段在人类社会发展史上的定位问题，这样才能开阔视野，看得更清晰，认识更深刻，即跳出中国来看中国的物联网产业初级阶段。
3．牢记物联网产业初级阶段理论，可以使人们对物联网建设的长期性和艰巨性有清醒的认识，克服急于求成的浮躁思想。
目前中国经过五六年的高速发展，科学理论有了巨大的进步，在世界上应以科学大国的面貌出现，这是不符合实际情况的。
之所以产生这种思想，究其根源，还是对我国物联网产业初级阶段的基本实情和物联网建设的长期性认识不足，我国物联网科学理论的提出虽然总量不低，但创新却很少，居世界后列，从总体来看，科学生产力落后的状况仍然没有改变，地区发展不平衡，科研条件落后，不仅与发达国家相比，即使与某些发展中国家相比也还有较大差距。
正如所告诫我们：我国物联网产业初级阶段至少需要40年时间。
这就是说，物联网时代是一个相当长的历史阶段，大约有上百年时间。
而要实现物联网时代，还需要更长时间的奋斗。
所以，我们要把物联网产业初级阶段理论作为长期的指导思想。
美国 早在1999年，在美国召开的移动计算和网络国际会议就提出，“传感网是下一个世纪人类面临的又一个发展机遇”； 过去在中国，物联网被称之为传感网。中科院早在1999年就启动了传感网的研究，并已取得了一些科研成果，建立了一些适用的传感网。2005年11月17日，在突尼斯举行的信息社会世界峰会（WSIS）上，国际电信联盟（ITU）发布了《ITU互联网报告2005：物联网》，正式提出了“物联网”的概念。所谓“物联网”（Internet of Things），指的是将各种信息传感设备，如射频识别（RFID）装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网结 合起来而形成的一个巨大网络。其目的，是让所有的物品都与网络连接在一起，方便识别和管理。 物联网是利用无所不在的网络技术建立起来的其中非常重要的技术是RFID电子标签技术。
以简单RFID系统为基础，结合已有的网络技术、数据库技术、中间件技术等，构筑一个由大量联网的阅读器和无数移动的标签组成的，比Internet更为庞大的物联网成为RFID技术发展的趋势。在这个网络中，系统可以自动的、实时的对物体进行识别、定位、追踪、监控并触发相应事件。
物联网又称“传感网”，以互联网为代表的计算机网络技术是二十世纪计算机科学的一项伟大成果，它给我们的生活带来了深刻的变化，然而在目前，网络功能再强大，网络世界再丰富，也终究是虚拟的，它与我们所生活的现实世界还是相隔的，在网络世界中，很难感知现实世界，很多事情还是不可能的，时代呼唤着新的网络技术。
无线传感网络正是在这样的背景下应运而生的全新网络技术，它综合了传感器、低功耗、通讯以及微机电等等技术，可以预见，在不久的将来，无线传感网络将给我们的生活方式带来革命性的变化。
定义：随机分布的集成有传感器、数据处理单元和通信单元的微小节点，通过自组织的方式构成的无线网络。
英文名：Wireless Sensor Networks；缩写：WSN
功能：借助于节点中内置的传感器测量周边环境中的热、红外、声纳、雷达和地震波信号,从而探测包括温度、湿度、噪声、光强度、压力、土壤成分、移动物体的大小、速度和方向等物质现象。
目前较为成型的分布式网络集成框架是EPCglobal提出的EPC网络。EPC网络主要是针对物流领域，其目的是增加供应链的可视性（visibility）和可控性（control），使整个物流领域能够借助RFID技术获得更大的经济效益。
未来世界：传感器编织的物联网。生活方式将从“感觉”跨入“感知”。在互联网时代，网络即人与人之间的信息传播，而将来，网络将是物与物之间的信息交流。物联网也叫传感网，它的运用可大到军事反恐、城建交通，小到家庭、个人。“如果在家庭中布置传感器，在外地就能知晓家中各角落的情况，如果在人体上布置传感器，医院就能随时了解其健康状况。”研究院院长刘海涛先生透露，当物联网与互联网和移动通讯网相连，就可随时随地全方位“感知”对方，人们的生活方式将从“感觉”跨入“感知”的阶段。
EPC网络的关键技术包括：
EPC编码：长度为64位、96位和256位的ID编码，出于成本的考虑现在主要采用64位和96位两种编码。EPC编码分为四个字段，分别为：①头部，标识编码的版本号，这样就可使电子产品编码采用不同的长度和类型；②产品管理者，如产品的生产商；③产品所属的商品类别；④单品的唯一编号。
Savant，介于阅读器与企业应用之间的中间件，为企业应用提供一系列计算功能。它首要任务是减少从阅读器传往企业应用的数据量,对阅读器读取的标签数据进行过滤、汇集、计算等 *** 作，同时Savant还提供与ONS、PML服务器、其他Savant互 *** 作功能。
对象名字服务，类似于域名服务器DNS，ONS提供将EPC编码解析为一个或一组URLs的服务，通过URLs可获得与EPC相关产品的进一步信息。
信息服务，以PML格式存储产品相关信息，可供其他的应用进行检索，并以PML的格式返回。存储的信息可分为两大类，一类是与时间相关的历史事件记录，如原始的RFID阅读事件（记录标签在什么时间，被哪个阅读器阅读），高层次的活动记录如交易事件（记录交易涉及的标签）等；另一类是产品固有属性信息，如产品生产时间、过期时间、体积、颜色等。
物理标示语言，PML是在XML的基础上扩展而来，被视为描述所有自然物体、过程和环境的统一标准。在EPC网络中，所有有关商品的信息都以物理标示语言PML来描述，是EPC网络信息存储和交换的标准格式。
大数据技术发展史：大数据的前世今生
今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。
因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。
当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。
如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。
我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。
Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。
同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。
这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的 *** 作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。
这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。
随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。
在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。
同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。
一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。
而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。
正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。
此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。
希望对您有所帮助！~
| （1）①人为事物的联系。②这种联系是人们按照实践的需要，在实践中，根据事物固有联系，改变事物的状态，调整原有的联系，建立起来的。 （2）对个人消费的影响：将改变人们的消费方式，提高消费的质量和水平。 对企业经营的影响：使生产管理更加科学降低生产成本，促进诚信经营，有助于树立良好的信誉和形象。 对国民经济的影响：有助于规范市场秩序，提高市场配置资源的效率；有助于提高国家的整体技术水平和创新能力，优化产业结构，促进就业。 （3）①当前国际竞争的实质是以经济和科技实力为基础的综合国力的较量。物联网对于提高我国的综合国力具有重要的战略意义。发展物联网是政府的职责所在。②政府要履行组织经济建设的职能，制定发展规划、拟定行业标准、出台相关政策，支持物联网核心技术研发和推广应用；履行组织文化建设职能，拓展教育事业，加强物联网人才培养；履行维护国家长治久安职能，保护国家和公民信息安全。 （4）文化与经济相互影响。在经济发展中，科学技术的作用日益重要，物联网的发展，带动了经济的发展，从而文化在经济发展的基础上得到发展。发展教育、科学和文化事业，是建设社会主义精神文明建设的途径。物联网的发展，对社会主义精神文明建设起到促进作用，有利于社会主义文化建设。 |
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）