New_HOI
New_verb
New_object
Paper reading：
Title: VideoBERT: A Joint Model for Videoand Language Representation Learning
Author: Chen Sun, Austin Myers, CarlVondrick, Kevin Murphy, and Cordelia Schmid
摘要：
Self-supervised learning has becomeincreasingly important to leverage the abundance of unlabeled data available on platforms likeYouTube Whereas most existing approaches learn low-level representations, wepropose a joint visual-linguistic model to learn high-level features withoutany explicit supervision In particular, inspired by its recent success inlanguage modeling, we build upon the BERT model to learn bidirectional jointdistributions over sequences of visual and linguistic tokens, derived fromvector quantization of video data and off-the-shelf speech recognition outputs,respectively We use VideoBERT in numerous tasks, including actionclassification and video captioning We show that it can be applied directly toopenvocabulary classification, and confirm that large amounts of training dataand cross-modal information are critical to performance Furthermore, weoutperform the state-of-theart on video captioning, and quantitative resultsverify that the model learns high-level semantic features
为了利用YouTube等平台上大量未标记的数据，自我监督学习变得越来越重要。现有的方法大多是学习低层表示，而我们提出了一种联合的视觉语言模型来学习高层特征，不需要任何明确的监督。特别是，受其最近在语言建模方面的成功启发，我们在BERT模型的基础上，学习了视觉和语言标记序列上的双向联合分布，它们分别来自视频数据的矢量量化和现成的语音识别输出。我们在许多任务中使用VideoBERT，包括动作分类和视频字幕。我们证明它可以直接应用于开放词汇表分类，并证实大量的训练数据和跨模式信息对性能至关重要。此外，我们在视频字幕方面的表现也超过了现有的技术水平，定量结果验证了该模型能够学习高级语义特征。
要点
摘要：
1 Youtube上存在大量的视频数据，没有标记，给自监督学习提供了大量的数据来源。（视频有语音）
2 目前存在的方法都是低层次的特征表示。本文提出的视频-语义联合模型在没有显式监督的情况下学习到了高层次的特征信息。
3 在BERT的基础上，学习视觉-语义的标记序列的双向联合分布，序列分别来自视频数据的向量量化，和现成的语音识别输出。
4 这个VideoBERT模型用于动作分类和视频字幕。
5 可以直接用于开放词汇表分类
6 实验证实了大量的训练数据和多模态对性能至关重要。数据越多效果越好，用了多模态比不是多模态的要好
7 VideoBERT在视频字幕任务上超过了state-of-the-art
8 定量结果验证了该模型能够学习高级语义特征。
Introduction：
1 深度学习可以从标记数据中学习到内容，但标记数据很难大规模获取。
2 这些方法大多侧重于低层次的特征(如纹理)和短时间尺度(如持续时间不超过一秒的运动模式)。
3 我们感兴趣的是发现高层次的语义特征，这些特征对应于在更长的时间尺度(如分钟)内展开的动作和事件，因为这样的表示对于各种视频理解任务是有用的。
4 特别地，我们提出了一种简单的方法来建模视觉域和语言域之间的关系，结合三种现成的方法:自动语音识别系统(ASR)将语音转换成文本;矢量量化(VQ)在低水平时空视觉特征中的应用以及最近提出的用于学习离散标记序列上联合分布的BERT模型。
5 我们可以执行 文本 - 视频 的预测，它可以用来自动演示一组指令(比如菜谱)，如图1和图2的顶部示例所示。
6 我们还可以执行更传统的 视频 - 文本 的任务，即对[10]进行密集的视频字幕，如图6所示。
7 我们的视频字幕方法在YouCook II数据集上达到state-of-the-art
8 该模型可以在比其他深度生成模型更高的抽象级别上生成可信的猜测，它倾向于预测场景低层次方面的细微变化，比如少量对象的位置或姿态。
9 我们在这篇论文的主要贡献是一个简单的方法来学习 高层次的视频表示 ，捕获语义上有意义和长时间序列结构。
Related Work
1 有监督学习：有很多视频表征学习的方法利用已有大量的标记数据集训练卷积神经网络达到视频分类的目的。但是这些方法需要大量的数据；数据集涉及动词和名词范围很小；目前的方法被设计出来用于表示短的视频序列，典型的就只有几秒钟。
2 相比之下，提出的方法可以关注更长的时间序列；同时不需要利用手工标记
3 无监督学习：RNN，VAE-style loss, GAN-style loss, SV2P, SVGLP, SAVP, MoCoGAN 基于gan的方法。
4 我们与无监督学习的不同之处在于，我们使用BERT模型，没有任何显式的随机潜在变量，应用于从视频中导出的视觉标记。
5 我们的模型不是像素的生成模型，而是像素衍生出来的特征的生成模型
6 自监督学习: 避免学习的困难联合模型p (x1: T),它已成为流行的学习条件的模型形式p (xt + 1: T jx1: T) 我们的信号分割成两个或多个块,如灰度、颜色、或前一帧和下一个帧
7 我们的方法是类似的，除了我们使用 量化的视觉文字 而不是像素。
8 此外，虽然我们学习了一个 集合条件分布 ，我们的模型是一个适当的 联合生成模型
Cross-modal learning
9 视频的多模态特性也成为监督学习视频表示的广泛来源，我们的论文就是建立在这个基础上的。
10 由于大多数视频包含同步的音频和视觉信号，这两种模式可以互相监督，以学习强大的自我监督视频表示。
11 在这项工作中，我们使用语音(由ASR提供接口把声音转成文字)而不是低层次声音作为跨模态监控的来源。
Natural language models
12 我们以最近在NLP社区的进展为基础，在那里，大型语言模型如ELMO[22]和BERT[6]已经为各种NLP任务显示了最先进的结果，包括单词级(例如词性标记)和句子级(例如语义分类)。
13 然后将BERT模型扩展到多语言数据的预训练
14 我们的论文建立在BERT模型的基础上，以捕获语言和视觉领域的结构。
Image and video captioning
15 最近有很多关于图像字幕的工作(例如，[11,8,15])，这是一个形式p(y|x)的模型，其中y是手动提供的字幕，x是图像。
16 也有一些工作在视频字幕，使用手动提供的时间分割或估计分段
17 我们用关节p(x|y)建模并将其应用于视频字幕，并达到最先进的结果
Instructional videos
18 各种各样的论文(例如，[16,2,10,38,39])都训练了模型来分析教学视频，比如烹饪。
19 我们不同于这项工作，我们不使用任何手动标记，我们学习了一个大规模生成模型的文字和(离散化)视觉信号。
Model
1 为了获取语序信息，我们可以给每个单词加上它在句子中的位置。
2 BERT模型学习每个单词标记和这些标记的嵌入，然后对嵌入向量求和，以获得每个标记的连续表示。
3 在实践中，我们可以通过采样位置和训练语句随机优化logloss(根据f函数预测的softmax计算)
4 我们通常不仅简单地建模扩展序列，而且对两个句子之间的关系(是连续的，还是随机选择的两个句子)
5 通过将两个句子连接在一起，BERT可以被扩展成两个句子的模型。
6 对应的关节模型可表示为p(x;y;c)，其中x是第一个句子，y是第二个句子，c = {0,1}是一个标签，指示源文档中的句子是独立的还是连续的。
7 为了与原文保持一致，我们还在序列的末尾添加了一个[SEP]标记，尽管它并不是严格需要的。
8 本例中对应的类标签是c = 1，表示x和y是连续的。
The VideoBERT model
1 为了将BERT扩展到视频，我们仍然可以利用预先训练好的语言模型和可扩展的实现来进行推理和学习，我们决定进行最小的更改，并将原始的可视数据转换为离散的令牌序列。
2 为此，我们建议使用一个预先训练的模型，对来自视频的特征应用分层向量量化来生成一个“视觉词汇”序列。
3 除了简单之外，这种方法还鼓励模型在视频中关注高级语义和更长期的时间动态。
4 这与大多数现有的视频表示学习的自我监督方法形成了对比，后者学习低水平的属性，如局部纹理和动作
5 我们可以将语言语句(来自ASR视频)与视觉语句结合起来生成数据
6 虽然这个完形填空任务很自然地扩展到语言和视觉标记序列，但是应用下一个句子预测任务(如BERT所使用的)就不那么直接了。
7 我们提出了一个语言-视觉对齐任务，其中我们使用[CLS]标记的最终隐藏状态来预测语言句子是否与视觉句子在时间上对齐。
8 请注意，这是语义关联的一个嘈杂指标，因为即使在教学视频中，说话者可能指的是一些视觉上不存在的东西。
9 为了解决这个问题，我们首先将相邻的句子随机连接成一个长句子，这样即使两个句子在时间上没有很好的对齐，模型也可以学习语义对应。
10 其次，因为即使是相同的动作，不同视频之间的状态转换速度也会有很大的差异，所以我们对视频标记随机选取1到5步的次采样率。
11 这不仅有助于模型对视频速度的变化更加健壮，而且还允许模型捕获更大时间范围内的时间动态，并学习更长期的状态转换。
12 我们把对视频和文本结合的其他方式的研究留给未来的工作。
13 总的来说，我们有三种对应于不同输入数据模式的训练机制:纯文本、纯视频和纯视频文本。
14 对于纯文本和纯视频，标准的掩码完成目标用于训练模型。
15 对于文本-视频，我们使用前面描述的语言-视觉对齐分类目标。
16 总体培训目标是个体目标的加权和。
17 文本目标迫使VideoBERT做好语言建模;视频目标迫使其学习“视频语言模型”，该模型可用于学习动态和预测;而文本-视频的客观要求它学习这两个领域之间的对应关系。
18 一旦我们训练了这个模型，我们就可以在各种下游任务中使用它，在这项工作中，我们定量地评估两个应用程序。
19 在第一个应用程序中，我们将其视为概率模型，并要求它预测或输入被掩盖的符号。
20 我们在44节中对此进行了说明，在这里我们执行“零镜头”分类。
21 在第二个应用程序中，我们提取了[CLS]令牌的预测表示(来自模型的内部激活)，并使用该密集向量表示整个输入。
22 这可以与其他特征相结合，这些特征来自于下游监督学习任务的输入。
Experiments and Analysis
1 在语言和视觉领域的深度学习模型，在不断增长的大型数据集中，一直显示出显著的性能提升。
2 例如，“大”BERT模型(我们使用的)是在BooksCorpus(8亿字)和英语维基百科(2500亿字)的连接上预先训练的。
3 wefocus on cooking videos specifically
4 不幸的是，这样的数据集相对较小，所以 我们转向 YouTube 来收集大规模的视频数据集 进行训练。
5 我们使用YouTube视频注释系统从YouTube上提取了一组公开的烹饪视频，检索与“烹饪”和“食谱”相关的主题的视频。
6 收集的视频中，删除了15分钟以上视频。最终得到213K个视频。该数据集的总持续时间为23186小时，大约966天。已有YouCook II 要大两个数量级，YouCook II 是由2K个视频组成，总时长为176个小时
7 为了从视频中获取文本，我们使用YouTube Data API[1]提供的YouTube自动语音识别(ASR)工具包来检索带有时间戳的语音信息。API返回单词序列和预测的语言类型。在312K的视频中，有180K是可以通过API检索到的ASR，预计有120K是英文的。在我们的实验中，虽然我们将 所有的视频都用于纯 - 视频目的 ，但我们只将来自 英语 ASR 的文本用于 VideoBERT 的纯 - 文本和视频 - 文本目的 。
8 我们在YouCook II数据集[38]上评估了VideoBERT，它包含了2000个YouTube视频，平均时长526分钟，总共176个小时。
9 我们使用提供的数据集分割，其中1333个视频用于培训，457个用于验证。
Video and Language Preprocessing
1 对于每个输入的视频，我们以每秒20帧的速度采样，并在视频上创建30帧(15秒)不重叠窗口的剪辑。
2 对于每个30帧的剪辑，我们应用一个预先训练的视频卷积网络来提取其特征。
3 在这项工作中，我们使用了S3D[34]，它将可分离的时域卷积添加到Inception网络[25]骨干网中。
4 我们在最终的线性分类器之前进行特征激活，然后应用3D平均池得到一个1024维的特征向量。
5 我们在动力学[9]数据集上对S3D网络进行了预培训，该数据集涵盖了来自YouTube视频的广泛 *** 作，并作为每个单独片段的通用表示。
6 我们用层次知识表示视觉特征。我们通过可视化地检查集群的一致性和代表性来调整层次级别d的数量和每级别k的集群数量。我们设置d=4, k = 12，得到124 = 20736个簇。图4说明了这个“矢量量化”过程的结果
7 对于每个ASR单词序列，我们使用一个现成的基于lstm的语言模型添加标点符号，从而将单词流分解为句子。对于每个句子，我们遵循BERT[6]中的标准文本预处理步骤，并将文本标记为单词[33]。我们使用BERT的作者提供的相同词汇表，其中包含30,000个令牌
8 不像语言可以自然地分解成句子，它不清楚如何将视频分解成语义连贯的片段。我们使用一个简单的启发式方法来解决这个问题:当一个ASR语句可用时，它与开始和结束时间戳相关联，并且我们将属于那个时间段的视频标记作为一个片段。当ASR不可用时，我们简单地将16个令牌视为一个段。
Model Pre-training
1 我们从文本预先训练的checkpoint 初始化BERT权重。具体来说，我们使用由[6]的作者发布的BERTLARGE模型，使用相同的主干架构:它有24层Transformer块，每个Transformer块有1024个隐藏单元和16个self-attention
head。
2 我们为每个新的“可视单词”在单词嵌入查找表中添加了20736个条目，从而增加了对视频标记的支持。我们使用S3D特性从相应的簇中心初始化这些条目。输入嵌入在训练前被冻结。
3 我们的模型训练过程在很大程度上遵循BERT的设置:我们在Pod配置中使用了4个Cloud
TPUs，总批处理大小为128，我们训练了50万个迭代，或大约8个epoch的模型。我们使用Adam优化器，初始学习率为1e-5，线性衰减学习率计划。培训过程大约需要2天。
Zero-shot action classification
1 一旦pretrained, VideoBERT模型可以用于“zero-shot”分类新数据集,如YouCook
II(通过“zero-shot”我们指的是模型不是对准YouCook II具有相同标签的数据也没有本体用于YouCook II)。更确切地说,我们要计算p (y|x)其中x是视觉符号序列,y是一个序列的单词。由于模型被训练来预测句子，我们将y定义为固定的句子，“现在让我向您展示如何[屏蔽][屏蔽]”，并分别从第一个和第二个屏蔽槽中预测的标记中提取动词和名词标签。
2 为了进行定量评估，我们使用了YouCook II数据集。在[37]中，作者为YouCook II的验证集收集了63个最常见对象的ground truth边界框。然而，对于行为没有ground truth标签，许多其他常见对象也没有标签。因此，我们收集来自ground truth标题的动作和对象标签来解决这个缺点。我们在ground truth标题上运行一个现成的词性标记来检索100个最常见的名词和45个最常见的动词，并使用它们来派生ground truth标签。虽然VideoBERT的词块词汇表为它提供了有效执行开放词汇表分类的能力，但它因此更有可能做出语义上正确的预测，而这些预测并不完全符合更有限的ground true。因此，我们报告了排名前1和前5的分类准确性指标，后者旨在缓解这个问题，我们将更复杂的评估技术留给未来的工作。最后，如果有一个以上的动词或名词与一个视频片段相关联，我们认为预测是正确的，如果它符合其中任何一个。我们报告了YouCook II验证集的性能
3 我们也使用来自文本BERT模型的先验语言，这在烹饪视频中没有得到很好的调整。我们可以看到VideoBERT比两个基线都好得多。正如所料，VideoBERT的语言先验适用于烹饪句子，并且优于vanilla BERT模型。
4 然后，我们与使用YouCook II的训练分割训练的完全监督分类器进行比较。我们使用预先计算好的S3D特性(与VideoBERT的输入相同)，随着时间的推移应用平均池，然后使用线性分类器。表1显示了结果。正如我们所看到的，supervised framework在动词准确性方面超过了VideoBERT，这并不奇怪，因为VideoBERT拥有一个非常开放的词汇表。(有关 *** 作标签的模糊性，请参见图5。)然而，排名前5的精度指标显示，VideoBERT在没有使用任何来自YouCook II的监督的情况下，实现了与完全监督的S3D基线相当的性能，这表明该模型能够在这种“0次学习”设置下进行竞争。
Benefits of large training sets
1 我们还研究了训练前数据集大小的影响。在这个实验中，我们从训练前的视频集中随机选取10K、50K和100K的子集，使用与上面相同的设置，对相同的epoch进行训练前的VideoBERT。表2显示了性能。我们可以看到， 准确性随着数据量的增加而单调增加，没有饱和的迹象 。这表明VideoBERT可能会受益于更大的训练前数据集。
Transfer learning for captioning
1 我们进一步证明了VideoBERT作为特征提取器的有效性。
2 我们使用与他们相同的模型，即变压器编码器-解码器，但我们将编码器的输入替换为上面描述的VideoBERT派生的特性。
3 我们还将视频沙漠功能与平均汇集的S3D功能连接起来;作为基准，我们也考虑只使用S3D功能而不使用VideoBERT。
4 我们设置transformer层数为2，隐藏单元大小为128，dropout
rate为04。我们在训练分割上使用5倍交叉验证来设置超参数，并在验证集上报告性能。我们训练了批大小为128的40K迭代的模型。我们使用相同的亚当优化在VideoBERT前训练，并设置初始学习率为1e-3与线性衰减时间表。
Discussion and conclusion
1 使用空间细粒度的视觉表示非常重要，而不是只在框架或剪辑级别工作，这样我们就可以区分单个对象及其属性。
2 我们计划在其他视频理解任务和烹饪之外的其他领域评估我们的方法。功能来讲：有灯光、空调、窗帘、家庭安防、背景音乐、家庭影院、多媒体、家庭环境控制等
智能家居作为家庭信息化的实现方式已成为社会信息化发展的重要组成部分，物联网因其巨大的应用前景，将是智能家居产业发展过程中一个比较现实的突破口，对智能家居产业的发展具有重大意义。南京邮电大学无线传感器网络研究中心主任、博士生导师王汝传认为“无线智能家居系统是物联网应用的一个具体领域。”这意味着，物联网大潮将会把无线射频的智能家居系统推到一个史无前例的市场高度。
家居智能化技术起源于美国，在家居智能化发展过程中美国最具代表性的传输技术是X-10技术。通过X-10通信协议，网络系统中的各个设备可实现资源的共享。因其布线简单、功能灵活，扩展容易而被人们广泛接受和应用。但就实际情况来看，却远不如想象中乐观。首先迎面而来的便是技术问题。尽管标榜着智能化住宅的建设投资和数量逐步增长，但是建筑本身却存在许多问题，如工程建设水平、工程质量不高，智能系统名不副实、 *** 作复杂，局部家居智能化等等。而物联网的到来，突破了原有的技术瓶颈，赋予了每件物品“生命”，让家居中的产品更加“人性化”。
众所周知，物联网基于IPv6技术的特性，使得每一个物体都可以获得一个IP地址，IPv6将把现实世界的部分关系在互联网上实 现，它的发展是有生命的。IPv6将现实世界的生命体在网上体现出来，是生命与生命之间的联系，人与设备和世界的联系。使得设备更具人性化，更能随着人们的想法而变化，这大大推进了智能家居的发展速度。
众所周知，组成智能家居系统离不开家庭自动化、家庭网络、网络家电、信息家电这四大产品组合。家庭自动化（HomeAutomation）是指利用微处理电子技术，来集成或控制家中的电子电器产品或系统，例如：照明灯、咖啡炉、电脑设备、保安系统、暖气及冷气系统、视讯及音响系统等。家庭自动化系统主要是以一个中央微处理机接收来自相关电子电器产品，比如外界环境因素的变化，如太阳初升或西落等所造成的光线变化等的信息后，再以既定的程序发送适当的信息给其它电子电器产品。中央微处理机必须透过许多界面来控制家中的电器产品，这些界面可以是键盘，也可以是触摸式荧幕、按钮、电脑、电话机、遥控器等；使用者可发送信号至中央微处理机，或接收来自中央微处理机的讯号。家庭自动化是智能家居的一个重要系统，在智能家居刚出现时，家庭自动化甚至就等同于智能家居，今天它仍是智能家居的核心之一。
危机契机并存物联网大潮下的智能家居
中国物联网产业链在2009年已突破100亿元产值，2010年产值将超过200亿元。近几个月来，几起智能家居的物联网系统已推向市场。此外，众多科研机构和有实力的公司，也已经看到这个市场的广阔前景，开始研究并相继开发出相关系统和产品，进入物联网智能家居这个全新的领域，如海尔U-home、安居宝等。这块万亿计的市场蛋糕已经引来了各行各业的精英前来涉猎，智能家居行业从来未向如今这般危机、契机并存。
智能家居行业在中国乃至全世界都有广阔的前景，是一个朝阳的行业，就目前的发展趋势分析，预计在今后的几年内全世界将有近亿的家庭构建智能、舒适、高效的家居生活！我国的国家建设部计划到2010年60%以上的新房都具有一定的“智能型家居”功能。因此智能家居正在成为一个大的产业。它蕴含着巨大的市场潜力！
企业如何在未来竞争中站稳脚跟
作为一个新兴蓝海项目，物联网大潮下的智能家居发展迅速，前景不可估量，但未来竞争也将愈演愈烈，企业如何把握市场动向，如何经受的起大浪淘沙仍能站稳脚跟，分得市场一羹，已成为企业无法回避的问题。作为智能家居行业的各大厂商，要如何利用物联网这难得的发展时机，这也是值得考虑的问题。
就目前市场上智能家居厂商使用到的传输技术主要包括X10电力载波技术、无线射频技术、集中布线技术。其中无线射频技术由于布线简单，使用方便，越来越得到行业内人士的认可。从未来发展趋势来看，无线智能家居已成为发展主流。国内知名物联网专家王汝传说过，“无线智能家居系统其实是物联网应用的一个具体领域”。可见无线智能家居应该是物联网大潮中的发展趋势。在此，企业应抓住趋势动向，实时调整产业结构，为将来发展打下坚实基础。
其次，产品稳定性上，目前智能家居市场上相关的产品可以说是多种多样，各家有各家的产品技术，市场上没有一整套统一的行业标准，所以做出来的产品稳定性上存在众多的缺陷。因此也直接影响了智能家居市场，导致市场上出现了几十个甚至上百个互不兼容的产品标准，而最终受害的将是用户，同时也给厂商在生产、推销自己的产品时带来很大的困扰。这与发达国家相比，呈现出一定的滞后性。早在许多年以前，发达国家就有了智能家居的概念和标准，并随着通信技术和网络技术的发展，使传统的建筑产业和IT业有了更深的融合，推动了智能家居的前进步伐。由此可见，智能家居行业继续一套行业标准，规范智能家居的产品和市场，这其中需要国家的因素，同时也需要企业的积极参与，只有这样，我国的智能家居产业才能如火如荼的发展起来。
同时，人性化设计也是企业不得不思考的问题。虽说前一段时间在物联网概念的炒作下，智能家居引起了媒体和民众的关注，但是现有市场上如果要安装一整套智能家居系统的成本还是比较高的，在小区别墅中用的比较普遍，对于普通老百姓来说要想享受这种高科技智能生活还需要一段时间。作为智能家居厂家应该充分考虑消费者的需要，积极研发适合消费者个性化配置的产品，降低智能家居系统安装的成本，这样智能家居才能真正进入寻常百姓的生活。中国拥有13亿人口35亿家庭，如果在这个市场中，平均每家每年花费1000元，就有3500亿元的市场。事实上，市场调查数据表明，属于感性和持继性消费群体，每年在家居方面的支出人均远远不止1000元。因此，企业率先生产出个性化配置的产品，这对于如何在这个市场中站好位置，占住有利地形，关系到能否把握住一个长期的、一劳永逸的商机。
最后，跨产业的合作困难是我们不得不提及的一个问题。智能家居行业的发展，不仅仅只是安防行业的发展，它的发展同时离不开家电、IT和系统集成商的密切合作，只有这样才可以整合各自特有的优势，尽快打出一片新天地，这在某种程度上阻碍了智能家居发展的步伐。面对无限可能
的智能家居市场，企业之间应当实现跨产业合作，从真正意义上整合彼此间的优势，尽快做大做强，可以说，谁能从根本上实现跨产业合作，谁就盘踞了市场。
物联网大潮下的智能家居行业前途一片光明，未来充满无限机遇与可能，智能家居企业只有洞察发展动向，打造出超人性化的产品，从根本上实现跨产业合作，这才能经历得住大浪淘沙，未来的激烈竞争。同时，企业在自身方面，也要重视产品的质量以及最新技术的研发，在做好售后服务的同时，加强品牌的建设，争取在物联网大潮下，树立起智能家居行业内的中国制造！不同品牌机型采用的面部识别技术方案不同，面部识别效果也会不一样；目前vivo/iQOO系列手机，仅NEX双屏版采用3D人脸识别技术，其余机型均采用Face Wake面部识别，通过识别面部特征点，与录入信息进行匹配从而实现解锁。
注：3D人脸识别技术介绍：3D人脸识别技术能实现面部信息的立体捕捉，通过识别面部的立体特征，降低误识别的可能性，可带来更准确安全的识别。
最近，一直收到很多邀请，都是关于物联网专业相关的。比如："物联网专业是骗人的吗？"、“计算机科学与技术和物联网工程怎么选？”等等。
本篇文章，就简单分析一下物联网专业，算是做一个统一的回答吧。主要以物联网工程专业作为视角进行解读。
物联网工程专业是学什么的？
物联网涵盖的技术是很多的，大概包括：传感器技术、电路设计、端到端通信、嵌入式开发、网络通信、APP开发、云服务开发等等。这些特点，决定了物联网工程是一个很宽泛的专业。它需要学习的课程，大概是计算机科学与技术、电子信工程、通信工程等等的课程的综合体。需要学习的知识，还是比较杂的。物联网里面的每一项技术都会有涉猎，但都是基础知识，并不能让你聚焦于某一项物联网技术。如果想深入某一项技术，估计得是工作之后或者考研究生了。
我想设计这个专业的最大的意义就是通晓物联网所有环节，陪养物联网的复合型人才。
物联网工程专业好就业吗？
很多学物联网工程的同学问，”学物联网太杂乱了，感觉什么都学，什么也不精通，怎么办？“。
其实在大学里面，无论什么专业都是学的基础知识，并不会让你精通。只有你考研究生的时候，才会进一步选择专业方向，继续深造下去，才能谈精通的问题。
说回物联网工程专业，那它好就业吗？刚才说了，物联网工程会学到计算机、电子信息、通信工程等等的知识。所以选择面是很广的，它们毕业了能干什么，一般物联网工程的也能干什么。但是，也会缺少一些必要的知识。所以，我的建议就是，在保证拿到毕业z书的前提下，提前想好一个就业方向，比如：软件开发、电路设计等等，然后，适当的补足欠缺的知识。在毕业之前，找一家合适的实习单位，就业应该是没那么难了。这种工科专业，基础知识基本一样，课程设置只有一些细微的差别，学起来不会有太多的困难。
另外，从大势上来说，随着5G的到来，物联网会进入一个更高的发展平台，应该会有比较大的发展。前景还是不错的。
总结一下，就是物联网工程专业，就业可选择的范围很广，理论上来说是比较好就业的。
我们该如何选择专业？
我再拓展一下，很多人也在问“要不要选择物联网专业？适不适合女生”。其实，这就是一个我们如何选择专业的问题。
下面是我的不太成熟的意见：
第一步，先要看下，大学毕业以后，这个专业，可选择的职位有哪些？比如：计算机科学与技术，可选择的职位有：程序员、测试工程师、产品经理等等；
第二步，看一下这个专业和这些职位，可以从事哪些行业。以程序员来说，可以从事的行业是很多的，互联网、金融、电信等等；
第三步，查一下行业的发展前景和职位的发展前途，包括它们的工作环境，结合自身的情况，再来判断你适不适合这个专业。
总之，物联网工程专业学的博而不精，但是就业选择范围很广。适不适合，需要根据专业的可选择职位和行业前景，进行判断。
一篇文章看懂什么是NB-IoT和物联网 NB-IOT是一种物联网实现技术 同zigbee及wifi一样 属于物联网的重要分支 NB-IOT是基于基于蜂窝的窄带物联网，它拥有低功耗的特点 跟zigbee一样 但是传输速率要大于zigbee 而wifi则消耗较大的功耗 但是传输速率比它们都要大
NB-IoT是IoT领域一个新兴的技术，支援低功耗装置在广域网的蜂窝资料连线，也被叫作低功耗广域网(LPWA)。NB-IoT支援待机时间长、对网路连线要求较高装置的高效连线。据说NB-IoT装置电池寿命可以提高至至少10年，同时还能提供非常全面的室内蜂窝资料连线覆盖。
都是远距离无线传输，只是各自的应用领域不同而已。
LoRa比较适合区域网，自己管理资料，自己架设基站进行资料处理，比如一个农场、一个蔬菜基地等。
NB-IoT较适合广域网部署，应用领域比较适合广泛部署，一个特征应用比如共享单车就比较适合NB而不适合LoRa，比较像是3/4G跟WiFi的关系。
LoRa：基站需要自己管理，可以类比为自己家里WIFI路由器，手机连结WIFI上网
NB-IoT：基站运营商已经给你建好，要传输付钱即可，资料走运营商网路，可以类比为目前的手机3/4G上网
LoRa、SigFox因为出现的时间较早，且较基于授权频谱的LPWA技术更为成熟，也可以规模商用，能够满足当时部分使用者的需要，因此获得了运营商的选择。在市场上，基于非授权频谱的LPWA技术，主要是LoRa、SigFox为主。
随着技术的进步和发展，到了2016年，NB-IoT和eMTC这两项技术出现了，并且这两项技术都采用统一的3GPP标准来扩充套件物联网。这项技术具有行业标准的属性，是开放的，并且采用的技术方向是向5G进行逐步演进，标准会不断的提升和演进。
一篇文章看懂什么是工业40 这篇接地气的文章告诉你——什么叫工业40 导读：工业40到底是个啥，本来答应给他单独讲一遍，后来一想，不如整理下材料和思路，一块分享给大家，所以今天就跟大家谈谈这个神秘的工业40吧。
早年从事过工业自动化行业，后来为了赚点讲课费做零花。
工业40第一重天：智慧生产
之前我们说过，生产装置和管理资讯系统也各自连线起来，并且装置和资讯系统之间也连线起来了。你有没有觉得还缺点什么？没错，就是生产的原材料和生产装置还没有连线起来。
这个时候，我们就需要一个东西，叫做RFID，射频识别技术。估计你听不懂，简单来说，这玩意儿就相当于一个二维码，可以自带一些资讯，他比二维码牛叉的地方，在于他可以无线通讯。
我还是来描述一个场景，百事可乐的生产车间里，生产线上连续过来了三个瓶子，每个瓶子都自带一个二维码，里面记录著这是为张三、李四和王二麻子定制的可乐。
第一个瓶子走到灌装处时，通过二维码的无线通讯告诉中控室的控制器，说张三喜欢甜一点的，多放糖，然后控制器就告诉灌装机器手，“加二斤白糖！”（张三真倒霉……）。
第二个瓶子过来，说李四是糖尿病，不要糖，控制器就告诉机器手，“这货不要糖！”
第三个瓶子过来，说王二麻子要的是芬达，控制就告诉灌可乐的机械手“你歇会”，再告诉灌芬达的机械手，“你上！”
看到了，多品种、小批量、定制生产，每一灌可乐从你在网上下单的那一刻起，他就是为你定制的，他所有的特性，都是符合你的喜好的。
这就是智慧生产。
工业40第二重天：智慧产品
生产的过程智慧化了，那么作为成品的工业产品，也同样可以智慧化，这个不难理解，你们看到的什么智慧手环、智慧脚踏车、智慧跑鞋等等智慧硬体都是这个思路。就是把产品作为一个数据采集端，不断的采集使用者的资料并上传到云端去，方便使用者进行管理。
德美工业40和工业网际网路的核心分歧之一，就是先干智慧工厂，还是先搞智慧产品。德国希望前者，美国希望后者。至于中国，我们就搞加，还是加这个东西好，正加反加都行。
工业40第三重天：生产服务化
刚才说了，智慧产品会不断地采集使用者的资料和状态，并上传给厂商，这个就使一种新的商业模式成为可能，向服务收费。我好多年前在西门子的时候，西门子就提出来向服务收费，当时我觉得这是德国佬拍脑袋想出来的傻×决定，但是现在我才明白这是若干年前就已经开始为工业40的生产服务化布局了。你对西门子的印象是什么？冰箱？你个糊涂蛋，西门子这些年已经悄然并购了多家著名软体公司，成为仅次于SAP的欧洲第二大软体公司了。
这个服务是什么呢？比如西门子生产一台高铁的牵引电机，以往就是直接卖一台电机而已，现在这台电机在执行过程中，会不断的把资料传回给西门子的工厂，这样西门子就知道你的电机现在的执行状况，以及什么时候需要检修了。高铁厂商以往是怎么做的？一刀切，定一个时间，到时间了不管该不该修都去修一下，更我们汽车保养没什么差别。现在西门子可以告诉你什么时候需要修什么时候需要养护，你要想知道，对不起，给钱。
再举个例子，智慧产品实现后，每一辆汽车都会不断地采集周边的资料，来决定自己的行驶路线，整个运输系统会完全服务化，任何人都不需要再买车，有一天也许自己开车会成为严重的违法行为，因为装置是智慧的，而人确是不可控的。
在这个阶段，所有的生产厂商都会向服务商转型。
工业40第四重天：云工厂
当工厂的两化融合进一步深入的时候，另一种新的商业模式就有要孕育而生了，这就是云工厂。
工厂里的装置现在也是智慧的了，他们也在不断地采集自己的资料上传到工业网际网路上，此时我们就可以看到，哪些工厂的哪些生产线正在满负荷运转，哪些是有空闲的。那么这些存在空闲的工厂，就可以出卖自己的生产能力，为其他需要的人去进行生产。
网际网路行业为什么发展的这么快，就是因为创业者只需要专注于产品和模式创新，不需要自己去买一个伺服器，而是直接租用云端的服务就行了。而目前工业的创业者，还是要不断地纠结于找OEM代工还是自建工厂中，这个极大地限制了工业领域的创新。当云工厂实现的时候，我预言中国的工业领域将出现一个比网际网路大百倍以上的创新和创业浪潮，那个时候这个社会的一切都将被深刻的改变。
工业40第五重天：跨界打击
网际网路行业天天说降维打击传统行业，什么谷歌小米阿里巴巴乐视，可是我告诉你，当工业40进入第五重天时，工业企业的跨界打击将比这些网际网路企业猛烈百倍。这个过程将从根本上撼动现代经济学和管理学的根基，重塑整个商业社会。
举个例子，一个生产手表的厂商，这个表每天贴着你的身体，采集你身体的各项资料，这些资料对于手表厂商也许没啥用，但是对于保险公司就是个金库，这个时候，手表厂商摇身一变，就能成为最好的保险公司。
当自动化和资讯化深度融合的时候，跨界竞争将成为一种常态，所有的商业模式都将被重塑。
工业40大圆满：黑客帝国
整个工业40过程，就是自动化和资讯化不断融合的过程，也是用软体重新定义世界的过程。
在未来，多元宇宙将在虚拟世界成为现实，一个现实的世界将对应无数个虚拟世界。改变现实世界，虚拟世界会改变；改变虚拟世界，现实世界也会改变。一切都在基于资料被精确的控制当中，人类的大部分体力劳动和脑力劳动都将被机器和人工智慧所取代，所有当下的经济学原理都将不再试用，还将有可能引发道德伦理问题。但是我相信有一些东西是不会变的，人类的爱、责任、勇敢，对未来和自由的向往，以及永无止境的奋斗。生生不息！
好吧，现在大谈黑客帝国似乎有些遥远，那就谈谈科理咨询的2016年德国汉诺威工业展与工业40标杆学习之旅吧！科理咨询带着学员都学到了什么呢？请关注随后的系列报道。
nbiot和emtc应该是比较相似，因为都基于LTE技术
而其他非LTE系列的物联网就根本不同了
NB-IoT是narrowbandinterofthings,即窄带物联网技术，是LPWA技术的一种。LTECategoryM2也被称为Narrow-BandIoT（NB-IoT）没有Cat-NB的说法
物联网《NB-IoT已经来了，LTE-V还会远吗 1、实现无人驾驶，单车智慧+汽车联网，两手都要硬
当前市场忽视了通讯网路对于无人驾驶的关键作用。之前大家讨论的更多的是单车智慧，而要实现最终的无人驾驶，必需单车智慧和汽车联网相辅相成，特斯拉事故已经说明，仅仅单车智慧是不够的。实现汽车联网的通讯网路必须具备低时延、大频宽的效能，实现车与车、车与路之间的通讯，而目前包括 NB-IoT、4G 等网路均不符合要求，必须要有专用的车联网通讯标准。
2、抢夺车联网标准，中国推出 LTE-V
中国是世界第一大的汽车市场，同时中国通讯产业又具备全球竞争力，出于通讯安全的考虑，中国工信部正在积极推动自主化的车联网标准。华为、大唐等主导的车联网标准 LTE-V 预计在 2016 下半年和 2017 上半年分步冻结，2018 年商用推广，抢在美国强制推广之前（DSRC）。同时，我国 8 月份将释出“智慧网联汽车发展技术路线图”，我们判断，LTE-V 将是其中的重要内容之一。
历史悠久：贵州茅台酒独产于中国的贵州省遵义县仁怀镇，是与苏格兰威士忌、法国科涅克白兰地齐名的三大蒸馏名酒之一，是大曲酱香型白酒的鼻祖。
品质优越：被尊为“国酒”。他具有色清透明、醇香馥郁、入口柔绵、清冽甘爽、回香持久的特点，人们把茅台酒独有的香味称为“茅香”，是我国酱香型风格最完美的典型。
一张图看懂什么是物联网
物联网是网际网路的延伸，可以说是网际网路的一种应用。物联网通过各种感知装置，如射频识别、感测器、红外等，将资讯传送到接收器，再通过网际网路传送，通过高层应用进行资讯处理，达到“感知”的目的。
一篇文章弄懂什么是虹膜识别 美国智库 Acuity Market Intelligence
曾发表过一份《生物识别的未来》报告，报告显示，虹膜识别技术将在未来10—15年迅速普及，并占全球生物特征识别16%的市场份额，虹膜识别产品总产值也将达到35亿美元。毕竟无需赘言，在智慧手机之外，未来整个IOT产业的崛起理论上都可被视作虹膜技术普及的基石——你知道，当万物互联时代来临，资料安全牵一发而动全身，人们都在企盼一种与机器更安全的互动方式。
拜好莱坞所赐，如下场景早已被视作未来理所当然的一部分：某Boss级人物神色淡定或慌张地进入实验室等神秘部门，他只需要“看一眼”萤幕即可来去自如。事实上，虹膜识别并不是一个初生事物，基于虹膜扫描识别身份的理论认知可追溯到上世纪30年代，并于90年代逐渐实现商业化落地，如今也已应用在诸如金融， ，机场和军方等现实中貌似类似“神秘部门”的地方。但如你所知，人类历史的底层驱动力永远都是技术以及让技术大范围扩散的商业，遵循着与计算机，网际网路，智慧手机等颠覆性技术的相似步伐，如今虹膜识别也正在从特定领域推广至普通消费人群之中。最直观的例子当然来自三星刚释出的Galaxy
Note7，这是虹膜识别技术第一次被添置在真正意义上的主流旗舰智慧手机之上。
在不少人看来，考虑到三星之于手机产业链的掌控力和号召力，与去年富士通ARROWS NX F-04G以及微软Lumia
950XL等小众机型对虹膜识别的仓促不同(譬如识别时间过长)，三星的入局有望起到某种带动之力——据报道，三星的加入甚至让与虹膜识别相关的企业股票也一度飘红。技术的成熟当然是另一方面。古往今来，人类一直对“精准识别身份”心向往之——而有理由相信，愈到未来，安全地告知机器“我是谁”这件事就愈加重要。
而在这件事上，至少看起来，虹膜识别可以做到更多。
你的唯一
大体而言，在所有常规生物特征识别(包括指纹，人脸，虹膜，声音，掌纹等)当中，由于虹膜自身的精准性，防伪性，唯一性，稳定性，主流学界通常认为虹膜是比指纹或者面部识别更“高阶”的识别方式，要知道，相比于指纹08%，人脸2%左右的误识率，虹膜识别低至百万分之一的误识率看起来几乎没有任何蛊惑性。
那到底何为虹膜人眼结构由巩膜，虹膜和瞳孔三部分构成，虹膜即是位于其他二者之间的圆环状部分，属于眼球中层，负责自动调节瞳孔大小，从而适应不同光照环境。而交叉错杂的细丝，斑点和条纹等细微之物构成虹膜大量独一无二的资讯特征，也因此具备了某种与生俱来的不可复制性(顺便一提，虹膜的唯一性同样存在于同卵双胞胎身上，后者DNA资讯重合度非常之高)，其复杂度远超如今在智慧手机普及的指纹识别，有研究表明，虹膜识别准确性是指纹识别的1万倍。
可想而知，细小的动态特性让伪造虹膜变得几乎不太可能，至少目前，无论照片，假眼，乃至在隐形眼镜上列印(对了，当眼球剥离人体，虹膜也会随瞳孔放大从而失去活性)，都几乎没办法欺骗机器对于主人虹膜的信赖。
而极强的稳定性是虹膜用于生物识别的另一利器。任何人在胎儿发育阶段形成之后，虹膜即终生保持不变，且几乎不会受到外部环境的干扰——在眼睑的庇护下，它不易受到外伤侵袭，更重要的是，目前看来，诸如红眼病，白内障，青光眼，沙眼结膜炎，近视眼手术这些常见的眼部侵扰都无法影响虹膜自身纹理。这意味着，虹膜不会出现指纹解锁时易磨损，灵敏度低，蜕皮或者潮溼而致使手机无法识别的困扰。
另外，最后想说，相较于指纹，虹膜中远距离的非接触式采集无疑要卫生许多。
怎么用
很好理解，虹膜识别技术能将虹膜资讯特征转为密码储存。
在具体的实现路径上，拿Note7来说，在前置镜头同侧增加了IR
LED与虹膜摄像头，在识别过程之中，前置摄像头辅助虹膜摄像头确定持机者的大体轮廓，再经由IR
LED发射红外光源(虹膜识别无法用最常见的彩色可见光感测器，要用独立的红外感测器，以保证能为暗光下使用)，虹膜摄像头通过光源扫描持机者虹膜资讯，然后将虹膜资讯转为编码，与已知密码进行比对，以最终决定是否解锁。通常来说，相比录入指纹时的繁琐，初次录入虹膜要迅捷许多，大概只需要几秒钟;而当用户试图用虹膜解锁手机时，根据视讯演示，虽不比指纹，但仍谈得上灵敏。
而直觉便知，虹膜识别的应用场景可被延伸至萤幕解锁之外，譬如Note7提出的一种场景方案是新增了一个“安全资料夹”，通过虹膜解锁存放一些包括应用，照片，便签在内的私人资料或资讯(你知道，每个人都有一些“不可告人”的小秘密)，让其独立于其他手机资料之外，唯有虹膜可以开启，算是上了份双保险。
在我看来，这一功能也在很大程度上回应了业界对于虹膜识别普及性的担忧——事实上，至少在现阶段，作为科技急先锋的虹膜识别与已然成熟的指纹识别并非取代关系，而更接近于不同场景中的互补或进阶，Note7的安全资料夹即是如此，你大可将其视作指纹之后的第二道安全防护，**里出入神秘部门也得布防重重关卡不是
嗯，在告知机器“我是谁”这件事上，人类经历了各种密码，数字证书，硬体KEY(譬如U盾)等多种方式，有理由相信，身份识别的下一幕很大程度上将由虹膜等生物特征识别完成。其实追溯人机互动历史，一个清晰的脉络是：主流计算装置的每次形态改变，必然伴随着人机互动难度下降，而随着虹膜等识别技术的完善，人类与机器之间的“信任关系”势必将迈向一个新篇章。
未来由现实铺就，而“未来已经来临”。在科技领域，未来十年将会令过去的十年黯然失色，但愿这其中会有生物识别技术很大的功劳。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）