微软 HoloLens 2 的幕后故事

华盛顿州，雷德蒙德 ——当人们第一次戴上全新HoloLens 2时，设备会自动开始识别他们：它会测量包括用户手的准确形状、精准的瞳距在内的一切数据。在英国剑桥领导HoloLens科学团队的资深科学家Jamie Shotton表示，实现这些功能的人工智能研发过程“惊人的复杂”，但如果想让使用该设备的体验变成一种“本能”体验，这些研发工作至关重要。

“我们希望用户不用专门学习，就知道如何使用HoloLens。”他补充到：“我们知道如何与现实世界中的事物进行交互：我们拿起东西，按下按钮，然后指向目标物。我们致力于将其直接转化为混合现实。”

微软于 2019年11年7日 在 纽约 宣布 HoloLens 2 正式开始向客户发货 。这款内置传感器的全息计算头戴显示设备利用人工智能代替时间和空间，创造出一个由人、位置和物体组成的混合现实，以促进我们最基本的人类冲动之一：交换知识。

微软技术院士Alex Kipman表示，我们希望这款头戴显示设备可以展示智能边缘设备的优秀能力——支持人工智能技术，即使没有稳定的互联网连接，也能收集和处理数据——并在联网时与智能云共享部分或全部数据。

不久之前，Kipman在他办公室的数字白板上勾勒了这种普适计算结构的示意图。他说：“HoloLens是微软首个基于这种世界观开发的设备。” HoloLens 2中的人工智能与微软云计算平台Azure的人工智能功能相结合，让那些需要腾出双手 *** 作的一线工作人员能够学习有助于职业发展的技能，并使地球两端说不同语言的人能够通过对物体的互通认知进行协作。

微软公司Microsoft Azure部门副总裁Julia White说：“你可以通过HoloLens做真正有趣的事，也可以通过云来做真正有趣的事。但是当这两者相结合时，你会发现，它改变了人们实际做事的方式方法。”

通过人工智能交付混合现实

为了实现与HoloLens 2的自然交互，Shotton和他的同事共同开发、训练人工智能模型，并将其部署在设备上，以跟踪人们的手部动作和视线，比如人们可以感知漂浮在自己眼前的全息影像并伸手调整大小或对其重新定位。

为了构建手部跟踪系统，该团队制作了一个带有向内指向的圆顶摄像头设备，用来记录人们各种各样的手形。之后团队会使用离线的云处理技术来构建能够代表所有人手形和动作的3D模型。通过这个3D模型，团队能够使用计算机图形来渲染逼真的合成人手图像和合成标签，从而使该模型能够适用于各种手形、姿势和运动。Shotton说：“你可以有效地生成无穷多的训练数据。”

该团队使用这些数据来训练一个紧凑型深度神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能够对来自设备的深度传感器的每一帧画面进行高效处理。当新用户戴上HoloLens 2时，系统会利用这个神经网络构建一个适合用户手掌大小的个性化3D模型，从而实现与全息影像自然交互所需的精确跟踪。

Shotton表示：“眼球追踪、全息影像和现实世界的匹配、人手的互动，所有这一切，如果没有足够的精度，根本谈不上本能自然的交互体验。”

贯穿边缘到云端的人工智能

不仅仅是手部和眼球跟踪功能，其它的智能功能，比如SLAM（同步定位与地图构建），都已经被嵌入到HoloLens 2的第二代全息处理单元中，该芯片也被称为HPU2.0。

Kipman把这种设备上的人工智能功能称作感知人工智能。他说：“感知就像爬行动物的大脑，它执行的是脑部本能、想都不用想的 *** 作。”对于人来说，这类智能使我们的心脏保持跳动、我们的肺部自主呼吸、我们的眼睛进行微跳动以测量景深。比如当我们口渴并想要喝水时，我们的眼睛会本能地测量到手举水杯到唇边的距离。

HoloLens 2上的感知人工智能使人们能够 *** 控全息影像并与之进行交互，而无需担心所谓的延迟——通常，数据传输到云端、进行处理并返回到边缘需要花数百毫秒的时间。当你在全息影像上按下一个按钮，或者用眼球在全息影像上浏览文本时，“即使几十毫秒也会产生显著的感知差异。”Shotton指出：“运转时长至关重要。”

对隐私的保护是在设备上进行本地人工智能计算的另一个原因，例如HoloLens 2用来验证客户身份的虹膜扫描信息——人们可能不希望将这类私人数据发送到云端。然而，对于许多其它类型的数据来说，将其发送到云端是有好处的：因为一旦这些数据到达云端，客户就可以利用Azure AI和混合现实服务，将他们设备上的数据与整个普适计算结构中的数据相结合，“这使很多更高级的运算和认知功能得以运行。”Kipman说。

云端协作

微软混合现实与人工智能苏黎世实验室主任Marc Pollefeys表示，智能云赋能的全息计算的一个关键优势就是，它可以与其他拥有HoloLens或类似设备的人共享信息。Pollefeys正在领导一个团队研发用于混合现实云服务的核心计算机视觉算法——Azure Spatial Anchors，该服务能够让全息影像保留并锁定在现实世界中，供任何具有适当访问权限的人查看。

比如说，Spatial Anchors技术让工厂管理者能够把全息影像放在装配线上的设备旁边，包含重要的实时 *** 作和维护信息，任何获得认证并拥有混合现实设备的工人都可以访问这些信息。

Pollefeys说：“如果我只能在我自己的设备上回看这些信息，那这样的全息影像就毫无意义。但是，如果我能够在全息影像中对现实世界进行批注和标记，并且公司里任何有访问权限的人都可以看到这些信息，那么这就实现了价值飞跃。”

为了创建这一功能，Pollefeys和他的团队开发了人工智能计算机视觉算法，该算法可处理来自传感器的数据，提取周围环境的3D几何信息，并将其整合、上传到云平台，创建出基于这些相关区域数字孪生系统或视图。

Pollefeys指出，HoloLens总是通过解读3D或空间信息的方式，了解其所在的运行环境。Azure Spatial Anchors创建、优化这些视图，并在各种设备上进行共享，这就是为什么要把来自各个设备的视图拼凑在一起并存储在云中。他说：“只在一台设备上存储这些数据是没有意义的。就好比我有一小块拼图、其他人也有一小块拼图，只有当我们把各自设备中生成的拼图整合到一起，才可以覆盖整个空间。”

随着各种支持混合现实功能的设备，包括HoloLens以及适当配置的手机、平板电脑和笔记本电脑，绘制出的环境信息不断整合，并共享在云端，这些视图将随着时间的推移变得更加详实、更加精确、更加强大。

以工厂为例，随着越来越多有访问权限的工人用自己的设备查看全息影像，工厂车间的整体视图将会不断地改进，最终完整全息影像将会被经理放置在装配线设备的上方。该功能还支持其它一些场景，例如：建筑师和客户开会时，每个参会人员都佩戴一个混合现实设备，将可以从自己的视角查看该建筑的全息3D设计图，并与之进行交互。

Julia White指出，Azure包含预构建服务，可在HoloLens和任何其它混合现实设备上，包括运行iOS和安卓 *** 作系统的智能手机和平板电脑，为这类体验编写应用程序。她指出：“这种协作体验不仅仅限于HoloLens。而且开发者在编写这些令人惊叹的应用时的成本、 *** 作难度和技能要求都随之 大大 降低。” 例如，跨设备和平台功能可以优化《我的世界：地球》的 游戏 体验。将流行的视频 游戏 与混合现实融合在一起，一个玩家可以在现实世界中搭建并放置可持久存在的虚拟结构，这样，其他玩家就可以在自己的设备上与之进行交互。

Julia White说：“我们都参与其中，因为它基于云技术，能够被各种类型的设备解读和诠释。”

以人为本的技术

Kipman指出，要想让HoloLens达到我们预想的那样去工作，支持这种体验的技术就必须以类似人类的方式来理解这个世界。因此，他和微软各个部门的同事合作，一同在这普适计算的数据网中开发、部署这些技术，并充分利用人工智能技术研究解决方案——从HoloLens 2的芯片到Azure AI和混合现实服务。

我们的目光再次回到Kipman的数字白板，他现在已经勾勒出一个普适计算的愿景，这个白板上有文字、方框、箭头，还有一幅简笔画——画中的两人在一个智能设备旁交谈。

他说，这就是普适计算的终极目标——让人们以自然的方式与他人进行交互。为了强调这一点，他特意停顿了一下，与观众进行眼神交流，并说：“希望你们能从这次的谈话中得到更多收获，因为在真实世界中大家现在就在我身边。”

他继续说道：“我们本可以通过 电话 或者Skype来交流，我甚至可以录下我的演讲，然后把磁带寄给你们。但大家没有选择这么做，而选择了面对面交流。为什么？因为这就是我们人类习惯的做事方式。”

“但这样面对面的缺点是，大家必须和我同时在同一个地点。而全息技术的力量就在于，它能够帮助我们打破空间和时间的界限。”

目前，HoloLens 2已经正式面向中国大陆地区市场发货，中国地区的设备定价为人民币27,388元。

与第一代HoloLens销售模式相比 ，新一代HoloLens 2发售时中国大陆地区将在原有微软中国官方商城的线上模式基础上，新增线下销售模式。

2015年1月，微软HoloLens横空出世。

四年后，在2月25日的MWC 2019上，“HoloLens之父”Kipman登台宣布HoloLens 2 问世。受邀出席的雷锋网(公众号：雷锋网)现场第一时间发回报道《时隔四年，HoloLens 2终于来了》。

雷锋网也整理了HoloLens 2相关资料，并第一时间采访到业界多位AR行业资深人士针对HoloLens 2的解读，并从产品、技术及产业等层面剖析HoloLens 2的影响及特别之处。

HoloLens 2：功能更强大，体验更好，价格更贵

“视场角太小、穿戴不舒服、上手有难度” 不少体验过HoloLens 1代的朋友都曾向雷锋网表达过类似感受。

随着微软大幅升级的HoloLens 2出来，上述问题似乎都有所改善，当然除了高昂的价格。

那么相比1代，HoloLens 2在参数上有哪些变化和升级？下面我们通过一张表格简单对比一下。

雷锋网整理发现，首先，HoloLens 2由此前英特尔处理器更换成了ARM架构的高通骁龙850，与此同时，微软专为HoloLens开发的HPU全息处理器也升级到2.0。

HoloLens的处理器：为何从英特尔变成了高通？

原因有几点，首先，英特尔早在2017年8月就发布公告宣布将在10月停产Atom X5-Z8100P芯片，公告表示在截止日期交付完订单产品后，这款产品永久停产。

不知是因为HoloLens价格高昂等原因导致出货量太少致使英特尔该款芯片订单太少，所以英特尔选择停产Atom X5。还是像外界猜测的那样，微软在寻求功耗更优的方案因而放弃了英特尔的方案。

雷锋网曾多次体验HoloLens 1代产品，由于眼镜前端高度集成了处理器、多摄像头和光学元件等，在使用时需处理大量3D图像数据，导致发热较严重，加之并不友好的穿戴设计，造成其佩戴的体验一直都很差。

毫无疑问， 微软HoloLens 1 是一款划时代的计算设备 ，但在体验这一点上，HoloLens所遭受的指责足以与赞美持平。所以，微软不会不明白体验的重要性。

视+AR联合创始人兼COO涂意接受雷锋网采访时认为， 微软HoloLens 此次从英特尔切换到ARM应该是为了降低功耗，让设备待机时间更长和性能更优 。他接着表示，苹果也在计划放弃英特尔，转而在其Mac系列电脑上使用ARM架构的自研芯片，由此看来在移动平台，英特尔可能将逐渐被边缘化。

AR光学模组研发商珑璟光电联合创始人王鹏告诉雷锋网，高通本来就在移动端SoC相对较强，AR眼镜是与智能手机类似的终端，微软选择高通可能单纯是因为高通的芯片性能更强也更适合移动端。

Kipman在回应HoloLens 2为何选择ARM芯片时表示，很简单，我们还没有看到哪款使用电池的移动设备不采用ARM芯片的。

高通也是有备而来。随着智能手机市场趋于饱和，VR/AR浪潮兴起，高通很早就瞄准了这块颇具潜力的市场。不管是国内还是国外，许多移动端高端VR头显纷纷选择高通平台，去年5月高通针对VR/AR市场还推出专用芯片—骁龙XR1平台，还提供专门的VR SDK供开发者使用。小米VR、HTC Vive、爱奇艺VR、Meta均在其移动头显中使用高通处理器。

显示：2倍视场角是误会？

果不其然，微软此次将视场角从34°提升至52°， 同时采用了3：2的显示比例 ，效果就是增加了纵向显示区域，人眼不用像此前要上下移动来查看未被显示出来的虚拟画面。

据外媒RoadtoVR报道，由于翻译或理解的不同，此前有部分人士将HoloLens 2发布会中的“Field of view increased more than 2X” 理解成了视场角增加了2倍多 ，但微软在这里想表达的意思是“可视区域增加2倍多”。不过微软并没有在演示中特意解释，似乎有意模糊了视场角与显示区域这两者间的区别，从而导致外界出现一些关于视场角问题的误会。

显然微软官方有意宣传显示区域增加2倍多，但RoadtoVR却质疑其中的真实性。微软在回复RoadtoVR的询问时，声称当时显示的只是一张图片，而且只是演示中的一小部分内容。RoadtoVR认为微软在对待这件事上有些不够谨慎。

关于HoloLens 2视场角的提升，视+AR联合创始人涂意认为这与微软 在2017年4月申请了一份显示方案的专利有很大关系 。

珑璟光电联合创始人王鹏告诉雷锋网，由于暂时没有看到HoloLens 2的实物，还不能确定具体原因。但从光学模组层面来看， 他猜测应该是设计和生产工艺的进步，用了一些特殊的方法实现了扩瞳，因为HoloLens 2用的还是第一代的浮雕光栅技术 。

他介绍说，HoloLens使用的光学是全息光波导（又叫全息光栅，全息光栅光波导，衍射光波导），而这种全息光波导的实现方式包括布拉格光栅、浮雕光栅。

至于如何判断HoloLens 2用的还是第一代的浮雕光栅技术，王鹏解释称，根据网上流传的HoloLens 2产品照片来看，其中有很明显的彩虹反射，而采用浮雕光栅技术就会很明显能看到彩虹一样的反光。

此外，HoloLens 2还新增加了眼球追踪功能，这是1代所没有的技术。但是眼球追踪和注视点渲染技术早已在其他VR/AR产品中应用，注视点渲染技术在VR设备中多用于 游戏 和视频渲染。

炫酷的眼球追踪和手势识别

经常被拿来与HoloLens 1做对比的 Magic Leap One也内置了眼球追踪功能 。据青亭网报道，Magic Leap One除了通过多焦点自动测量瞳距外，还具有重新聚焦窗口的功能。这点类似 游戏 笔记本中配备的Tobii设备，当眼镜聚焦在哪个区域时，鼠标会自动移动到此位置，或者重新进行聚焦等 *** 作。

HoloLens 2中的眼球追踪与上述提到的类似，除了测瞳距自动微调图像显示位置外，还可以描虹膜解锁设备登录Windows Hello 、帮助用户与全息内容直接交互。 Kipman还表示，HoloLens 2的眼球追踪能够观察人眼微弱的变化，从而感知和预测人的情绪 。

涂意告诉雷锋网，从发布会现场看，眼球追踪的演示效果很精准，这改善了上一代必须在视野正中央选中目标的尴尬交互，更加符合人的本能习惯也更像鼠标的体验，极大的提升用户交互体验和使用效率。

可圈可点的升级还有手部全节点追踪，据青亭网报道， 微软将手势追踪模块升级为Azure Kinect，实现双手全关节模型追踪，覆盖到每根手指，单手追踪最多25个关节点，密度更高 。举个例子，你可以用双手在“空气”中d奏钢琴，或者触摸 *** 控全息图像，做放大缩小拖拽等动作。

佩戴设计更人性

HoloLens 2 使用了碳纤维材料，别看2代的重量没有下降多少，但是HoloLens 2头戴的整体设计更加人性科学，佩戴体验有了不小提升。

其一是， 微软将HoloLens 2的电池模块移至眼镜后端 ，从而减轻眼镜前后两端重量失衡的问题，并增加了支撑受力面积，这样就不会出现1代那样因为重量失衡对人脑的异常压迫感，前端还增加额头面罩，舒适性有所提升。据雷锋网了解， 爱奇艺VR曾在去年发布的VR一体机上采用了电池模块后置的设计 。

其二是， HoloLens 2借鉴了在MR头显上的翻转设计 ，意义在于用户能随时能把眼镜翻开直接回到现实世界。这个贴心设计在许多场景下提升了用户体验例如减轻长时间佩戴产生的压迫感、通风排汗、缓解眼疲劳等等。

“翻盖结构挺好的，很实用，感觉微软是实际对工业场景做过功课的。而且又提出了很多高度定制化的方案。看得出微软对B端市场的决心，因为B端市场的特点就是高度定制化，很多特殊的需求是很细微的。因为一款产品打不了所有B端市场。”珑璟光电联合创始人王鹏如此评价。

最后，除了价格令某些业内人士感到过高外，还有就是微软并没有过多提及在本届MWC上大热的5G技术，国内外不少智能手机品牌均将支持5G作为产品的重要卖点之一。

“3500美元这个价格大家可能依旧很难接受，与1代一样，最后还是被少数公司、开发者和高校，包括我们这种光学公司买单。但是相比较实际销量，HoloLens这款产品对于微软的战略意义大于实际营收意义”王鹏告诉雷锋网，最后他又强调“即使是B端我也觉得很难接受这个价格”。

“ 很大的遗憾就是HoloLens 2没有支持5G ，如果直接支持5G加上云渲染，我相信它在很多非企业应用会有特别好的效果，比如 旅游 ”视+AR联合创始人兼COO涂意认为，因为微软缺位智能手机时代，所以并没有推出连接智能手机的外设式AR眼镜，而这一块的市场还很大，这也让我觉得挺遗憾的，不过这可能是苹果、Google、华为或者创业公司的一些机会。

雷锋网也注意到HoloLens 2在系统、摄像头、分辨率等方面做了许多提升，这些配合前面提到的重要功能和体验的升级，就将HoloLens 2打造成了一款强大的“生产力工具”。

显然微软并不满足于将其定义为一款硬件设备，所以在发布会上，主角还有微软Azure云。

硬件只是载体，微软真正的目标是云服务

在HoloLens 2的发布会上，微软 CEO萨提亚·纳德拉在演讲开始就强调了智能云（Intelligent Cloud）和智能端（Intelligent Edge）的重要性。毫无疑问，智能云微软有Azure ，智能端则有HoloLens。

因为Azure，连早已被放弃的体感外设Kinect都被复活了。随后，微软公司全球副总裁Julia White 登台发布一款开发者工具包—Azure Kinect DK，售价 399 美元。据雷锋网了解，Azure Kinect DK与HoloLens 2一样，拥有 TOF 深度传感器、高清 RGB 摄像头，以及一个七麦克风圆形阵列，重点是它能通过Azure云端获取视觉和语音计算能力。

官方表示，Azure Kinect是一款智能边缘设备，能够感知周围的人、环境、物体和动作。这样看来，Azure Kinect更像是一个简化版HoloLens ，价格更便宜，这点对于某些开发者来说，还是挺有吸引力的，如果他们恰好并不需要HoloLens 2某些功能，Azure Kinect是很好的第二选择。

与此前仅被当作Xbox的一款消费级体感外设不同，此次升级后的Azure Kinect定位与HoloLens 2一样， 也是聚焦于B端应用场景。

微软现场展示了几个应用案例，例如利用Azure Kinect开发的病房监控系统，当Azure Kinect感知到病人存在摔倒的可能性时，会及时通知护士赶到病人身边。

Azure 能让 Kinect“起死回生”，同样也能让HoloLens 走的更远。

Azure Spatial Anchors（可以理解为一个AR Cloud）能够帮助企业和开发者在混合现实程序中，精准映射、指定和调用可在HoloLens、iOS和安卓平台上访问的点。言外之意，就是它能支持其他两个重要的AR平台—谷歌ARCore和苹果ARKit。从中能够看出微软采取了更加开放的策略，这点对在不同的AR平台创造内容和协作的开发者来说，还是颇为受用。

Azure Spatial Anchors可以与ARKit和ARCore结合使用，这点出乎了涂意的意料 。他认为这验证了未来会有一个跨平台的AR Cloud服务存在。而云服务是微软的战略，微软会重点去卖他们的Azure云服务。

他进一步解释，随着5G技术的发展，未来的趋势是向云端发展，以后的硬件会越来越“瘦”，很多计算会放到云端。而HoloLens 2也注意到这个趋势，在发布会上明确发布了两个版本，其中一个就是包含云端渲染服务的版本，未来一定是云的销售大于硬件的销售，这是很重要的。 微软Azure云也希望硬件终端能构建AR Cloud，也就是Spatial Anchors ，地图数据将会成为云服务的重要一环，还有云渲染服务也会降低硬件的运算负荷。

微软在现场演示了如何跨平台跨设备与HoloLens 2进行协作和交互， 此前微软展示更多的是HoloLens设备之间以及与微软其他终端之间的互相协作 。现场，一个工作人员演示了怎么通过苹果iPad，利用ARkit与头戴HoloLens 2的Kipman协作研究一台虚拟工业设备。

Azure Remote Rendering可以帮助人们在不降低图像质量的情况下体验3D内容，这点适合在智能手机与MR设备交互时的场景使用。而该服务将在云端渲染高质量的 3D 内容，并将在每个细节都完好无损的情况下实时传输到边缘设备。

HoloLens软硬件技术再强大，可能也就是一款高 科技 “玩具”，但微软给它插上了Azure 云的翅膀。通过终端+云的战略，聚焦B端应用场景，再整合各种技术服务，一个围绕HoloLens的商业生态的雏形初现。

微软对于B端商业场景的重视，早在去年5月HoloLens入华商用一周年活动上展露无遗。微软在其北京总部向媒体展示 HoloLens及混合现实技术入华一年来取得的发展情况。官方重点介绍了来自建筑设计、医疗 健康 、 汽车 制造、教育行业的商业用户及合作伙伴，并展示众多面向不同行业用户量身定制的解决方案和实践案例。

外界越发感到微软的开放节奏在加快，尤其是在HoloLens的生态上。

发布会接近尾声时，Kipman身后的大屏幕打出了一个大大的“Open” 。他介绍了微软混合现实生态的开放原则共包含三个部分：开放应用商店、开放浏览器平台和开放API和底层平台。这是否让你联想到Windows PC或IOS、 Android生态？

Mozilla基金会将会把火狐浏览器的原型引入 HoloLens 2，而 Epic Games 创始人兼 CEO Tim Sweeney 来到现场并宣布，Unreal Engine 4 即将支持 HoloLens。

务实路线：把HoloLens打造成一款合格的生产力工具

在开放的PC时代和封闭的智能手机时代之后，Kipman认为世界将进入“计算的第三个时代”，所以微软这些年来一直在变化，也更加开放，目的就是要构建一个围绕混合现实的统一架构平台。

同样这么想的可能还有谷歌与苹果，只不过微软稍微走得远了一点。

“目前来看，微软HoloLens 2是唯一一个可以形成开放平台的AR硬件，其他AR硬件创业公司基本都是自己做硬件、做应用，没有办法形成生态，现在只有微软做到了，这对HoloLens 2的意义是非凡的。”涂意告诉雷锋网。

另一位业内资深人士向雷锋网谈了谈自己的感受，从硬件层面看，他觉得HoloLens 2的形态更成熟，虽然这次没有超乎想象的黑 科技 ，但是更合理。 微软走了务实路线，一切设计都向实际应用场景服务 。

“从行业生产力工具的角度看，某种意义上看是推动了MR生态的起步，这点很重要。HoloLens 2开始正儿八经地提供价值。”他总结道， HoloLens 2已经是一款合格的生产力工具 。

个人消费者往往喜欢追逐黑 科技 ，与1代对比，官方并没有强调太多黑 科技 的点。因为微软对于HoloLens 2的定位更加清晰，就是专为B端打造的，B端要的就是体验稳定、功能好用的服务。

所以，黑 科技 的预期就留给其他的吧，最后这位业内人士调侃道。

---