目前市面上的智能眼镜品牌和型号比较多,根据一些消费者的反馈和专业评测,以下是几款2022年高性价比的智能眼镜推荐:
1 微软 HoloLens 2:作为一款专业级别的增强现实智能眼镜,HoloLens 2 可以实现高清的 3D 显示和手势交互,非常适合用于工业制造、医疗保健和教育等领域,性能非常出色。
2 Vuzix Blade:Vuzix Blade 是一款消费级别的智能眼镜,采用了 5MP 摄像头和麦克风,支持 Alexa 助手和 AR 技术,可以用于语音控制、智能导航、拍照等功能。
3 North Focals 20:作为一款时尚的智能眼镜,North Focals 20 可以实现类似于智能手表的通知提醒、天气预报、语音控制等功能,同时配备了高清镜片和微型投影器,支持自定义界面和手势控制。
4 RealMax Qian:作为一款全息投影智能眼镜,RealMax Qian 可以实现非常逼真的 AR 体验,支持手势和语音控制,可以用于游戏、**和教育等多种场景。
以上是一些2022年较为推荐的智能眼镜,不同的品牌和型号有各自的优缺点,需要根据自己的需求和预算进行选择。
先说一下我关于Magic Leap的信息来源:
1、2014年11月10日,Magic Leap在2014年9月融了5个亿以后,来Stanford招人,开了一个Info Session,标题是“The World is Your New Desktop”(世界就是你的新桌面)多么霸气!当时是Magic Leap感知研究的高级副总裁(VP of Perception)Gary Bradski和计算视觉的技术负责人(Lead of Computer Vision)Jean-Yves Bouguet来作演讲。Gary是计算机视觉领域的****,在柳树车库(Willow Garage)创造了OpenCV(计算视觉工具库),同时也是Stanford顾问教授。Jean-Yves原来在Google负责谷歌街景车(Street View Car)的制造,是计算视觉技术的大牛。他们加入Magic Leap是非常令人震惊的。我参加了这次Info Session,当时Gary来介绍Magic Leap在感知部分的技术和简单介绍传说中的数字光场Cinematic Reality的原理,并且在允许录影的部分都有拍照记录。本文大部分的干货来自这次演讲。
2、我今年年初上了Stanford计算摄影和数字光场显示的大牛教授Gordon Wetzstein的一门课:EE367 Computational Imaging and Display(计算影像和显示器):其中第四周的Computational illumination,Wearable displays和Displays Blocks(light field displays)这三节都讲到Magic Leap的原理。现在大家也可以去这个课程网站上看到这些资料,EE367 / CS448I: Computational Imaging and Display
顺便介绍一下Gordon所在的Stanford计算图形组,Marc Levoy(后来跑去造Google Glass的大牛教授)一直致力于光场的研究,从Marc Levoy提出光场相机,到他的学生Ren Ng开创Lytro公司制造光场相机,到现在Gordon教授制造光场显示器(裸眼光场3D显示器),这个组在光场方面的研究一直是世界的领头羊。而Magic Leap可能正在成为光场显示器的最大应用。(相关内容可参考:Computational Imaging Research Overview)
3、今年参加了光场影像技术的研讨会Workshop on Light Field Imaging ,现场有很多光场技术方面的展示,我和很多光场显示技术的大牛交流了对Magic Leap的看法。特别的是,现场体验了接近Magic Leap的光场技术Demo,来自Nvidia的Douglas Lanman的Near-Eye Light Field Displays 。(相关内容可参考:Near-Eye Light Field Displays)
4、今年年中去了微软研究院Redmond访问,研究院的首席研究员Richard Szeliski(计算机视觉大神,计算机视觉课本的作者,Computer Vision: Algorithms and Applications)让我们试用了Hololens。感受了Hololens牛逼无比的定位感知技术。有保密协议,本文不提供细节,但提供与Magic Leap原理性的比较。
下面是干货:
首先呢,科普一下Magic Leap和Hololens这类AR眼镜设备,都是为了让你看到现实中不存在的物体和现实世界融合在一起的图像并与其交互。从技术上讲,可以简单的看成两个部分:
对现实世界的感知(Perception);
一个头戴式显示器以呈现虚拟的影像 (Display) 。
我会分感知部分和显示部分来分别阐释Magic Leap的相关技术。
一、显示部分
先简单回答这个问题:
Q1 Hololens和Magic Leap有什么区别?Magic Leap的本质原理是什么?
在感知部分,其实Hololens和Magic Leap从技术方向上没有太大的差异,都是空间感知定位技术。本文之后会着重介绍。Magic Leap与Hololens最大的不同应该来自显示部分,Magic Leap是用光纤向视网膜直接投射整个数字光场(Digital Lightfield)产生所谓的Cinematic Reality(**级的现实)。Hololens采用一个半透玻璃,从侧面DLP投影显示,虚拟物体是总是实的,与市场上Espon的眼镜显示器或Google Glass方案类似,是个2维显示器,视角还不大,40度左右,沉浸感会打折扣。
本质的物理原理是:光线在自由空间中的传播,是可以由4维光场唯一表示的。成像平面的每个像素中包含到这个像素所有方向的光的信息,对于成像平面来讲,方向是二维的,所以光场是4维的。平时成像过程只是对四维光场进行了一个二维积分(每个像素上所有方向的光的信息都叠加到一个像素点上),传统显示器显示这个2维的图像,是有另2维方向信息损失的。而Magic Leap是向你的视网膜直接投射整个4维光场, 所以人们通过Magic Leap看到的物体和看真实的物体从数学上是没有什么区别的,是没有信息损失的。理论上,使用Magic Leap的设备,你是无法区分虚拟物体和现实的物体的。
使用Magic Leap的设备,最明显的区别于其他技术的效果是人眼可以直接选择聚焦(主动选择性聚焦)。比如我要看近的物体,近的物体就实,远的就虚。注意:这不需要任何的人眼跟踪技术,因为投射的光场还原了所有信息,所以使用者直接可以做到人眼看哪实哪,和真实物体一样。举个例子:在虚拟太阳系视频的27秒左右(如下面这个gif图),摄影机失焦了,然后又对上了,这个过程只发生在摄影机里,和Magic Leap的设备无关。换句话说,虚拟物体就在那,怎么看是观察者自己的事。这就是Magic Leap牛逼的地方,所以Magic Leap管自己的效果叫Cinematic Reality。
Q2 主动选择性聚焦有什么好处?传统的虚拟显示技术中,为什么你会头晕?Magic Leap是怎么解决这个问题的?
众所周知,人类的眼睛感知深度主要是靠两只眼睛和被观察物体做三角定位(双目定位,triangulation cue)来感知被观察物体的与观察者的距离的。但三角定位并不是唯一的人类感知深度的线索,人脑还集成了另一个重要的深度感知线索:人眼对焦引起的物体锐度(虚实)变化(sharpness or focus cue) 。但传统的双目虚拟显示技术(如Oculus Rift或Hololens)中的物体是没有虚实的。举个例子,如下图,当你看到远处的城堡的时候,近处的虚拟的猫就应该虚了,但传统显示技术中,猫还是实的,所以你的大脑就会引起错乱,以为猫是很远的很大的一个物体。但是这和你的双目定位的结果又不一致,经过几百万年进化的大脑程序一会儿以为猫在近处,一会儿以为猫在远处,来来回回你大脑就要烧了,于是你要吐了。而Magic Leap投影了整个光场,所以你可以主动选择性聚焦,这个虚拟的猫就放在了近处,你看它的时候就是实的,你看城堡的时候,它就是虚的,和真实情况一样,所以你不会晕。演讲中Gary调侃对于Jean-Yves这种带10分钟Oculus就吐的家伙来说,现在他一天带16个小时Magic Leap都不会晕。
补充:有人问为什么网上说虚拟现实头晕是因为帧率不够原因?
帧率和延时虽然是目前的主要问题,但都不是太大的问题,也不是导致晕得决定性因素。这些问题用更快的显卡,好的IMU和好的屏幕,还有头部动作预测算法都能很好解决。我们要关心一些本质的晕眩问题。
这里要说到虚拟现实和增强现实的不同。
虚拟现实中,使用者是看不到现实世界的,头晕往往是因为人类感知重力和加速度的内耳半规管感受到的运动和视觉看到的运动不匹配导致的。所以虚拟现实的游戏,往往会有晕车想吐的感觉。这个问题的解决不是靠单一设备可以搞定的,如果使用者的确坐在原定不动,如果图像在高速移动,什么装置能骗过你的内耳半规管呢?一些市场上的方案,比如Omni VR,或者HTC Vive这样的带Tracking的VR系统让你实际行走才解决这个不匹配的问题,但这类系统是受场地限制的。不过THE VOID的应用就很好的利用了VR的局限,不一定要跑跳,可以用很小的空间做很大的场景,让你以为你在一个大场景里就好了。现在大部分虚拟现实的体验或全景**都会以比较慢得速度移动视角,否则你就吐了。
但是Magic Leap是AR增强现实,因为本来就看的到现实世界,所以不存在这个内耳半规管感知不匹配的问题。对于AR来讲,主要挑战是在解决眼前投影的物体和现实物体的锐度变化的问题。所以Magic Leap给出的解决方案是很好地解决这个问题的。但都是理论上的,至于实际工程能力怎么样就靠时间来证明了。
Q3 为什么要有头戴式显示器?为什么不能裸眼全息?Magic Leap是怎么实现的?
人类希望能凭空看到一个虚拟物体,已经想了几百年了。各种科幻**里也出现了很多在空气中的全息影像。
但其实想想本质就知道,这事从物理上很难实现:纯空气中没有可以反射或折射光的介质。显示东西最重要的是介质。很多微信上的疯传,以为Magic Leap不需要眼镜,我估计是翻译错误导致的,视频中写了Shot directly through Magic Leap tech,很多文章错误的翻译成“直接看到”或“裸眼全息",其实视频是相机透过Magic Leap的技术拍的。
目前全息基本还停留在全息胶片的时代(如下图,我在光场研讨会上看到的这个全息胶片的小佛像),或者初音未来演唱会那种用投影阵列向特殊玻璃(只显示某一特定角度的图像,而忽略其他角度的光线)做的伪全息。
Magic Leap想实现的是把整个世界变成你的桌面这样的愿景。所以与其在世界各个地方造初音未来那样的3D全息透明屏做介质或弄个全息胶片,还不如直接从人眼入手,直接在眼前投入整个光场更容易。其实Nvidia也在做这种光场眼镜。
Nvidia采用的方法是在一个二维显示器前加上一个微镜头阵列Microlens array来生成4维光场。相当于把2维的像素映射成4维,自然分辨率不会高,所以这类光场显示器或相机(Lytro)的分辨率都不会高。本人亲测,效果基本就是在看马赛克画风的图案。
而Magic Leap采用完全不同的一个方法实现光场显示,它采用光纤投影。不过,Magic Leap用的光纤投影的方式也不是什么新东西。在Magic Leap做光纤投影显示(Fiber optic projector)的人是Brian Schowengerdt,他的导师是来自华盛顿大学的教授Eric Seibel,致力于做超高分辨率光纤内窥镜8年了。简单原理就是光纤束在一个1mm直径管道内高速旋转,改变旋转的方向,然后就可以扫描一个较大的范围。Magic Leap的创始人比较聪明的地方,是找到这些做高分辨率光纤扫描仪的,由于光的可逆性,倒过来就能做一个高分辨率投影仪。如图,他们6年前的论文,1mm宽9mm长的光纤就能投射几寸大的高清蝴蝶图像。现在的技术估计早就超过那个时候了。
而这样的光纤高分辨率投影仪还不能还原光场,需要在光纤的另一端放上一个微镜头阵列microlens array,来生成4维光场。你会疑问这不就和Nvidia的方法一样了么?不,因为光纤束是扫描性的旋转,这个microlens array不用做得很密很大,只要显示扫描到的区域就好了。相当与把大量数据在时间轴上分布开了,和通讯中的分时一样,因为人眼很难分辨100帧上的变化,只要扫描帧率够高,人眼就分辨不出显示器是否旋转显示的。所以Magic Leap的设备可以很小,分辨率可以很高。
他本人也来Stanford给过一个Talk,Near-to-Eye Volumetric 3D Displays using Scanned Light。这个Talk讲的应该就是Magic Leap早期的原型。(相关内容可参考: Fiber Scanned Displays)
二、感知部分
Q4 首先为什么增强现实要有感知部分?
是因为设备需要知道自己在现实世界的位置(定位),和现实世界的三维结构(地图构建),才能够在显示器中的正确位置摆放上虚拟物体。举个最近的Magic Leap Demo视频的例子,比如桌子上有一个虚拟的太阳系,设备佩戴者的头移动得时候,太阳系还呆在原地,这就需要设备实时的知道观看者视角的精确位置和方向,才能反算出应该在什么位置显示图像。同时,可以看到桌面上还有太阳的反光,这就要做到设备知道桌子的三维结构和表面信息,才能正确的投射一个叠加影像在桌子的影像层上。难点是如何做到整个感知部分的实时计算,才能让设备穿戴者感觉不到延时。如果定位有延时,佩戴者会产生晕眩,并且虚拟物体在屏幕上漂移会显得非常的虚假,所谓Magic Leap宣称的**级的真实(Cinematic Reality)就没有意义了。
三维感知部分并不是什么新东西,计算机视觉或机器人学中的SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)就是做这个的,已经有30年的历史了。设备通过各种传感器(激光雷达,光学摄像头,深度摄像头,惯性传感器)的融合将得出设备自己在三位空间中的精确位置,同时又能将周围的三位空间实时重建。
最近SLAM技术尤其火爆,去年到今年两年时间内巨头们和风投收购和布局了超级多做空间定位技术的公司。因为目前最牛逼的3大科技技术趋势:无人车,虚拟现实,无人机,他们都离不开空间定位。SLAM是完成这些伟大项目基础中的基础。我也研究SLAM技术,所以接触的比较多,为了方便大家了解这个领域,这里简单提几个SLAM界最近的大事件和人物:
1、(无人车)Stanford的机器人教授Sebastian Thrun是现代SLAM技术的开创者,自从赢了DARPA Grand Challenge的无人车大赛后,去了Google造无人车了。SLAM学术圈的大部分研究派系都是Sebastian徒子徒孙。
2、(无人车)Uber在今年拿下了卡耐基梅隆CMU的NREC(国家机器人工程研发中心),合作成立高等技术研发中心ATC。这些原来做火星车的定位技术的研究人员都去Uber ATC做无人车了。
3、(虚拟现实)最近Surreal Vision被Oculus Rift收购,其中创始人Richard Newcombe是大名鼎鼎的DTAM,KinectFusion(HoloLens的核心技术)的发明人。Oculus Rift还在去年收购了13th Labs(在手机上做SLAM的公司)。
4、(虚拟现实)Google Project Tango 今年发布世界上第一台到手就用的商业化SLAM功能的平板。Apple五月收购Metaio AR,Metaio AR 的 SLAM 很早就用在了AR的app上了。Intel 发布Real Sense,一个可以做SLAM的深度摄像头,在CES上Demo了无人机自动壁障功能和自动巡线功能。
5、(无人机)由原来做Google X Project Wing 无人机的创始人MIT机器人大牛Nicholas Roy 的学生Adam Bry创办的Skydio,得到A16z的两千万估值的投资,挖来了Georgia Tech的SLAM大牛教授Frank Dellaert 做他们的首席科学家。(相关内容:>
作者现在正处微软公司总部,亲身体验HoloLens 2的演示项目。通过位于地下的长长走廊,穿过一扇沉重的金属侧拉门,我在微软员工的引导下进入了这个如 汽车 生产车间般的项目所在地。这里弥漫着一股橡胶轮胎的味道。在我面前的底座上,摆有一辆ATV全地形车。另外,房间各处都堆放着工具与零件。
这时候,工作人员将一部HoloLens 2交到我手中,并提醒我如何用它学习修车。
微软公司的HoloLens终于回来了。3年前,该公司发布了这款混合现实头戴设备的初代版本,而如今的新版本已经开始接受预订,价格为3500美元,计划于今年晚些时候全面出货。通过试戴,我发现不用摘眼镜就能很轻松地将它套在头上。这种感觉有点像 配戴 一台工业工具,或者焊工面具。设备显示内容非常清晰,我进行了眼动追踪设置,眼前出现了一个网格点。我跟随着该点从一个角落看向另一个角落,又从一侧望向另一侧。整个过程完全没问题,效果也很好。据了解,接下来微软最新打造的Dynamics 365 Guides还将引导应用正式启动,负责为使用者提供使用指令集。
更确切地说,这台设备就像是拥有了实际转向指示的谷歌地图,或者是能够直接显示拼装手册的乐高产品。当我把目光移向漂浮在面前空中的一张张指示卡片时,系统就会提醒我首先要让车子保持稳定。现在,一个浮动的箭头从3D空间中延伸向前,提醒我车子上的换档部位以及我应该如何对其进行切 换。 完成之后,我眨了眨眼睛并进行下一步。接下来,我开始调整车子底部已经松掉的链条。一个长长的虚线箭头指向靠近墙壁的一只工具箱,并进一步提示使用其中的棘轮。在这一步 *** 作中我差一点抓错了,好在及时意识到箭头指向的是另一个工具。我把目光投向下一张卡片,有一条弧线向我展示了前往螺丝盒的路径,并将其拧进正确的孔位。
有时候,箭头的排列会出现一些问题。同时,我也很好奇,我会不会抓到错误的工具?如果我犯了错误,程序会及时加以纠正吗?我真的应该试着抓起错误的工具,看看设备会有什么反应——有点后悔。而且必须承认,在空间当中放置指向箭头有点像构建一个大型3D导航器,感觉上有点奇怪。在试用过程中,我不禁想到任天堂产品特别是Labo的使用经验——这是一款任天堂专门为其Nintendo Switch开发的 游戏 ,能够指导玩家通过屏幕上的指示利用精美的纸板进行创作小玩具。想象一下,配合HoloLens 2,这款 游戏 可能会到处d出指导信息,并指向玩家面前的真实物体,而且整个系统完全以3D方式呈现。这样,世界一下子变会成乐高主题套装的模样!
值得一提的是,这次试用没有出现蜘蛛织网 游戏 ,我也没有玩到《我的世界》或者《光环》。四年之前,微软公司一直在强调HoloLens当中的 游戏 载体属性,但如今微软的整体态度也发生了转变,更多地展示其在企业应用场景下的巨大潜能。HoloLens 2是一台能够切实帮助企业员工的实用性设备,这意味着AR技术开始成为员工完成工作的重要助力。这台头戴式设备非常舒适,能够提供更好的视频以及更出色的眼睛与手部追踪体验。另外,它还与更多微软云服务相关联,而这些服务又能够进一步对接各类iOS与Android应用。
我还记得去年曾在Magic Leap上体验过《查理的巧克力工厂》,而微软HoloLens 2在使用感受上就像是Magic Leap的终极追求。当然,双方可能还需要沟通以确定这项技术的下一步发展方向。
显然,增强现实技术不再只是痴人说梦。苹果与谷歌公司一直在手机领域中 探索 这一技术,而包括Magic Leap在内的不少头戴设备厂商也在努力设计出一种舒适、功能性强且能够随身携带的全息显示解决方案。
第一款HoloLens的问世更像是一项成就或者一种标志,因为它可以自成一体、不需要电线甚至完全无需接入任何设备。而微软如今推出的新一代HoloLens 2也并没有引入什么全新概念,但却确立了一款头戴式设备必须具备的三大核心要素:眼动追踪、更大的视野以及更出色的手部追踪能力。当然,它也更加舒适,而且对需要佩戴眼镜的用户非常友好(包括我本人以及我的同事们),能够让我们轻轻松松罩在眼镜之上,带来非常好的体验。另外,HoloLens当中使用了一块高通850移动处理器负责运算执行,同时还配合微软自己的AI引擎以替换上一代HoloLens所使用的英特尔处理器。
对于没有实际比较的朋友们来说,这一次的新设计在观感上似乎与上代产品没什么区别。但我得告诉大家,新一代版本明显没那么笨重,份量也确实轻了一点。通过咨询,我们确定本代版本的重量减少至566克,折合125磅。虽然相较于初代版本的579克,折合128磅,减去的重量似乎非常有限,但之所以使用感受得到极大提升,主要归功于其重心分布的大幅调整。这一次的新版本加厚了用户后脑部位的护垫,而前部布置则相对较小。如今产品的整体重心位于耳朵再靠后一点的地方,这意味着使用感受有点像“戴上一顶棒球帽”。我松开头带,将设备戴在眼镜之上,仍然没有任何问题。新的重心转换意味着我们再也不用花整整5分钟时间才找到舒服的配戴的位置。通过试用,我们觉得新版本更像是背上一个背带设计更出色的背包。
另外,新版本甚至还提供了翻盖式的显示部分设计。显示镜处能够向上掀起,用户可以轻松回归真实视觉或者更轻松地执行常规工作——此前由合作伙伴开发的微软Windows Mixed Reality品牌VR设备就一直采用这样的设计。我很喜欢这种自在的感觉,现在我可以在演示当中随时擦擦自己的眼镜,或者挠挠额头。
HoloLens 2的硬件仍然自成一体,与前代设计一样,它不需要任何额外的腰部配戴装置(Magic Leap One就使用了这样的设计)。当然,这同时意味着HoloLens的头戴本体部分要比Magic Leap One更大(后者价格为2295美元),售价也比其贵上1000多美元。这样的差价无可厚非,因为Magic Leap One逼迫我戴上隐形眼镜,或者再配一副能够与其槽位匹配的镜片——目前,Magic Leap还不支持我的这种镜片。相比之下,HoloLens 2能够直接容纳我的眼镜,我非常喜欢这样的设计。
眼动追踪并不是VR及AR当中最重要的因素,至少目前还不是。第一款HooLens并不提供眼动追踪功能。当然,Magic Leap One已经支持这项功能,HTC Vive Pro Eye以及Varjo VR-1等高端企业级VR设备也开始引入。眼动追踪功能可以识别出用户使用内置摄像头时的位置,这意味着大家不再需要移动头部。
HoloLens 2的眼动追踪主要用于两大场景:它能够测量眼球运动并借此与虚拟物体进行交互。另外,微软也开始利用新的眼动追踪摄像头进行生物识别以保障安全。HoloLens 2通过Windows Hello进行虹膜扫描,因此用户可以立即登录Windows并启动个人账户,或者借此保存自己的个人设置选项。
更令人印象深刻的是,我之前体验过的大部分眼动追踪技术都会因为配戴眼镜而受到一定影响。比如,必须把带子调松一些,才能避免HTC Vive Pro Eye早期版本的演示无法正常起效。使用Tobii的眼动追踪VR技术时,也曾经发生过类似的情况。好消息是,在进行几轮HoloLens 2演示体验的过程中,这种问题一次也没有出现。
在此次体验当中,我试用过的唯一一项眼动追踪实际用途,就是利用自己的快速眼动在无需移动头部的情况下选定某个虚拟物体。我可以直接盯着这些物体并通过指令使其爆开,从而制造出大量虚拟水晶碎片。当然,这项功能还有更多实际用途:以Tobii为代表的众多企业软件厂商正在利用眼部追踪技术为用户创建所需要的分析结果与热图,从而改进培训效果。
但在谈到其它眼动追踪技术的应用方向时,似乎出现了一点偏差。微软公司技术研究员Alex Kipman表示,HoloLens 2的眼动追踪摄像头能够通过微小的眼部变化以及用户的注视位置来测量相应情绪。
但是,如果HoloLens都开始预测用户的感受,甚至是脑中的想法了,那接下来又会怎样?我不太确定。
在微软的Human Factors实验室当中,这款硬件经历了舒适性与可访问性测试。我们走进一个摆放着无数原型设备模型的房间,里面还有一张放着大量不同橡胶耳朵的桌子。微软公司高级设计总监Carl Ledbetter向我们展示了如何针对各种头型与耳廓特征对这款新设备进行舒适度、疲劳感以及眼部观看效果测试。另外,在某个角落的桌子上,还摆着一个嵌有传感器网的人体模型头部,这是一个脑电感应头盔。一眼望过去,我还以为自己来到了《少数派报告》**里的场景。
Ledbetter介绍称:“我们用它来测量脑波活动,甚至可以测量对象的思维负荷有多大。当然,我们并没有把所有成果都真正引入HoloLens。不过我们觉得这是个好机会,相关的结论可以被应用到其它一些项目当中。”
跟我一起参加这次体验的同事Ian SHerr问道,“HoloLens 3是不是就能读心了?”
“这个嘛……有可能吧”,我猜Ledbetter是在半开玩笑。当然,他没准是说真的。
全息显示就像一场魔术,而如果栩栩如生的显示效果在用户的视野之内就被硬生生切断,那么观感体验必然要大打折扣。第一代HoloLens的纵向可视角度约为30度,这种感觉就像是通过一扇窗户观看虚拟物体,而窗户的大小则是一张距离用户的脸只有几英寸的扑克牌。
HoloLens 2将视野扩展到了52度,微软公司表示这意味着新一代产品的有效可视区域达到了上代产品的两倍。这感觉就像是通过一扇与课本差不多大的窗户观看全息图像,纵向观察空间提升了不少。具体来看,如今的虚拟显示空间类似于使用台式机上的大号显示器,而上代HoloLens的使用感受则像是使用笔记本上的小屏幕。虽然HoloLens 2上仍然存在着某些3D效果被拦腰截断的情况,毕竟我的余光视觉没有受到任何遮挡,因此上下左右都存在着显示断层。但是,它的视野仍然要比Magic Leap One好得多,而Magic Leap One又比初代HoloLens好得多。
除此之外,HoloLens 2的有效分辨率也得到有效提升,如今它能够实现单眼显示内容的2K分辨率——远高于初代HoloLens的单眼720p分辨率。然而,图像显示的密度仍然相同,为每度47像素(单位为PPD)。PPD是一种用于测量光学显示中像素密度的方法,类似于手机或者平板电脑上的每英寸像素数。Kipman将其称为等同于苹果“视网膜显示”效果的分辨率。但老实说,虽然观感上已经非常接近,我仍然能够从中看到像素,这与我的日常视觉体验有所不同。不过,这已经比许多传统的VR设备好上太多了。(Varjo的全新VR头戴设备在视觉中心位置提供更高的PPD分辨率,但周边区域的分辨率则有所下降。)另外,其中的全息图视觉效果仍然比较怪异,这一点与Magic Leap以及初代HoloLens差不多。画面很明亮,足以让我在室内空间中清晰识别并遵从指引。而微软同时也表示,在户外环境下的显示效果也一样出色。
新版本的图形处理效果与上一代HoloLens并没有太大的差别,最显著的应该就是以上提到的观看区域的大幅扩展。另外,考虑到处理器配置,Magic Leap提供的图形效果可能仍然优于HoloLens 2——至少在双方都不依赖云计算资源时是这样。
简单说一下其中的工作原理:HoloLens的基本目标就是让用户出现“对眼”。微软公司光学工程总经理Zulfi Alam解释了显示内容如何配合多份图表及放大镜功能共同起效。与初代HoloLens一样,新版本的显示镜处同样拥有波导管,可以利用LCOS(片上液晶)通过MEMS(微电子机械系统)弯曲光线以使其投射至眼部。
下面来看HoloLens 2中的新特性:初代HoloLens采用的是一块尺寸较小的显示屏,因此视野相对比较有限。如今,HoloLens 2上的显示屏采用了基于镜面的激光系统进行蚀刻。该系统能够生成每秒120帧的图像与三道激光速,如同老式显示器一样,只是响应速度更快。另外,它还支持超宽视野,这意味着我们观看暗光区域时镜片将完全透明。从体验上来看,我只能说,虽然原理听起来非常复杂,但最终结果看起来确实不错。
HoloLens 2并不提供任何物理控制器:微软公司决定完全依赖于手部追踪加语音控制。值得一提的是,手部追踪技术同样向前迈出了一大步。传感器如今可以通过手腕与手指在一只手上识别最多25个关节点。此外,其还能够识别手掌的方向,这意味着手指弯曲、手部动作以及拾取物体等功能全部可以直接实现。初代HoloLens只能基于手势支持手指点击与其它一些简单的动作。这一次,HoloLens 2已经能够支持捏、拉、按等 *** 作。这感觉要比Magic Leap One的手部追踪更加先进。
此外,我们还尝试了微软公司提供的“Shell演示”全体验。在一个类似于起居室的园区大房间,我看到一张摆着大量全息虚拟物体的桌子,其中包括一部引擎以及一架风车。我走到旁边,并看到它们被纳入一个框体轮廓。系统提示我抓住框体的一角然后向外拉,依样 *** 作之后整个全息图即可快速缩放,类似于拖动Windows中窗口的一角。
这就是HoloLens 2上提供的3D窗口。为了移动物体,我需要将手伸进物体的中心,握拳,而后移动自己的拳头。我也可以把两只拳头一起放进去,然后把拳头分开,这样物体就会放大。整个 *** 作过程有点奇怪,因为没有触觉反馈会让人觉得 *** 作很“假”。但这一切都能够正常起效。
接下来,我观察了整个房间,并发现沙发那边放着一个发光的水晶状物体。这里也有自己的框体,只是附带的是一个三角形的播放按钮。我用手指按下按钮,随之开启了眼动追踪的演示。
我望着四块水晶,目光掠过时对应的水晶就会闪闪发光。这种感觉很好,轻松愉快。当我说出“爆炸”这个词时,我望着的水晶就会立刻炸裂。微软随后展示了另一个眼动追踪的示例:一只飘逸的蜂鸟以全息图的形式悬停在一个类似维基百科的文本框旁边,上面有一篇关于蜂鸟的文章。我读了一会,并在眼睛向下望时触发了文本框滚动 *** 作。有时候滚动速度可能太快或者太慢,但我很快学会了如何用眼睛控制滚动速度。而且最重要的是,我也可以用眼部控制的方式移动物体,这让我的双手能够休息一下。
这一切在真实场景下的配合体验是怎样的?
说回引导程序中包含的虚拟修车环节。让我好奇的是——我以后还会记得这些 *** 作说明吗?是继续上一次未结束的引导培训,还是依赖一步步的后续提示?几周之后,在撰写这篇文章时,我真的完全想不起自己当时在那个房间里进行过哪些 *** 作。有人提醒我,现在的人在开车的时候,也经常会变成“导航地图依赖症患者”——完全依靠导航指引,而忘记了自己到底想去哪。有一些出租车司机喜欢背下地图从而实现知识内化。我想知道的是,这种导航式的分步教学是否会降低学习或者帮助效果?对此,微软方面回应,这确实是个很好的问题,值得他们认真研究。
很明显,这个问题还没有确定的答案,但HoloLens 2确实展现出了一种可能性。分步指引与PowerPoint deck一样易于开发。也许在未来的某个时间点上,人们将会在现实世界当中留下指引,以便其他人稍后发现并借此“导航”——这有点像赛车 游戏 中的“幽灵对手”,以幻影的形式存在提示玩家对方的先进轨迹与当前成绩。此前,谷歌公司在手机版本的谷歌地图上就曾经发布过类似的AR功能。
微软公司这一次反复强调了多用户混合现实的重要意义,也就是通过微软Azure提供云服务。这些服务使得人们能够在HoloLens甚至是自己的手机上体验混合现实。谷歌公司去年发布了自己的多用户AR项目,而苹果也推出了iOS平台上的ARKit。
想象一下,如果能够共享同一个3D对象,进而在同一3D模型之上协同工作,那么未来的办公场景会是怎样。微软公司的Dynamics 365 Layout应用可以通过云端存储对象,以确保这些对象始终被绑定在某一位置以供他人查找。另外,其提供的“云锚点”机制也可以确保每一位用户都共享同样的显示内容,甚至可以在iPhone上利用相同的AR工具通过微软应用程序在iPad与Android设备之间建立AR体验。
在这一次的演示当中,我们得以体验大房间、圆桌子以及一套面向合作小组的简短 *** 作展示。我头戴着HoloLens 2,坐在身边的是我的同事Ian Sherr与Gabriel Sama——他们同样戴着HoloLens 2。整个场景就像是星际代表团的成员们围坐在一起。桌面上显示的是微软园区的一份发光3D虚拟地图,由HoloLens 2设备创建而成。一位女士从桌上的图形中出现,向我们介绍微软公司的未来园区扩展计划。Ian与Gabriel也在观看。我们从三个不同的角度观看着同样的内容。有趣的是,他们头顶d出了自己的姓名。如果能望向自己,相信我的头顶也浮现出了自己的名字。微软公司明显希望借此展示混合现实的未来发展方向:协作与多用户。为了展示这一切是如何跨平台实现的,几位手持手机的助理来到我们身旁,并向我们示范如何通过手机屏幕看到同样的全息图。是的,我们所看到的都是相同的内容。
我立刻注意到视野在这种情况下得到了极大的改善。我在桌子上看到的一切对象,都不存在被硬生生切断的情况。
当然,这一切还远达不到完美。微软方面提醒,我们使用的只是早期工程模型。果然,当我转向观察自己所处的房间时,以半透明3D形式呈现在桌面上的微软园区图出现了一次倾斜。虽然其随后自动完成了调整,但这不禁让我好奇——如果企业客户需要利用空间计算以精确渲染现实,那么他们对于这样的小问题又有怎样的容忍度?
微软公司的云服务旨在进一步提升混合现实质量。如果现有HoloLens设备能够实现厘米级别的精度,那么在云计算的加持之下,其精度将提升至毫米级别。同样的,3D渲染的质量也将大幅提高。Kipman通过几张幻灯片向我们展示了当前混合现实图形只支持观看,但还无法实现创建。他展示了一个引擎对象,介绍如何通过添加Azure云渲染向其中添加更多细节。
据透露,微软还计划利用Azure服务渲染HoloLens中所显示的更多对象,从而改善设备上的图形展示效果——具体来讲,单凭HoloLens能够渲染3D对象上的10万个多边形,但对接云端后多边形数量可提升至1亿个。微软公司的最终目标是缩小头戴设备的尺寸并尽可能将资源负担转移至云端。就目前来看,这意味着HoloLens 2应该能够更多地使用云账户与云文档,但我还没想明白这一切将如何被结合在一起。
当前,HoloLens 2设备的设计基本上能够自给自足。如前文所说,它自成一体,能够实现脱机工作,它通过Wi-Fi接入网络,但不支持蜂窝网络连接。根据微软方面的说法,这主要是考虑到HoloLens 2的设计使用方式。但最终,当5G网络将高速数据覆盖至全球之后,HoloLens也一定会迎头赶上,成为一款高度依赖云端资源且更为强大的设备。
值得注意的是,HoloLens 2当中仍然没有提供任何物理控制器。与初代HoloLens一样,这款头戴设备是专门针对手势与语音控制而设计。虽然使用手感已经大大改善,但触觉控制器或者力反馈功能的缺失仍令人非常失望,甚至让我觉得有些不安。相比之下。Magic Leap One就提供一个单手物理控制器——虽然有限但却能够增加一点与事物互动时的真实感,而且通过振动反馈提供触觉响应。
微软公司表示正在考虑控制与触觉问题,但目前还未提供相关解决方案。
Alex Kipman告诉我:“我们当然很喜欢触觉。我可以先朝你扔一份全息图,然后你接住它再推回来,这种沉浸感确实要好得多。我在抓住全息图时,应该能够感受到它的温度——是冷、是暖、还是温度适中。这将彻底改变渲染感与体验可信度的水平。”
然而,Kipman补充称这样的触觉“显然只存在于梦想当中,”而且微软并没有使用Windows VR头戴设备中出现过的那些控制器。“我们认为手上没有实物或者触觉回馈,并不代表着用户就无法做出 *** 作的行动。事实上,在我们的Windows VR头戴设备中,我们有着一些相当不错的方案,可以用到与HoloLens相同的传感器套件。”遗憾的是,虽然微软已经决定为这些周边产品冠以“混合现实”品牌的名号,但Kipman到目前还没有见过任何能够实际体验的Windows VR控制器。
也许这一切会在HoloLens 3当中成为现实?“在我们的发展路线图当中,自然也会考虑到物体交互时的触觉需求,让用户不仅仅能够拿起我们创造的东西,还能与虚拟对象交互。例如,如果我手里拿着一把真实世界中的锤子,那么该如何进行虚拟对象交互?如果我的手没有闲着,比如端着一个咖啡杯,但仍想 *** 作自己的全息图,又该怎么办?”
我也好奇随着时间推移,新的控制机制会带来怎样的使用变化。现在抓取物体与按下按钮的感觉已经更加真实,但这究竟是我真正想要的真实感,还是仅仅只属于一种刚刚上手的新鲜感以及心理安慰?这些将如何在HoloLens 2上发挥作用?
显而易见,微软公司正在利用其Azure云计算为HoloLens 2持续注入能量。这意味着HoloLens 2将能够在3D空间中更准确地放置物体,同时提供更为详细的图形显示与绘图能力。Kipman还强调称,像HoloLens这样的产品将成为未来大规模连续性体验中的组成部分。支持计算机视觉功能的HoloLens 2能够实现真实世界追踪,这意味着这款头戴设备能够像自动驾驶 汽车 与无人机安装的导航摄像头传感器一样起效,并在一定程度上趋近于家庭、工厂以及家用电器中的扫描摄像头。(如今,微软公司正在销售一款采用HoloLens传感器的新型云连接版Kinect。)
听起来,整个世界似乎都将被大量边缘计算设备所占据,并依靠云环境带来越来越快的执行速度。也许在5G技术的支持下,一切未来推出的HoloLens设备乃至其它VR头戴设备都将高度依赖于云端。虽然HoloLens 2还不支持蜂窝网络——其仅提供Wi-Fi与蓝牙,但这只是因为LTE领域尚未做好准备。
就连Kipman本人也承认,HoloLens 2并不适合每一位用户,也不适合一切使用场景。虽然Kipman自己每天都会花上几个小时来使用HoloLens,“但只要待在办公室里,我大多数情况下还是宁愿使用键盘、鼠标加上PC显示屏来完成工作。”
但是,如果5G成为现实,触觉技术也成为现实,结果会如何?正如AR/VR/MR领域的所有参与厂商一样,微软公司显然也有着自己的大棋。毕竟下一代HoloLens距离我们可能并不遥远。Kipman本人甚至也无法断言接下来五年当中这方面技术会发生怎样的变化:“老实说,我没法面向未来五年做出预期。我只能谈谈这款产品生命周期之内的趋势,而且只能专注于其中的一到两个发展方向。我认为一切成功的产品都将围绕企业使用场景进行设计。”
也许到那个时候,新的产品将真正成为我个人长久以来所期待的5G超级装备!
以上就是关于2022高性价比的智能眼镜推荐呢全部的内容,包括:2022高性价比的智能眼镜推荐呢、震惊世界的Magic Leap与微软的Hololens有哪些异同、微软HoloLens 2现身:科技魔法走进真实世界等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)