2022年，这些太空高光时刻值得翘首以盼

2021年，太空 探索 带给人类无数精彩和绚丽；2022年，天文学家们仍将继续在太空书写新的传奇。

英国《每日邮报》网站在近日的报道中，列出了2022年值得期待的太空高光时刻，包括詹姆斯·韦布空间望远镜将传回首批、小行星撞击实验正式实施、探测器前往火星搜寻生命存在迹象等。

韦布望远镜将传回首批

作为美国国家航空航天局(NASA)、欧洲空间局(ESA)和加拿大航天局的联合项目，耗资100亿美元的詹姆斯·韦布空间望远镜于去年圣诞节当天发射升空，携带直径65米的大型镀金折叠镜面，这是有史以来最大也最灵敏的反射镜，被科学家称为“黄金眼”。

据报道，韦布望远镜成功打开了“黄金眼”，并于今年1月24日进入其最终运行轨道，主镜和次镜也完全展开。它将围绕日地系统第二拉格朗日点运行，这一区域距离地球约150万公里。此后，韦布望远镜还须经历数月冷却才能接近绝对零度，然后进行校准，正式开始科学观测活动。因此，人们需要再等6个月才能看到第一批图像公布。

韦布望远镜的功能比哈勃望远镜更强大，将在宇宙中搜寻137亿年前最初形成的恒星和星系的光流。

“太空发射系统”和“阿耳忒弥斯”任务

NASA将在2022年3月进行其“太空发射系统”(SLS)火箭的首次试飞。这款火箭被称为“世界上最强大的火箭”，耗资230亿美元，预计将启动新一代人类太空 探索 ，首先是从运送宇航员往返月球开始。

SLS可在一次任务中将宇航员和补给送往月球，不过它的首次试飞——“阿耳忒弥斯1号”任务只会搭载无人的“猎户座”飞船乘员舱。

“阿耳忒弥斯1号”原定下月发射，但因测试程序过程中出现“小问题”而被推迟到3月或4月。

NASA预计，SLS每次发射的成本约为20亿美元。这艘巨无霸火箭将成为“阿耳特弥斯任务”(将宇航员送往月球并最终送往火星)的主力军。

SpaceX的“星舰”轨道试验

美国太空 探索 技术(SpaceX)公司掌门人埃隆·马斯克说，该公司的“星舰”(Starship)火箭将在今年3月或4月进行首次轨道试飞。

“星舰”是迄今为止的最大型火箭，可完全重复使用，由超重助推器和星舰飞船组成，有朝一日将被用于登陆火星，并将大型有效载荷(重达1吨)送入近地轨道。“星舰”在设计上可进行轨道加油，因此它可前往比近地轨道更远的地方，包括月球和火星。

去年12月，马斯克在推特上发布了雄心勃勃的计划，将在“星舰”上再增加3个“猛禽”发动机，将其最大推力提高50%，以极大地改善其有效载荷性能。

“双小新星重定向测试”任务撞击小行星

“双小行星重定向测试”(DART)是NASA的一个项目，旨在撞击一颗小行星的卫星，使其稍稍改变轨道，这一任务将首次展示改变小行星在太空中运动情况和轨迹的动能撞击器技术。

DART还包括一颗小型伴随摄像卫星，预计它将在今年9月26日至10月2日期间撞上目标星体。

NASA称，DART的目标小行星并不会对地球构成威胁，是一个观察碰撞是否能够改变其运行路线的“完美试验场”。

“火星太空生物学”项目 探索 火星生命

“火星太空生物学”(ExoMars)是ESA和俄罗斯联邦航天局的联合项目，包括轨道飞行器和名为“罗莎琳德·富兰克林”号的火星车。

这个SUV 汽车 大小的飞行器将于今年9月出发前往火星。它原定2020年8月发射，但因新冠疫情推迟。这一任务的主要使命是确定火星上是否曾有生命繁衍生息，以及更好地了解火星上水的 历史 。火星车将由空中客车公司组装，并于2023年6月降落在火星上的奥克夏高原。此前的研究表明，奥克夏高原可能是一个古老的火星三角洲。

火星车包括一台可探测火星表面以下的钻探设备和一个置于超净区间内的微型生命搜寻实验室。

ExoMars项目将首次在火星表面以下约366米的地方搜寻生命的迹象。在那里，生命的生物特征可能会被完好保存。

“比皮科伦坡”探测器第二次飞越水星

由欧洲和日本航天机构联合研发的“比皮科伦坡”(BepiColombo)水星探测器与水星的第二次“亲密”接触将发生在2022年6月，届时该探测器将飞到离水星表面约322公里以内的地方，与2021年10月的那次飞越类似。

此外，在2023年6月、2024年9月、2024年12月和2025年1月，它还将4次飞越这颗离太阳最近的行星。最终目标是进入距离水星483公里至1497公里的一个科学轨道开展 探索 活动，它将于2025年12月最终进入该轨道。

虽然水星与地球的距离是木星与地球距离的十倍，但探测器到达水星所需时间与到达木星相当。因为探测器到达水星需要“刹车”以抵抗来自太阳的引力，为此，探测器会绕很长的一段路——通过多次飞越太阳系内部其他行星(包括水星)来实现。

先说一下我关于Magic Leap的信息来源：

1、2014年11月10日，Magic Leap在2014年9月融了5个亿以后，来Stanford招人，开了一个Info Session，标题是“The World is Your New Desktop”（世界就是你的新桌面）多么霸气！当时是Magic Leap感知研究的高级副总裁（VP of Perception）Gary Bradski和计算视觉的技术负责人（Lead of Computer Vision）Jean-Yves Bouguet来作演讲。Gary是计算机视觉领域的****，在柳树车库（Willow Garage）创造了OpenCV（计算视觉工具库），同时也是Stanford顾问教授。Jean-Yves原来在Google负责谷歌街景车（Street View Car）的制造，是计算视觉技术的大牛。他们加入Magic Leap是非常令人震惊的。我参加了这次Info Session，当时Gary来介绍Magic Leap在感知部分的技术和简单介绍传说中的数字光场Cinematic Reality的原理，并且在允许录影的部分都有拍照记录。本文大部分的干货来自这次演讲。

2、我今年年初上了Stanford计算摄影和数字光场显示的大牛教授Gordon Wetzstein的一门课：EE367 Computational Imaging and Display（计算影像和显示器）：其中第四周的Computational illumination，Wearable displays和Displays Blocks（light field displays）这三节都讲到Magic Leap的原理。现在大家也可以去这个课程网站上看到这些资料，EE367 / CS448I: Computational Imaging and Display

顺便介绍一下Gordon所在的Stanford计算图形组，Marc Levoy（后来跑去造Google Glass的大牛教授）一直致力于光场的研究，从Marc Levoy提出光场相机，到他的学生Ren Ng开创Lytro公司制造光场相机，到现在Gordon教授制造光场显示器（裸眼光场3D显示器），这个组在光场方面的研究一直是世界的领头羊。而Magic Leap可能正在成为光场显示器的最大应用。（相关内容可参考：Computational Imaging Research Overview）

3、今年参加了光场影像技术的研讨会Workshop on Light Field Imaging ，现场有很多光场技术方面的展示，我和很多光场显示技术的大牛交流了对Magic Leap的看法。特别的是，现场体验了接近Magic Leap的光场技术Demo，来自Nvidia的Douglas Lanman的Near-Eye Light Field Displays 。（相关内容可参考：Near-Eye Light Field Displays）

4、今年年中去了微软研究院Redmond访问，研究院的首席研究员Richard Szeliski（计算机视觉大神，计算机视觉课本的作者，Computer Vision: Algorithms and Applications）让我们试用了Hololens。感受了Hololens牛逼无比的定位感知技术。有保密协议，本文不提供细节，但提供与Magic Leap原理性的比较。

下面是干货：

首先呢，科普一下Magic Leap和Hololens这类AR眼镜设备，都是为了让你看到现实中不存在的物体和现实世界融合在一起的图像并与其交互。从技术上讲，可以简单的看成两个部分：

对现实世界的感知（Perception）；

一个头戴式显示器以呈现虚拟的影像 (Display) 。

我会分感知部分和显示部分来分别阐释Magic Leap的相关技术。

一、显示部分

先简单回答这个问题：

Q1 Hololens和Magic Leap有什么区别？Magic Leap的本质原理是什么？

在感知部分，其实Hololens和Magic Leap从技术方向上没有太大的差异，都是空间感知定位技术。本文之后会着重介绍。Magic Leap与Hololens最大的不同应该来自显示部分，Magic Leap是用光纤向视网膜直接投射整个数字光场（Digital Lightfield）产生所谓的Cinematic Reality（**级的现实）。Hololens采用一个半透玻璃，从侧面DLP投影显示，虚拟物体是总是实的，与市场上Espon的眼镜显示器或Google Glass方案类似，是个2维显示器，视角还不大，40度左右，沉浸感会打折扣。

本质的物理原理是：光线在自由空间中的传播，是可以由4维光场唯一表示的。成像平面的每个像素中包含到这个像素所有方向的光的信息，对于成像平面来讲，方向是二维的，所以光场是4维的。平时成像过程只是对四维光场进行了一个二维积分（每个像素上所有方向的光的信息都叠加到一个像素点上），传统显示器显示这个2维的图像，是有另2维方向信息损失的。而Magic Leap是向你的视网膜直接投射整个4维光场， 所以人们通过Magic Leap看到的物体和看真实的物体从数学上是没有什么区别的，是没有信息损失的。理论上，使用Magic Leap的设备，你是无法区分虚拟物体和现实的物体的。

使用Magic Leap的设备，最明显的区别于其他技术的效果是人眼可以直接选择聚焦（主动选择性聚焦）。比如我要看近的物体，近的物体就实，远的就虚。注意：这不需要任何的人眼跟踪技术，因为投射的光场还原了所有信息，所以使用者直接可以做到人眼看哪实哪，和真实物体一样。举个例子：在虚拟太阳系视频的27秒左右（如下面这个gif图），摄影机失焦了，然后又对上了，这个过程只发生在摄影机里，和Magic Leap的设备无关。换句话说，虚拟物体就在那，怎么看是观察者自己的事。这就是Magic Leap牛逼的地方，所以Magic Leap管自己的效果叫Cinematic Reality。

Q2 主动选择性聚焦有什么好处？传统的虚拟显示技术中，为什么你会头晕？Magic Leap是怎么解决这个问题的？

众所周知，人类的眼睛感知深度主要是靠两只眼睛和被观察物体做三角定位（双目定位，triangulation cue）来感知被观察物体的与观察者的距离的。但三角定位并不是唯一的人类感知深度的线索，人脑还集成了另一个重要的深度感知线索：人眼对焦引起的物体锐度（虚实）变化（sharpness or focus cue） 。但传统的双目虚拟显示技术（如Oculus Rift或Hololens）中的物体是没有虚实的。举个例子，如下图，当你看到远处的城堡的时候，近处的虚拟的猫就应该虚了，但传统显示技术中，猫还是实的，所以你的大脑就会引起错乱，以为猫是很远的很大的一个物体。但是这和你的双目定位的结果又不一致，经过几百万年进化的大脑程序一会儿以为猫在近处，一会儿以为猫在远处，来来回回你大脑就要烧了，于是你要吐了。而Magic Leap投影了整个光场，所以你可以主动选择性聚焦，这个虚拟的猫就放在了近处，你看它的时候就是实的，你看城堡的时候，它就是虚的，和真实情况一样，所以你不会晕。演讲中Gary调侃对于Jean-Yves这种带10分钟Oculus就吐的家伙来说，现在他一天带16个小时Magic Leap都不会晕。

补充：有人问为什么网上说虚拟现实头晕是因为帧率不够原因？

帧率和延时虽然是目前的主要问题，但都不是太大的问题，也不是导致晕得决定性因素。这些问题用更快的显卡，好的IMU和好的屏幕，还有头部动作预测算法都能很好解决。我们要关心一些本质的晕眩问题。

这里要说到虚拟现实和增强现实的不同。

虚拟现实中，使用者是看不到现实世界的，头晕往往是因为人类感知重力和加速度的内耳半规管感受到的运动和视觉看到的运动不匹配导致的。所以虚拟现实的游戏，往往会有晕车想吐的感觉。这个问题的解决不是靠单一设备可以搞定的，如果使用者的确坐在原定不动，如果图像在高速移动，什么装置能骗过你的内耳半规管呢？一些市场上的方案，比如Omni VR，或者HTC Vive这样的带Tracking的VR系统让你实际行走才解决这个不匹配的问题，但这类系统是受场地限制的。不过THE VOID的应用就很好的利用了VR的局限，不一定要跑跳，可以用很小的空间做很大的场景，让你以为你在一个大场景里就好了。现在大部分虚拟现实的体验或全景**都会以比较慢得速度移动视角，否则你就吐了。

但是Magic Leap是AR增强现实，因为本来就看的到现实世界，所以不存在这个内耳半规管感知不匹配的问题。对于AR来讲，主要挑战是在解决眼前投影的物体和现实物体的锐度变化的问题。所以Magic Leap给出的解决方案是很好地解决这个问题的。但都是理论上的，至于实际工程能力怎么样就靠时间来证明了。

Q3 为什么要有头戴式显示器？为什么不能裸眼全息？Magic Leap是怎么实现的？

人类希望能凭空看到一个虚拟物体，已经想了几百年了。各种科幻**里也出现了很多在空气中的全息影像。

但其实想想本质就知道，这事从物理上很难实现：纯空气中没有可以反射或折射光的介质。显示东西最重要的是介质。很多微信上的疯传，以为Magic Leap不需要眼镜，我估计是翻译错误导致的，视频中写了Shot directly through Magic Leap tech，很多文章错误的翻译成“直接看到”或“裸眼全息"，其实视频是相机透过Magic Leap的技术拍的。

目前全息基本还停留在全息胶片的时代（如下图，我在光场研讨会上看到的这个全息胶片的小佛像），或者初音未来演唱会那种用投影阵列向特殊玻璃（只显示某一特定角度的图像，而忽略其他角度的光线）做的伪全息。

Magic Leap想实现的是把整个世界变成你的桌面这样的愿景。所以与其在世界各个地方造初音未来那样的3D全息透明屏做介质或弄个全息胶片，还不如直接从人眼入手，直接在眼前投入整个光场更容易。其实Nvidia也在做这种光场眼镜。

Nvidia采用的方法是在一个二维显示器前加上一个微镜头阵列Microlens array来生成4维光场。相当于把2维的像素映射成4维，自然分辨率不会高，所以这类光场显示器或相机（Lytro）的分辨率都不会高。本人亲测，效果基本就是在看马赛克画风的图案。

而Magic Leap采用完全不同的一个方法实现光场显示，它采用光纤投影。不过，Magic Leap用的光纤投影的方式也不是什么新东西。在Magic Leap做光纤投影显示（Fiber optic projector）的人是Brian Schowengerdt，他的导师是来自华盛顿大学的教授Eric Seibel，致力于做超高分辨率光纤内窥镜8年了。简单原理就是光纤束在一个1mm直径管道内高速旋转，改变旋转的方向，然后就可以扫描一个较大的范围。Magic Leap的创始人比较聪明的地方，是找到这些做高分辨率光纤扫描仪的，由于光的可逆性，倒过来就能做一个高分辨率投影仪。如图，他们6年前的论文，1mm宽9mm长的光纤就能投射几寸大的高清蝴蝶图像。现在的技术估计早就超过那个时候了。

而这样的光纤高分辨率投影仪还不能还原光场，需要在光纤的另一端放上一个微镜头阵列microlens array，来生成4维光场。你会疑问这不就和Nvidia的方法一样了么？不，因为光纤束是扫描性的旋转，这个microlens array不用做得很密很大，只要显示扫描到的区域就好了。相当与把大量数据在时间轴上分布开了，和通讯中的分时一样，因为人眼很难分辨100帧上的变化，只要扫描帧率够高，人眼就分辨不出显示器是否旋转显示的。所以Magic Leap的设备可以很小，分辨率可以很高。

他本人也来Stanford给过一个Talk，Near-to-Eye Volumetric 3D Displays using Scanned Light。这个Talk讲的应该就是Magic Leap早期的原型。（相关内容可参考: Fiber Scanned Displays）

二、感知部分

Q4 首先为什么增强现实要有感知部分？

是因为设备需要知道自己在现实世界的位置（定位），和现实世界的三维结构（地图构建），才能够在显示器中的正确位置摆放上虚拟物体。举个最近的Magic Leap Demo视频的例子，比如桌子上有一个虚拟的太阳系，设备佩戴者的头移动得时候，太阳系还呆在原地，这就需要设备实时的知道观看者视角的精确位置和方向，才能反算出应该在什么位置显示图像。同时，可以看到桌面上还有太阳的反光，这就要做到设备知道桌子的三维结构和表面信息，才能正确的投射一个叠加影像在桌子的影像层上。难点是如何做到整个感知部分的实时计算，才能让设备穿戴者感觉不到延时。如果定位有延时，佩戴者会产生晕眩，并且虚拟物体在屏幕上漂移会显得非常的虚假，所谓Magic Leap宣称的**级的真实（Cinematic Reality）就没有意义了。

三维感知部分并不是什么新东西，计算机视觉或机器人学中的SLAM（Simultaneous Localization And Mapping，即时定位与地图构建）就是做这个的，已经有30年的历史了。设备通过各种传感器（激光雷达，光学摄像头，深度摄像头，惯性传感器）的融合将得出设备自己在三位空间中的精确位置，同时又能将周围的三位空间实时重建。

最近SLAM技术尤其火爆，去年到今年两年时间内巨头们和风投收购和布局了超级多做空间定位技术的公司。因为目前最牛逼的3大科技技术趋势：无人车，虚拟现实，无人机，他们都离不开空间定位。SLAM是完成这些伟大项目基础中的基础。我也研究SLAM技术，所以接触的比较多，为了方便大家了解这个领域，这里简单提几个SLAM界最近的大事件和人物：

1、（无人车）Stanford的机器人教授Sebastian Thrun是现代SLAM技术的开创者，自从赢了DARPA Grand Challenge的无人车大赛后，去了Google造无人车了。SLAM学术圈的大部分研究派系都是Sebastian徒子徒孙。

2、（无人车）Uber在今年拿下了卡耐基梅隆CMU的NREC（国家机器人工程研发中心），合作成立高等技术研发中心ATC。这些原来做火星车的定位技术的研究人员都去Uber ATC做无人车了。

3、（虚拟现实）最近Surreal Vision被Oculus Rift收购，其中创始人Richard Newcombe是大名鼎鼎的DTAM，KinectFusion（HoloLens的核心技术）的发明人。Oculus Rift还在去年收购了13th Labs（在手机上做SLAM的公司）。

4、（虚拟现实）Google Project Tango 今年发布世界上第一台到手就用的商业化SLAM功能的平板。Apple五月收购Metaio AR，Metaio AR 的 SLAM 很早就用在了AR的app上了。Intel 发布Real Sense，一个可以做SLAM的深度摄像头，在CES上Demo了无人机自动壁障功能和自动巡线功能。

5、（无人机）由原来做Google X Project Wing 无人机的创始人MIT机器人大牛Nicholas Roy 的学生Adam Bry创办的Skydio，得到A16z的两千万估值的投资，挖来了Georgia Tech的SLAM大牛教授Frank Dellaert 做他们的首席科学家。（相关内容：>

　这其实也并不是Movidius头一次与像大疆这样的大牌合作了。早在2014年，Movidius推出的首颗芯片Myriad 1就应用到了谷歌的第一代Project Tango平板中。似乎在这么多年的发展中，这个仅125人的企业已经成为几个市场的重要玩家，从无人机到手机，再到虚拟现实，这些都需要成本低、功耗低的计算机视觉技术。

Movidius的CEO Remi El-Ouazzane笑着说：“公司是在2005年下半年成立的，所以我们也有了很长一段时间的酝酿期。”早期，这家公司在搞将旧**转为3D**的业务，为3D电视市场做内容。2010年时，他们的芯片就应用到了3D渲染中，只不过当时市场上有很多的竞争对手。到了2013年，公司开始和Tango合作，才意识到计算机视觉应用的广阔前景，也就开始专注于新一波产品的研发。

El-Ouazzane说：“不同的计算模式需要全新的芯片架构，这跟20年前诞生的GPU，3D图形需要新的方法一样。”当前，Movidius正专注于开发CPU和GPU的换代芯片产品，被他们称作VPU，这是个视觉处理产品，专为计算机视觉任务提供优化。Movidius自主设计这种芯片，并由台积电代工制造。

除了芯片本身，Movidius还设计一系列的补充算法，还有SDK。DJI就用上了Movidius的硬件和软件产品，让Phantom 4实现出色的计算机视觉特性。其中的算法，确保VPU能够处理各种不同的任务：利用立体摄像机的数据处理深度信息，还有来自声纳传感器的近距离、空间定位，以及用于识别和跟随人的先进光流。El-Ouazzane说：“现在有许多芯片企业也能做类似的事，但我们是唯一一家将性能、价格、能耗控制到理想状态的企业。”

这类技术估计很快就能成为虚拟现实、现实增强技术的核心部分，让智能手机以及更便宜的头戴产品达成现如今较为昂贵的系统才能完成的目标。比如说HTC Vive，这台设备需要比较诡异的头戴式护目镜，还需要两个激光盒子绘制整个空间，并追踪用户的运动。而Tango通过移动设备或者耳机就能做到这一点。

除了计算机视觉，Movidius也想把自家的芯片带到另一个很热的领域，即人工智能。今年早前，Movidius就宣布与谷歌合作，将深度学习带到智能手机中，在设备本地就能利用强悍的图像识别计算。这也是DJI新推无人机的重要组成部分，设备能够看见和理解周围的世界，不需要检索云端就能做到，避免了延迟的问题。

不过当前应用到大疆无人机上的这套系统仅限于预设程序的技能。El-Ouazzane说：“Phantom 4中的绝大部分特性是比较简单的描述和分类，这样Phantom能够做到类似对象追踪之类的事。”不过他相信嵌入式神经网络很快就能够突破这种限制，“再往前，无人机或者手机，通过神经网络，就能开始自主学习了。”能够识别和追踪人的无人机当然是很厉害的，不过显然以后还能做得更好。

以上就是关于2022年，这些太空高光时刻值得翘首以盼全部的内容，包括:2022年，这些太空高光时刻值得翘首以盼、震惊世界的Magic Leap与微软的Hololens有哪些异同、用于大疆Phantom 4用的Myriad 2芯片有什么来头等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！