HoloLens创始人：视网膜投影或成为AR眼镜最佳代替方案

10月14日消息，近期微软HoloLens工程师（也是微软HoloLens主要发明人）、微软XR部门负责人Alex Kipman在苏黎世联邦理工学院进行了一次演讲，他提到：AR眼镜最佳的替代方案很可能是视网膜投影技术。

其表示：由于“慵懒的工程师”，他们找到的一种简单的方法就是将光线直接投射到用户眼睛中，当投影仪放置到眼前时，这种方法似乎也是最佳的。

不过Alex Kipman也谈到：在微软并没有对于设备外观太多的束缚，最终为u然希望为人们提供一个互动性的未来化平台。

未来的AR设备可以融入到桌子上，或者安装到墙壁上，这并非是不可想象的，不过所有的前提都是能够将光线准确的投射到房间内所有人的眼睛中。

Alex Kipman认为：我相信这相机数在我有生之年就能看到，届时你就无需佩戴AR眼镜体验到这种应用，但是离开房间后你依然需要将AR眼镜戴上。不过即便如此，未来的AR眼镜外形也会很小，甚至缩小到隐形眼镜那般，不过这些技术在5-10年内可能无法实现，实体眼镜大小的AR设备依然是主流。

参考：Mixed、ethz

医生被“全息传送”至国际空间站

医生被“全息传送”至国际空间站，有了“全息传送”技术，延时的问题迎刃而解，“全息传送”人员可以直接留在空间站上进行实时通信诊疗。医生被“全息传送”至国际空间站。

医生被“全息传送”至国际空间站1

据 CNET 报道，去年 10 月，NASA 使用“全息传送”技术将飞行外科医生 Josef Schmid 博士带到国际空间站，而医生本人还在地球上。

据报道，这是这种虚拟技术第一次带到地球以外，医生本人的高质量 3D 模型在两地间进行数字压缩、传输和重建，所有这些都是实时的。

与此同时，国际空间站上的宇航员们佩戴微软 HoloLens，与医生进行互动，就好像他们在同一个物理空间中一样。

NASA 在一份声明中表示：“我们将把它用于我们的私人医疗会议、私人精神病学会议、私人家庭会议，并将贵宾带到国际空间站与宇航员一起参观。”

了解到，NASA 打算通过添加增强现实（AR）功能来扩大其系统，全息传送的人可以真正在空间站周围移动并观察事物，就好像真的就在那里一样，可能有助于为宇航员提供外星远程医疗、国际空间站建设项目，甚至有利于未来的深空探索。

医生被“全息传送”至国际空间站2

航天事业是着眼未来的前沿科技，往往能够促成很多科技行业的新兴技术应用。以医疗来说，远程医疗是对宇航员身体健康最直接的保障。根据CNET报道，美国NASA已成功使用“全息传送”技术将飞行外科医生Josef Schmid 博士送到国际空间站，而医生本人还在地球上。

“全息传送”技术帮助宇航员远程医疗

在空间站，宇航员最有可能出现的医疗问题是碰撞、瘀伤、小伤口之类的物理性伤害，其次还有微重力对宇航员液体平衡的影响。这些问题通常都会通过对宇航员的超音波检查传递到地面，由地面医生给出治疗建议。

因为标准的无线电通信在与远在虚空中的系统通信时，一般会有长达20分钟的延迟。但有了“全息传送”技术，延时的问题迎刃而解，“全息传送”人员可以直接留在空间站上进行实时通信诊疗。

虽然近乎不可思议，但“全息传送”并不是一项全新的技术。微软几年前就提出了这个想法，此后一直在稳步发展这一概念。如今NASA最近的努力将这一壮举推向了新的高度。美国宇航局在一份声明中表示，国际空间站上的宇航员们正利用微软HoloLens的全息力量来为外太空的宇航员提供医疗服务，与医生相互进行交流互动。

NASA正在演示这种新的通信形式，作为在未来任务中更广泛使用的前奏。未来，人类走得离地球越来越远，对远程医疗的要求也会更高。NASA还打算通过添加增强现实（AR）功能来扩大其系统，全息传送的人可以真正在空间站周围移动并观察事物，为宇航员提供远程医疗、国际空间站建设项目，甚至有利于未来的深空探索。

5G快速建设助推全息通讯到来

近年来，随着5G商用的到来，物联网、人工智能、AR/VR、全息多媒体等新型网络技术逐渐成为现实，全息通讯也开始被众多科研机构、高科技企业重视起来。

作为一种新型通讯方式，全息通讯需要通过多种技术糅合来实现，用户在拥有镜头和麦克风组成的特制相机前进行通话，镜头将用户转换成数字图像进行联网传输，而在接收方那一端，则是通过全息投影仪将画面投射屏幕上，从而实现3D画面的呈现。

在全息通话实现的过程中，需要5G高速传输技术、AR/VR、3D投影等多种技术的紧密配合。其中，5G传输技术将扮演至关重要的角色。正是因为5G有着高带宽、低时延、高可靠性等优秀特性，才让科学家们有底气去想象全息通话的现实可行性。

例如美国曾采用5G技术完成了全球第一个全息电话。主要通过5G传输技术与特制的投影仪相配合，顺利完成了一次全息会议，这是全息通讯领域里一个极具标志性的事件。

微美全息5G多场景应用建设

目前，全球都在大力推进5G建设，抢占先机。在国内，能通过全息技术实现这种“全息传送”的代表性企业有微美全息（WIMIUS）。据悉，微美全息作为全息通讯技术领先者，依托自身5G技术，AI、AR/VR、边缘计算等，在众多领域探索出了一系列多场景化应用。此前该企业中标的中移动和媒体云平台二期全息远程互动项目，强化与中国移动等行业伙伴的紧密合作，助力全息通讯应用垂直领域。

作为5G全息通讯的`头部公司，微美全息自主研发及投入5G核心领域，将5G、AR/VR、全息通讯等技术融入，成功拿下了中标项目，推动5G全息通讯业务应用和实践。另外，微美全息打造5G+全息产业链横跨面广，运用全面前沿数字技术，可极大促进数字经济和实体经济深度融合发展，蕴含着巨大发展潜力。

具体来讲，微美全息5G+TO B全息应用使信息突破时空限制，其高速率、低时延特性能够满足AR/VR、超高清视频等典型应用对网络的要求，为用户提供极佳的人机交互体验。如5G 全息会议、远程办公等应用可提高工作效率，增强多地协同；5G+云演艺、4K/8K直播互动等应用提供更沉浸、更丰富的娱乐方式；5G+AR/VR直播购物、智能家居等应用提供更便捷、更多样的生活方式。

还有，微美全息依托5G网络的高带宽、低时延、全息投影的真实特点，跨越时空的5G全息课堂应运而生。基于5G+全息技术，通过全息与虚拟投影技术的叠加，将教师课堂俨然打造成生动活泼的虚拟课堂，打破了传统的教育方式，让学生仿佛置身现场一般，与名校高徒进行无障碍、无延时的交流互动等。

行业共识，随着5G全息通讯网络带宽条件变化,大举推动增强型移动宽带(eMBB)和物联网(IoT)应用。微美全息计划5G+AI人脸识别技术和全息AI人脸换脸技术的核心技术,用多个技术创新的系统支持全息技术服务和5G通讯全息应用获得有效增长。

不难推测出，微美全息这些年来探索全息技术，在多领域的科学化、数字化、虚拟化应用上，有助于提升全息技术的应用价值。并且推广应用促进发展，推进多个大类应用场景上升，奠定全社会良好的全息全景。

综上，5G通信技术的高速发展，为更多应用的展开打下了基石。特别是5G为全息通讯铺开道路。伴随着5G时代的到来，全息通讯渐渐显露出可以实现的苗头。

虽然就目前所达到的水准来说，全息通讯与理想中的效果仍有些距离，不过在这个方向上不断实现的技术突破，又带给全体消费者信心去展望未来。相信在5G大规模商用元年下，2022年行业也一定会有更多情景应用方面的开发。未来，全息通讯技术将大展身手。

医生被“全息传送”至国际空间站3

2021年10月，美国宇航局的飞行外科医生Josef Schmid博士、行业合作伙伴AEXA Aerospace首席执行官Fernando De La Pena laca和他们的团队成员，成为了首批从地球「全息传送」至太空的人类。

「这是一种全新的远距离人类交流方式」Schmid说。

「全息传送」是如何实现的？

这一次，NASA使用的设备是：微软的Hololens Kinect摄像机，以及一台装有Aexa Aerospace定制软件的个人电脑。

其实，微软HoloLens头显早已开发出来，但运用在太空这样的极端远程环境中，还是第1次。

Kinect是由微软公司生产的一系列动作感应输入设备，包含RGB摄像机、红外投影仪和探测器，可以进行实时手势识别、身体骨骼检测、语音识别、语音控制等。

而Aexa是一家为航空航天、医疗、石油等行业提供混合现实定制软件的供应商。

外科医生Schmid说，「全息传送」是一种捕捉技术，可以重建、压缩和实时传输高质量的人体3D模型。

微软HoloLens混合现实头显允许传输3D情景，允许使用者观看、听到并与远程参与者互动，就像实际上在同一个物理空间。

就这样，外科医生Josef Schmid博士等人被「全息传送」至国际空间站。因此，地面上的外科医生Josef Schmid和空间站的欧洲宇航员Thomas Pesquet，实现了首次实时3D图像对话。

现在，我们的人类实体可以离开地球「旅行」，虽然我们的肉体不在那里，但我们的人类却感觉就在那里。

更多的应用

为什么地面人员要和宇航员实现「全息传送」？

你想，能上太空的宇航员，堪称「国宝」，只有凤毛麟角的人才有资质。

然而，宇航员飞行那么久，万一出点病症，除了服药自治，还能怎么办？

要知道，上太空，他们是不会带私人医生出门的。

正是在这样的背景下，连接地面与太空的3D远程医疗应运而生。

2021年10月这一次，从地球「全息传送」到太空，让医疗专业人员与宇航员进行了首次磋商。

全息透镜医疗，配图与新闻无关

目前，NASA正在展示这种新的通信形式，「全息传送」在未来将有更广阔的应用前景。

下一步，NASA的计划是双向交流，除了地球上的人被「全息传送」到太空外，还要让宇航员「全息传送」回地球。

而且，「全息传送」还将和增强现实结合起来，以真正实现远程指导。

伴随着系统的运行，我们不仅在地球外「流浪」，还将在空间站上「生活」。

另外，「全息传送」可能会对未来的深空旅行产生重大影响。

随着火星计划的推进，往返火星存在的通信延迟问题，是一个需要克服的障碍。

那么，有了「全息传送」，是不是就改善了呢。

NASA表示，「无论人类在哪里探索，宇航员都需要与地球、任务控制中心联系」。

因此，传输技术对未来的太空任务至关重要。

华盛顿州，雷德蒙德 ——当人们第一次戴上全新HoloLens 2时，设备会自动开始识别他们：它会测量包括用户手的准确形状、精准的瞳距在内的一切数据。在英国剑桥领导HoloLens科学团队的资深科学家Jamie Shotton表示，实现这些功能的人工智能研发过程“惊人的复杂”，但如果想让使用该设备的体验变成一种“本能”体验，这些研发工作至关重要。

“我们希望用户不用专门学习，就知道如何使用HoloLens。”他补充到：“我们知道如何与现实世界中的事物进行交互：我们拿起东西，按下按钮，然后指向目标物。我们致力于将其直接转化为混合现实。”

微软于 2019年11年7日 在 纽约 宣布 HoloLens 2 正式开始向客户发货 。这款内置传感器的全息计算头戴显示设备利用人工智能代替时间和空间，创造出一个由人、位置和物体组成的混合现实，以促进我们最基本的人类冲动之一：交换知识。

微软技术院士Alex Kipman表示，我们希望这款头戴显示设备可以展示智能边缘设备的优秀能力——支持人工智能技术，即使没有稳定的互联网连接，也能收集和处理数据——并在联网时与智能云共享部分或全部数据。

不久之前，Kipman在他办公室的数字白板上勾勒了这种普适计算结构的示意图。他说：“HoloLens是微软首个基于这种世界观开发的设备。” HoloLens 2中的人工智能与微软云计算平台Azure的人工智能功能相结合，让那些需要腾出双手 *** 作的一线工作人员能够学习有助于职业发展的技能，并使地球两端说不同语言的人能够通过对物体的互通认知进行协作。

微软公司Microsoft Azure部门副总裁Julia White说：“你可以通过HoloLens做真正有趣的事，也可以通过云来做真正有趣的事。但是当这两者相结合时，你会发现，它改变了人们实际做事的方式方法。”

通过人工智能交付混合现实

为了实现与HoloLens 2的自然交互，Shotton和他的同事共同开发、训练人工智能模型，并将其部署在设备上，以跟踪人们的手部动作和视线，比如人们可以感知漂浮在自己眼前的全息影像并伸手调整大小或对其重新定位。

为了构建手部跟踪系统，该团队制作了一个带有向内指向的圆顶摄像头设备，用来记录人们各种各样的手形。之后团队会使用离线的云处理技术来构建能够代表所有人手形和动作的3D模型。通过这个3D模型，团队能够使用计算机图形来渲染逼真的合成人手图像和合成标签，从而使该模型能够适用于各种手形、姿势和运动。Shotton说：“你可以有效地生成无穷多的训练数据。”

该团队使用这些数据来训练一个紧凑型深度神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能够对来自设备的深度传感器的每一帧画面进行高效处理。当新用户戴上HoloLens 2时，系统会利用这个神经网络构建一个适合用户手掌大小的个性化3D模型，从而实现与全息影像自然交互所需的精确跟踪。

Shotton表示：“眼球追踪、全息影像和现实世界的匹配、人手的互动，所有这一切，如果没有足够的精度，根本谈不上本能自然的交互体验。”

贯穿边缘到云端的人工智能

不仅仅是手部和眼球跟踪功能，其它的智能功能，比如SLAM（同步定位与地图构建），都已经被嵌入到HoloLens 2的第二代全息处理单元中，该芯片也被称为HPU20。

Kipman把这种设备上的人工智能功能称作感知人工智能。他说：“感知就像爬行动物的大脑，它执行的是脑部本能、想都不用想的 *** 作。”对于人来说，这类智能使我们的心脏保持跳动、我们的肺部自主呼吸、我们的眼睛进行微跳动以测量景深。比如当我们口渴并想要喝水时，我们的眼睛会本能地测量到手举水杯到唇边的距离。

HoloLens 2上的感知人工智能使人们能够 *** 控全息影像并与之进行交互，而无需担心所谓的延迟——通常，数据传输到云端、进行处理并返回到边缘需要花数百毫秒的时间。当你在全息影像上按下一个按钮，或者用眼球在全息影像上浏览文本时，“即使几十毫秒也会产生显著的感知差异。”Shotton指出：“运转时长至关重要。”

对隐私的保护是在设备上进行本地人工智能计算的另一个原因，例如HoloLens 2用来验证客户身份的虹膜扫描信息——人们可能不希望将这类私人数据发送到云端。然而，对于许多其它类型的数据来说，将其发送到云端是有好处的：因为一旦这些数据到达云端，客户就可以利用Azure AI和混合现实服务，将他们设备上的数据与整个普适计算结构中的数据相结合，“这使很多更高级的运算和认知功能得以运行。”Kipman说。

云端协作

微软混合现实与人工智能苏黎世实验室主任Marc Pollefeys表示，智能云赋能的全息计算的一个关键优势就是，它可以与其他拥有HoloLens或类似设备的人共享信息。Pollefeys正在领导一个团队研发用于混合现实云服务的核心计算机视觉算法——Azure Spatial Anchors，该服务能够让全息影像保留并锁定在现实世界中，供任何具有适当访问权限的人查看。

比如说，Spatial Anchors技术让工厂管理者能够把全息影像放在装配线上的设备旁边，包含重要的实时 *** 作和维护信息，任何获得认证并拥有混合现实设备的工人都可以访问这些信息。

Pollefeys说：“如果我只能在我自己的设备上回看这些信息，那这样的全息影像就毫无意义。但是，如果我能够在全息影像中对现实世界进行批注和标记，并且公司里任何有访问权限的人都可以看到这些信息，那么这就实现了价值飞跃。”

为了创建这一功能，Pollefeys和他的团队开发了人工智能计算机视觉算法，该算法可处理来自传感器的数据，提取周围环境的3D几何信息，并将其整合、上传到云平台，创建出基于这些相关区域数字孪生系统或视图。

Pollefeys指出，HoloLens总是通过解读3D或空间信息的方式，了解其所在的运行环境。Azure Spatial Anchors创建、优化这些视图，并在各种设备上进行共享，这就是为什么要把来自各个设备的视图拼凑在一起并存储在云中。他说：“只在一台设备上存储这些数据是没有意义的。就好比我有一小块拼图、其他人也有一小块拼图，只有当我们把各自设备中生成的拼图整合到一起，才可以覆盖整个空间。”

随着各种支持混合现实功能的设备，包括HoloLens以及适当配置的手机、平板电脑和笔记本电脑，绘制出的环境信息不断整合，并共享在云端，这些视图将随着时间的推移变得更加详实、更加精确、更加强大。

以工厂为例，随着越来越多有访问权限的工人用自己的设备查看全息影像，工厂车间的整体视图将会不断地改进，最终完整全息影像将会被经理放置在装配线设备的上方。该功能还支持其它一些场景，例如：建筑师和客户开会时，每个参会人员都佩戴一个混合现实设备，将可以从自己的视角查看该建筑的全息3D设计图，并与之进行交互。

Julia White指出，Azure包含预构建服务，可在HoloLens和任何其它混合现实设备上，包括运行iOS和安卓 *** 作系统的智能手机和平板电脑，为这类体验编写应用程序。她指出：“这种协作体验不仅仅限于HoloLens。而且开发者在编写这些令人惊叹的应用时的成本、 *** 作难度和技能要求都随之 大大 降低。” 例如，跨设备和平台功能可以优化《我的世界：地球》的 游戏 体验。将流行的视频 游戏 与混合现实融合在一起，一个玩家可以在现实世界中搭建并放置可持久存在的虚拟结构，这样，其他玩家就可以在自己的设备上与之进行交互。

Julia White说：“我们都参与其中，因为它基于云技术，能够被各种类型的设备解读和诠释。”

以人为本的技术

Kipman指出，要想让HoloLens达到我们预想的那样去工作，支持这种体验的技术就必须以类似人类的方式来理解这个世界。因此，他和微软各个部门的同事合作，一同在这普适计算的数据网中开发、部署这些技术，并充分利用人工智能技术研究解决方案——从HoloLens 2的芯片到Azure AI和混合现实服务。

我们的目光再次回到Kipman的数字白板，他现在已经勾勒出一个普适计算的愿景，这个白板上有文字、方框、箭头，还有一幅简笔画——画中的两人在一个智能设备旁交谈。

他说，这就是普适计算的终极目标——让人们以自然的方式与他人进行交互。为了强调这一点，他特意停顿了一下，与观众进行眼神交流，并说：“希望你们能从这次的谈话中得到更多收获，因为在真实世界中大家现在就在我身边。”

他继续说道：“我们本可以通过 电话 或者Skype来交流，我甚至可以录下我的演讲，然后把磁带寄给你们。但大家没有选择这么做，而选择了面对面交流。为什么？因为这就是我们人类习惯的做事方式。”

“但这样面对面的缺点是，大家必须和我同时在同一个地点。而全息技术的力量就在于，它能够帮助我们打破空间和时间的界限。”

目前，HoloLens 2已经正式面向中国大陆地区市场发货，中国地区的设备定价为人民币27,388元。

与第一代HoloLens销售模式相比 ，新一代HoloLens 2发售时中国大陆地区将在原有微软中国官方商城的线上模式基础上，新增线下销售模式。

以上就是关于HoloLens创始人：视网膜投影或成为AR眼镜最佳代替方案全部的内容，包括:HoloLens创始人：视网膜投影或成为AR眼镜最佳代替方案、医生被“全息传送”至国际空间站、微软 HoloLens 2 的幕后故事等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！