微软将VR和AR的优势结合起来，创建了一个混合现实环境

在将数字能力引入我们的生活方面，虚拟现实和增强现实都有各自的优势。对于虚拟现实，用户看到的一切（包括环境与对象）都可以被控制和改变。这同时意味着用户所见并不一定反映着现实世界。例如，如果这时另一个用户进入房间，她将不会出现在VR世界。

另一方面，AR允许用户利用虚拟信息丰富他们的物理环境。你可以将虚拟对象添加到环境中，也可以在视觉上更改或删除现实世界的对象。然而，其中许多更改都难以实现。要删除物理对象，你必须能够通过虚拟内容覆盖现有的物理对象，从而令其不再可见。这需要虚拟对象和物理对象的精确对准，从物理对象背后提取背景信息的能力，以及能够以原始对象不再可见的方式覆盖物理对象的显示技术。由于典型的混合现实技术依赖于前置摄像头和头戴式透视显示器，又或者是视频透视显示器，因而这些变化可能难以实现，因为前置摄像头无法感知应删除物理对象背后的环境。

微软 开始探索将VR和AR的优势结合起来，在混合现实中创造性地 *** 纵空间与时间。他们创建了一个混合现实环境，其中用户可以看到周遭环境的实时表示。与其他方法相比，用户不是通过机载摄像头看到图像。相反，微软为房间配备了八个安装在天花板上的Kinect摄像头。摄像头的数据将组合成一个完整的3D房间重建视图。用户可以通过VR头显看到重建的环境实时视图。

微软团队将用户的虚拟视点与他们在房间中的实际位置相匹配。这意味着物理对象能够对齐虚拟表示。由于数据是实时传输，因此用户能够实时感知到物理环境中的任何变化（如家具的移动或进入房间的人）。用户仍然可以触摸和感受到现实世界，并同时获得执行几乎所有视觉变化的能力。

微软将这种类型的空间和时间 *** 作看作是一种新型的透视AR，它允许用户体验他们的物理环境，同时还可以实现通常只能在VR中进行的元素更改。用户可以轻松地“擦除”房间中的几何图形，比如重新粉刷模拟房间等等。由于Kinect摄像头是从多个角度覆盖环境，因此用户可以擦除房间中的一部分并浏览其背后的环境。这对于依赖于前置摄像头的传统AR而言十分具有挑战性，因为其无法感知对象背后的环境。

与此同时，这些空间和时间 *** 作令重新着色，移动或复制对象成为可能。“克隆”对象的例子如图3所示。由于所有更改都连续应用于实时几何体，因此在进行 *** 作后，对象任何的移动或复制都会继续实时动态更新。

时间变化同样有可能实现。用户可以暂停时间（即暂停接收实时数据），并在静态重建环境中自由移动。他们还可以记录事件，并以任何所需的速度播放它们。

图3（左）中的用户在跳跃时暂停了时间。这有效地为用户提供了静态3D重建，这意味着他仍然可以自由移动。由于环境是3D模型，更改用户视图就像修改相机视点一样简单。例如，用户可以虚拟地移动到房间的另一部分，并从不同的角度浏览环境，无需改变自己的物理位置（图1d和图5中说明了这种情况）。同样，微软实现了一个视图传送门机制。用户可以看到同时观察房间的各个部分。

由于这些实验结合了多个Kinect摄像头的数据，因此微软还实现了在用户当前空间内包含远程位置的功能。这种交互的灵感来自于早期的研究，如HoloportaTIon。图5是远程用户及其环境出现在了用户的当前视图。远程用户只需要一个Kinect摄像头即可。这种实现结合了本地和远程数据。

从房间改造，游戏到会议，微软为这种在混合现实中 *** 纵空间与时间的用例设想了一系列的有趣场景。我们可以扩展混合现实中的可能性空间，并提供一种无缝桥接虚拟世界和物理世界的方法。这可以支持用户完全控制感知物理环境的方式，并允许他们进行几乎所有的视觉修改。

微软同时设想混合现实的未来版本能够改变用户对物理的感知（如创建实时零重力环境），甚至是对时间的感知（如慢动作环境）。一旦用户无法再区分虚拟和真实，我们就可以寻求最舒适或最适当的平衡。微软设想这样的系统适用于广泛的心理物理实验（如调查灵魂出窍），或探索生活在颠倒世界中的感觉。这项研究代表了该领域的初步探索。微软表示未来还有很多工作要做，包括提高用户所见的视觉质量，而他们同时渴望继续挖掘这一方法的优势和局限。