5G与AR、VR技术的融合发展探讨与研究

日前，南京软件谷·Qualcomm中国联合创新中心举办了XR与5G行业方案研讨会，研讨会以“5G启航·XR”主题，分析5G在教育、医疗、建筑、工业等应用场景中的潜力，探讨5G与AR、VR的融合发展。

在研讨会上，中兴通讯数字视频与视觉技术首席架构师、视频与视觉技术专家委员会副主席朱方在展示现场发表了以“AR云＠5G赋能垂直行业智能升级”为主题的演讲，围绕AR为垂直行业带来的潜在应用场景、中兴通讯在5G的部署、AR Cloud＠MEC在5G场景下的技术进步与挑战、对整个行业的展望四个方面展开了讨论。

AR技术：表面是改变应用场景，实质为贯通数据体系

朱方从人类视觉感知方式的变化开启了AR技术在垂直行业的潜在应用场景的话题。

源于近几年人工智能视觉的发展，人们对世界的感知从2D逐渐深入到3D。也有学者称，机器视觉的感知已经是3D世界感知，为AR附加信息的显示提供了“更温暖、更亲切”的方式。

朱方认为AR技术让人以一种新方式看三维世界，还提及了“五维观察方法”的概念，即不仅可以看到物体的三维信息，还可以沿着时间轴看到它的变化，同时根据人为的判断和选择看到它相应的改变。朱方以汽车销售为例，生动地解释了AR在视觉辅助上的重要作用：“用AR技术辅助车辆销售。我们不但可以看到车的颜色、尺寸、大小，还可以看到自主做出改变之后的样子。”

由此，朱方称AR技术真正让机器视觉从认知到理解，为互相之间的协同（即基于同一物理目标和同一现实对象的协同）成为可能，让各个领域的知识在竞演分享成为可能。

AR不仅仅是改变了应用场景，更重要的是它贯通了世界背后的数据体系。当在市场、维修、市场、规划、训练、设计以及制造等实际场景或工业产品中运用AR时，我们将获得一个完整生命周期的数据。在这些与人交互的过程中，与全生命周期的数字化信息中，我们可以对它进行更有效的大数据挖掘。

中兴通讯5G垂直行业解决方案：轻量化用户＋5G大管道＋MEC

中兴通讯对其云平台解决方案的实测数据说明：轻量化用户、5G大管道和MEC三大优势，使其垂直行业解决方案的成本可降低50％，系统延迟将降低75％，速率将提升十倍以上，点击率也将提高30％——换句话说就是省钱省时间。

经过五年的耕耘，中兴拥有超过1万个站点，其中包括了复杂的CBD以及各类场馆和郊区等不同模式，积累了丰富的经验，也为中兴提供了一个更丰富的产品体系。中兴通讯具备端到端完整的5G的商用化的实践经验和设备，有众多的合作伙伴，无论在生态产业还是应用的探索方面都做了大量实践，积累了丰富的经验。

“中兴在5G方面的部署也好，应用也好，都并非朝着人的控制而努力而是朝着触发数据背后的价值而努力。”

此外，朱方认为MEC（移动边缘计算，Mobile Edge CompuTIng）是5G的第一作用。“我们认为MEC不光是一个边缘计算，它还代表着运营商本身角色的变化，它通过我们的5G基础设施，成为除管道以外的能力提供者。”

针对VR云方面的资源调配，朱方则提醒到：“云有两层环境，一层你不用知道它在哪，因为它背后存在着很好的调配。其次，云的目的在于分享，把能力充分地分享给用户，形成一个更好更绿色的运营方式。这种分享不光是我们的客户方面，也将是在我们的伙伴和我们应用上。它实际上构建了一个微型生态，是一个创新的生态，便于本地协作和合作支持。 ”

AR云与5G、AR技术的结合，同时也形成了一些挑战，其中就包括低延时的编码和渲染技术。朱方提到未来的边缘云将包含了三大核心基础能力，渲染能力、云渲染能力、感知能力和低延时编码，而它带来的巨大变化在于头端将变轻。由此带来的变化是：一，待电时间更长；二，设备维护维持的时间更长；三，更智能和更有经验。

“这实际上开启了一个新的时代，我们称之为运动视觉。原来有个词叫HMI（Human Machine Interface，人机接口），意思是说用移动的方式用视觉导入它连接的人和物，这为我们开启了新的服务时代。同时我们认为整个产业应用生态的真正繁荣，依赖于通信技术、设备、场景和最终生产的有机结合。 ”

AR Cloud＠MEC在5G场景下的技术进步与挑战

在当前的阶段，AR领域的发展已有了一些优势，但同时也暴露出一些缺点以及一些亟待完成的工作。

首先，在机器视觉以及渲染方面，近几年的确取得了巨大的技术突破。从机器视觉在人脸和物体辨识上超过人眼，到现在能够生成以假乱真的视频，人工智能取得了迅猛发展。部分领域已有了一些AR应用，构建了一些以显示为主体和标准的数字流程知识和经验。

但朱方认为AR云不仅仅是把它放到云端，而是要让它成为一个真正接驳数字信息的窗口。仅仅显示三维结构，AR技术仍不足以成为真正意义上的数字信息窗口，并举例向大家提出了一个思考的方向：

“当我们看到一栋楼，我们可以看到它的三维结构，那么能不能看到它的物业管理情况、销售纪录、核心的买家或者是业主的一些兴趣爱好呢？如何从不同的方面来整合这些信息？哪方面是你希望得到的信息？”

要做到这一程度，AR技术仍需继续完善和拓展。

第二，面临的另一挑战即如何把一些已有的知识资产成为人眼可以显示的信息。大量的美术馆、博物馆以及历史资料都是以纸的方式来呈现信息，虽然有时候是电子形式，但无法让它做到随观察角度变化而变化，它也无法像一幅画一样在人们面前自如地展开。朱方提出重点在于如何把已有的信息转化为近点交互的信息格式，并形成一套知识体系。

第三，朱方认为AR领域近期有两个方面的问题亟待解决：一方面，由于AR包含了对象理解和环境理解，在人工智能当前的发展趋势下，深度学习有时是无法推理的，如何解决这一难题？朱方提出应该充分降低人工智能视觉和人类视觉的差距，把互动做的更加自然。

另一方面是构建视觉输入。语音人工智能在当下发展迅速，这也为人机交互的方式引入了新变化。AR将作为一个新的交互方式为交互方式带来巨大变革，那么由此所产生的交互方式的改变、交互内容的设计将是我们生态合作伙伴以及应用所需要关注的。

朱方认为AR的最佳交互方式是脑机接口：“人眼看到的东西是最直接最快速的反应，任何一种方式的转移，都无法反映你最直观的反应。

垂直行业解决方案ZTE uSamrTIN：充分赋能工业场景

朱方从中国作为工业和制造业大国的国情出发，提出工业和制造业等应用场景是AR与5G、VR云应用的重点垂直行业方向。

依照专业机构的调查数据，AR在工业方面有两大应用场景和两个典型部署方式非常有吸引力和价值，一是维护，二是准修。

全球大概5000个用例的数据统计表明，AR主要在两个应用范围将有巨大的潜力：厂房和封闭空间内。在工厂环境下或者制造环境下，通过5G网络可以构建更好的数据共享方式，重要的是通过切片等技术保证数据安全。

对此，朱方认为在这种场景下是真正脱离了有线通信的束缚，形成更好的协作和屏幕共享，这将非常有利于工业制造过程和生产效率的提升，真正促进了社会的发展。

就在4月17日，5G云XR亚洲峰会期间，中兴通讯联合了上海视天科技发布了首个5G手机＋轻量化AR眼镜（来自视天科技）＋AR云平台解决方案，并在现场演示了基于AR的视频业务。该5G方案可广泛应用于多种行业场景中，如在AR智能制造场景中，实现实时标注和专家指导，提升工作效率，以及在AR电力巡检、AR远程专家诊疗、AR直播移动观影等多种应用场景中发挥作用

AR应用推广面临的难题之最——追踪准确性

中兴通讯针对XR的统一技术解决方案，称为ZTE uSmarTIN，是针对融合视觉与数字视频的服务能力框架。该框架中提出了中兴通讯MEC整个技术框架实施方式到底是针对哪几大问题，并对整个AR应用在推广中遇到的问题做了一个专题。

首当其冲的就是实时追踪问题。在互动时候，如何能清楚地知道是跟谁互动？如何实时追踪？如何让摄像头像用户的眼睛一样智能，这涉及到追踪准确率的问题以及增强的初始空间定位方法，这三项技术难点的占比为30％，堪称技术难点之最。

难点之二是功效问题，包括设备穿戴的舒适性、用户的接受度（可靠性、可用性等）和用户交互方式，这些部分占到27％。通过运营商方式的AR云或者XR云，方便了授权，同时形成了设备无感知这样的使用方式，使AR应用能够更有效地提供应用场景，同时方便垂直行业的应用者介入市场。

朱方把中兴的角色定义为“公共平台”：“我们希望专业人员为专业人员服务，更好地让专业人员你垂直领域知道的知识，为垂直领域服务，而我们则为此提供一个公共平台。”

最后的关键问题依旧在于老生常谈的成本问题。朱方提出降低头盔成本或手机成本以提升用户的接受度的设想，认为在此情况下AR应用将有更佳的推广效果。“如果使用AR云，成本方面会降低10％左右。”

尽管前路荆棘丛生，朱方还是对AR与5G 的未来保持着美好的期望：“我想这将形成一个万物皆平的社会。万物皆平的背后是充分的信息共享与信息展示，最终形成一个新兴的社会服务模式。”