金山云再出重磅服务：“AI画质+”震撼亮相GITC

金山云再出重磅服务：“AI画质+”震撼亮相GITC

近日，GITC2017全球互联网技术大会在北京国家会议中心召开。来自全球的160多位演讲嘉宾以“看不见的大象”为主题，从大数据应用、人工智能、IOT、互联网金融等多个维度和领域，全面分析了人工智能时代的技术趋势和最佳实践。

作为国内排名前三的云计算厂商，金山云在本次大会上推出了基于深度学习的图像/视频画质增强服务——金山云AI画质+。它包括视频超分辨率技术和复原技术。通过使用深度学习，可以消除马赛克、毛刺、重影等最常见的问题。在目前的各类视频中，最大程度的提升画质，节省带宽和码率，帮助视频运营商大大节约成本，提升用户观看体验。在GITC2017大会期间，“金山云AI画质+”的展览吸引了大量与会者了解和观看。可以想象，这项由金山云率先推出的，可以改变视频行业未来发展的技术，将会在各种移动终端上迅速普及。

金山视频云在GITC2017大会期间展示的“AI画质+”技术吸引了大批观众。

超分辨率技术大大缓解了视频运营商的成本压力。

对于互联网图像和视频运营商来说，目前最大的痛点就是随着互联网和多媒体技术的发展，互联网上的图像和视频越来越多。与此同时，存储和传输这些图像和视频的成本也越来越高。

因此，金山云提出了视频超分辨率技术，可以为视频提供商和用户大大节省存储成本和传输带宽，大大缓解上述问题带来的成本压力。该技术可以将高清视频放大成低分辨率视频进行传输，在接收端将低分辨率视频还原成高清视频。整个过程完全不会影响用户的视觉体验。金山视频云在移动端实现了这项技术，在实时处理的同时取得了非常好的效果。

金山视频云超分辨率技术与双线性插值效果比较

上面两张图分别是双线性插值和金山视频云超分技术放大180P视频帧4倍的结果。可以看到下图更清晰，文字区域更明显。这种效果得益于算法的精心设计和反复优化，良好的测试结果进一步验证了算法的有效性。金山视频云在MCL-V数据集上测试实时算法模型，并通过vmaf指标计算该算法与双线性插值算法之间的BD-rate。经过测试发现，该算法在节省50%以上带宽的基础上，可以达到与双线性插值相同的效果。而且算法适应性强，可以根据初始视频的分辨率选择合适的放大倍数，可以自动判断视频类型，选择最佳模型。通过测试发现，网络上的各种视频格式采用这种方法都能表现出良好的效果。

因此，超分辨率技术可以将低分辨率视频实时重建为高分辨率视频，尽可能还原细节。总的来说，这种技术有三个优点:一是可以有效压缩图像和视频大小，减少带宽和存储空；其次，完成移动终端的实时处理；第三，不同类型的视频可以根据需要采用特殊或通用的模型。

将每个视频秒变“大片”的修复技术

让我们看看另一项技术。想必视频从业者都遇到过各种原因造成的画质损伤:比如主播硬件设施差，无法在游戏中展现更清晰的画质，无法边玩游戏边聊直播；比如室外场景直播时的网络环境差；比如，平台为了节约成本，把码率设置得更低，导致运动时，尤其是激烈运动时，图像质量受损严重；比如视频拍摄时间长等等。除了这些因素，通过压缩改变视频码率来减少数据传输量也会影响图像质量。这种方法虽然可以节省成本，但是压缩也会带来视频马赛克、毛刺、振铃等。

对于这些问题，金山视频云的视频恢复算法提出了解决方案。这个算法有这些特点:第一，节省带宽；二是可以应对各种突发事件造成的画质损害；第三，与编解码器完全解耦，适应性广。基于此，视频修复算法可以将视频中的马赛克、毛刺、鬼影、噪声实时恢复到更好的图像质量，改善用户的视频体验。

视频编解码后的两帧视频图像

使用金山视频云修复模型后的图像效果

视频编解码后的两幅视频图像有明显的马赛克和毛刺。使用金山视频云的复原模型后，楼梯之间的毛刺和马赛克得到了很好的处理，保留了原有的纹理信息。和超分割模型一样，修复模型也可以在移动端实时处理，可以适应不同分辨率和不同类型的视频。

视频行业的新未来

金山视频云的超分辨率和还原算法都是基于深度学习技术。通过采集高清视频数据，模拟低码率视频，针对超分辨率和复原功能，针对不同类型、不同分辨率的视频训练不同的模型和模型参数。当用户观看低比特率视频时，该算法将实时输出高清视频。

实现这种效果的技术原理是，算法会先分析输入视频的分辨率和画质，判断是否适合超分或修复，再判断视频类型，比如是否属于游戏视频等。，然后根据判断结果选择最优模型，最后输出高分辨率或修复后的视频。当然也可以选择超分辨率或者手动修复。

随着苹果、谷歌(已推出统一神经网络接口)、高通等巨头在AI芯片领域的努力，金山云基于深度学习的视频超分辨率和视频恢复技术将在各类移动终端迅速普及。随着手持设备屏幕尺寸越来越大，家庭影院的普及，金山视频云未来将把4K视频超分辨率恢复纳入研究范围，让720P甚至540P视频通过超分辨率技术获得4K视频观看体验。