金山云再出重磅服务：“AI画质+”震撼亮相GITC

金山云再出重磅服务：“AI画质+”震撼亮相GITC

不久前，GITC2017世界互联网技术交流大会在北京国家国际会议中心举行。本次交流以“大象隐形”为主题，有来自世界各地的160多位特邀演讲嘉宾参加，从大数据、人工智能技术、IOT、网络金融等多层次行业的应用，全面分析了人工智能技术时期的技术出路和最佳实践。

作为国内三大云计算技术厂商之一，金山云在本次交流会上发布了基于深度神经网络提升图像/视频质量的服务项目——金山云AI画质。包括视频超分辨率技术和修复技术，利用深度神经网络消除目前各种视频中最常见的Massek、毛刺、图像重叠等问题。此外，它还可以大大提高图像质量，节省网络带宽和视频比特率，帮助视频运营商大大节省成本，改善客户的观看体验。在GITC2017交流会期间，“金山云AI画质”展览吸引了众多参会者观看。可遇不可求，这项由金山云率先发布的，可以改变视频制造行业发展方向的技术，将会在各类移动智能终端迅速普及。

金山视频云在GITC2017沟通会期间展示的“AI画质”技术吸引了众多观众。

超分辨率技术大大降低了视频运营商成本的工作压力。

对于互联网技术的图像和视频运营者来说，现阶段最大的困扰是随着互联网技术和多媒体系统技术的发展趋势，互联网上的图像和视频越来越多。此外，存储和传输这种图像和视频的成本越来越高。

因此，金山云明确提出了视频超分辨率技术，可以为视频服务商和客户大大节省存储成本和传输网络带宽，大大降低问题带来的成本和工作压力。这种技术可以将超清视频放大成低分辨率视频进行传输，在接收端将低分辨率视频转换成超清视频。整个过程不容易危及顾客的视觉效果。金山视频云在手机上完成了这项技术，在并行处理上取得了不错的实用效果。

金山视频云超分辨率技术与双线性插值的比较

上面两张图分别是用双线性插值和金山视频云超分技术将180P的视频帧放大4倍的结果。可以看到下图更清晰，文字区域也很明显。实际效果取决于优化算法的精心策划和不断优化，优秀的检测结果进一步验证了优化算法的有效性。金山视频云会在MCL-V数据上检测实时优化算法实体模型，在双线性插值优化算法中间使用vmaf指标值计算BD-rate。经过检测发现，优化算法可以节省50%以上的网络带宽，并获得与双线性插值相同的实际效果。而且优化算法适应性强，可以根据原始视频的像素选择合适的缩放比例，还可以自动区分视频类型选择最佳的实体模型。经检测，利用该方法可以对互联网上各种文件格式的各类视频显示出很好的实用效果。

不难看出，超分辨率技术可以将低分辨率视频瞬间重构为高像素视频，并尽量还原关键点。总的来说，这种技术有三个优点:一是合理缩小图像和视频大小，减少网络带宽和存储空空间；其次，进行移动终端的并行处理；第三，根据需求，使用专业或通用的实体模型，可以解决不同种类的视频。

补丁技术可以在几秒钟内将每个视频变成一个“大区域”

让我们看看另一项技术。我觉得视频从业者都遇到过各种原因造成的画质损伤:比如网络主播的硬件设施薄弱，没有办法在游戏中展现更清晰的画质，也没有办法边玩手游边聊直播间；比如直播间的网络空在室外情况下很差；比如，服务平台为了降低成本，将视频码率设置得较低，导致健身运动时，尤其是剧烈健身运动时，图像质量受损严重；比如视频拍摄时间长。除了这个因素，通过根据减少量改变视频码率来减少传输数据量也会损害图像质量。这种做法可以降低成本，但也会产生视频Massek、毛刺、振铃等。

针对这一问题，金山视频云的视频补丁优化算法明确提出了解决方案。这种优化算法具有以下特点:首先，节省网络带宽；其次，可以解决各种突发情况造成的画质损伤；第三，与编解码器完全解耦，适应性广。据此，视频修复优化算法可以将视频中的Massek、raw边缘、重叠阴影、噪声等瞬间修补成良好的图像质量，提升客户的视频体验。

视频编解码后的两帧视频图像

应用金山视频云修复实体模型后的实际图像效果

视频编码和解码后的两帧视频图像包含显著的掩蔽和毛刺。应用金山视频云对实体模型进行修复后，室内楼梯中间的毛刺和麻点得到了很好的解决，并且保留了初始的纹理信息内容。像hyper-sub-entity模型一样，patching实体模型可以在手机端并行处理，它会响应不同的像素和视频，没有不同的种类。

视频制造业的新时代

金山视频云的超分辨率和补丁优化算法都是基于深度神经网络技术。根据获得的超清视频数据信息和低码率视频的模拟，针对不同种类、不同像素的视频，训练不同的实体模型和实体模型的主要参数，进行超分辨率和修复。当客户观看低比特率视频时，优化算法会立即输出超清视频。

实现这种实用效果的技术基本原理是，优化算法会先分析类型化视频的像素和画质，区分是否适合过分或打补丁，然后区分视频的类型，比如是否属于手游视频，再根据区分结果选择最佳的物理模型，最后输出高像素或打补丁的视频。自然也可以手动选择超分辨率或者打补丁。

在iPhone、Google(已发布神经系统统一网线端口)、高通芯片等AI集成ic行业大佬的努力下，金山云可能会根据深度神经网络的视频超分辨率和视频补丁技术，在各种移动智能终端上快速普及。随着手持机器设备显示屏幕尺寸的不断提升和家庭影院套装的普及，金山视频云未来将把4k高清视频超分辨率还原纳入科研范畴，让720P甚至540P视频根据超分辨率技术获得4k高清视频的观看体验。