基于FPGA图像处理教程_技术

“No PP，No WAY”这是个眼见为实的世界，这是个视觉构成的信息洪流的世界。大脑处理视觉内容的速度比文字内容快6万倍，而随着智能手机的普及，图片、视频的产生和分享已经是人们在社交平台上的基本交流方式。用户通过手机、平板、电脑上传和分享自己的图片，而且这个趋势是每年都在增长(参见图1)。

图1. 2016年KPCB统计报告

每天QQ相册、微信朋友圈上，用户上传的图片数量有上亿张，这些图片被后台服务器存储下来，再通过网络分发出去。如果每张图片可以进行压缩，使得图片存储和传输分发的数据量越少，既节省了用户带宽，也提高了用户下载图片的速度，用户体验更好。那么图片是可以进行压缩的么？1948年，信息论学说的奠基人香农曾经论证：不论是语音或者图片，由于其信号中包含很多的冗余信息，所以可以对其进行压缩。图像压缩算法有：JPEG、WEBP、H264(帧内压缩)、HEVC(帧内压缩)，压缩能力是：JPEG < WEBP/H264(帧内压缩) < HEVC(帧内压缩)，这个压缩能力是通过计算复杂度的提高来实现，其中WEBP、HEVC的计算复杂度是 JPEG 压缩的 10 倍以上。目前在社交平台上用户上传的大量图片是JPEG格式，通过后台服务器用更加复杂的算法如WEBP、HEVC(帧内压缩)，进一步压缩以节省存储和带宽，所以对图像的压缩，从本质上是通过提高计算算力来降低存储和带宽。同时更加复杂的算法也带来计算算力的大量消耗和处理延时的增加。

从业务角度来看，对于离线业务，可以通过业务在波峰和波谷之间闲置的计算算力进行图片转码处理；但对于在线业务，图片转码处理对于处理延时的要求就会有较高要求，为了满足处理延时的要求，有时候会先进行图片转码处理，把转码好的图片存储下来，当用户需要的时候直接传输，这样通过消耗存储资源为代价来解决处理延时的要求。但是这又带来一个新问题，用户查看图片的智能终端屏幕大小不一，如果都传同样大小的图片，显然不是最优。最优处理方法还是能够通过计算算力，实时进行图片转码处理。

在数据中心里面，计算算力通常由x86 CPU来提供，以前的x86 CPU性能每18个月就能翻倍（众所周知的“摩尔定律”），但目前工业界的发展方向是摩尔定律已经走到终点。例如，2016年3月24日，英特尔宣布正式停用“工艺年-架构年(TIck-Tock)”处理器研发模式，未来研发周期将从两年周期向三年期转变。而国际半导体技术发展路线图（InternaTIonal Technology Roadmap for Semiconductors，简写 ITRS）在维持了数十年，每两年更新一次，为全世界半导体行业提供建议和规划指南，也在2016年宣布不再做进一步的更新。

一方面处理器性能再无法按照摩尔定律进行增长，另一方面数据增长对计算性能要求超过了按“摩尔定律”增长的速度。处理器本身无法满足高性能计算(HPC：High Performance Compute)应用软件的性能需求，导致需求和性能之间出现了缺口(参见图2)。

图 2. 计算需求和计算能力的缺口发展形式

图像处理解决方案

图片服务支持的能力丰富多样，基础功能包括多种缩略剪裁方式、文字图片水印、格式转换、断点续传、镜像存储、防盗链等。我们结合当前图文时代的用户需求，提供图片的上传、存储、处理、分发的全方位一体化的解决方案。目前，互联网图片服务的解决方案中落地存储和下载大部分图片格式还是JPEG/WEBP，但随着新的编码标准HEVC的出现，在同等图像质量下，HEVC的压缩效率会比JPEG/WEBP好30%~70%，可以节省大量的存储和带宽，但是HEVC的算法复杂度高导致CPU的编码延迟和吞吐在线上环境中无法满足，因此，我们开发了基于FPGA的新的解决方案。FPGA图像处理方案可以很好的解决线上环境的需求，当然，FPGA图像处理解决方案也兼容当前用户线上系统的WEBP等其他图像转码格式，可以很好的适应不同用户的需求，提供低延迟，高吞吐，低成本的解决方案。

我们以HEVC FPGA 图像处理为例，来说明在互联网业务中图片上传，存储，处理和下载的架构。