【超分辨率】略读ECBSR

【超分辨率】略读ECBSR 要点1

面对的问题：在实际的应用中，我们更需要轻量级的网络，需要更快地推理速度去完成SR任务。但是目前的许多工作都是在努力减少网络参数或者浮点数运算，有的时候参数和浮点数运算少的模型再一些移动设备上的运行速度并不快。为了解决这个问题，本文提出了一种面向边缘的卷积块（ECB），并且基于ECB有提出了一种可以应用在移动端的SR网络——ECBSR。

要点2

本文首先设计了一个基本的拓扑结构，如下：

这个基本结构没有多分支也没有dense连接，因为这两种结构都有可能导致更高的内存访问成本，而且鉴于移动端设备的芯片带宽比较有限，这个基本拓扑结构只设计了一个残差连接，连接的是三通道的图像空间，而不是多通道的特征图空间。

要点3

这个基本的拓扑结构能够在移动设备上运行很快，但是它的性能肯定是远不如哪些复杂的模型的。为了解决这个问题，基于结构重参数的思想，作者设计了一种模块ECB，这个模块可以更高效地提取图像的纹理信息和边缘信息，以便更好地完成SR任务，在训练时本文训练ECB的参数，但是在推理时，可以将ECB结构重参数化成一个3x3的卷积，提高推理速度。

要点4

ECB包含四个部分。

第一个部分：一个普通的3x3卷积，保证基本的性能。

第二个部分：扩展和挤压卷积，由一个1x1的卷积层和一个3x3的卷积层组成。1x1卷积扩展特征图维度（通道数），3x3卷积核再将特征图维度缩小挤压，最终的到特征信息更丰富的特征图。

第三个部分：一阶边缘信息提取，一条支路提取横向边缘，特征通过1x1卷积，然后通过一个尺度因子可学习的预先设定好的Sobel卷积核Dx。另一条支路提取纵向边缘，特征通过3x3卷积，然后通过一个尺度因子可学习的预先设定好的Sobel卷积核Dy。这两个预先 设定的卷积核如下：

整个第三部分可用下面的表达式来表示：

第四个部分：二阶边缘特征提取，使用一个1x1卷积和一个尺度因子可学习的预先设定好的拉普拉斯卷积核，这个核如下：

表达式如下：