一种自适应权重MSRCR低照度图像增强算法_技术

王利娟 1，常霞 1，张伯妍 2 （1.北方民族大学宁夏智能信息与大数据处理重点实验室，宁夏银川 750021； 2.北方民族大学数学与信息科学学院图像处理与理解研究所，宁夏银川 750021）

摘要：针对多尺度 ReTInex 处理低照度图像出现的“光晕伪影”和色彩泛白现象，文中提出一种基于自适应权重带色彩恢复因子的多尺度ReTInex图像增强算法。在HSV颜色空间中先将亮度通道图像分解为ReTInex增强层和细节恢复层。在ReTInex增强层中，不同尺度参数具有不同的增强效果，根据像素的概率分布，计算明暗不同区域的概率分布函数，获得自适应权重。所提算法有效地克服了尺度参数对亮度信息恢复造成的过增强现象。

在细节恢复层中，导向滤波具有更优越的保边去噪特性，故采用导向滤波将图像分解成平滑层和边缘层图像，并利用增益系数增强边缘层信息。最后将自适应权重后Retinex亮度增强层、平滑层和边缘层图像融合重构为增强后的亮度通道图像，并在伽马校正算法中融入自适应调节因子来恢复图像在融合过程中丢失的部分细节和色彩信息。实验数据表明所提算法较其他对比算法具有更明显的优越性。

在光照不足或天气恶劣等条件下得到的图像无法满足人们对高清图像的需求，而图像增强算法可以改善图像的视觉效果。滤波器算法是一种典型的具有保边去噪特性的图像增强算法。经典滤波器算法包括高斯滤波器、拉普拉斯高斯滤波器和双边滤波器[1]等。用高斯滤波增强图像经常会出现过度模糊边缘现象。双边滤波器[2⁃3]是一种对图像像素的空间距离和亮度信息进行双重考虑的非迭代的滤波算法，但对图像中梯度变化大的部分，双边滤波核函数不稳定，极易出现梯度反转现象。武昆提出一种将图像的深度信息考虑在内的双边滤波器算法，增强结果具有较为清晰的轮廓和层次信息，但运算量较大，实时性也较差[4]。黄爱黎提出了对图像进行逐点变换的局部拉普拉斯滤波算法[5]，此算法中存在大量的冗余信息，时间复杂度为O(N2)。

导向滤波器(Guided Image Filter，GIF)是由He K等人提出的一种时间复杂度只有O(N)的滤波算法，此算法很好地克服了双边滤波中出现的梯度反转现象，该算法具有良好的保边去噪性[6]。 Retinex [7⁃8]是基于人眼视觉感知特性而提出的一种增强理论。最初提出基于路径[9⁃10]思想和基于偏微分思想[11]的Retinex图像增强算法。这两种算法有效地改善了低照度图像的质量，但算法中的参数较多，极易引入外界噪声；之后，学者们相继提出基于变分思想[12⁃13]和基于中心环绕思想的Retinex算法[14⁃19]，这两种算法很好地解决了因光照均匀这一假设所带来的光晕现象。只是其中的变分法较为灵活，难以构造出满意的目标函数。基于中心/环绕Retinex算法的增强结果具有较强的稳定性，所以被广泛地使用于图形图像领域。算法中使用对数处理的方式可以极大地提升暗区域的像素值，对于光照不足的低质量图像具有良好的增强效果。基于中心环绕的Retinex算法通常包括单尺度Retinex算法(Single⁃scale Retinex,SSR)[14⁃15],多尺度Retinex算法(Multi⁃scale Retinex，MSR)[16⁃17]和具有颜色恢复因子的MSR算法（Multi⁃scale Retinex with Color Restoration,MSRCR)[18⁃19]。其中SSR算法尺度较为单一，无法充分考虑到要增强的信息。

MSR算法是在SSR算法的基础上又增加了两个尺度的图像增强算法。在 MSRCR算法中，增加了颜色恢复因子，在改善图像局部细节信息和颜色保持方面取得了满意的效果。但在处理某些颜色比例失衡的极端类型图像时，颜色恢复因子依然无法精确地计算颜色之间的比例关系，增强结果经常趋于白化现象。同时MSRCR算法没有充分考虑图像的边缘信息，增强图像的边缘处于模糊状态。Li等人提出具有强鲁棒性的 Retinex算法(Robust⁃Retinex)[20]，该算法具有较强的颜色保真效果，但图像的局部细节信息并不清晰。针对导向滤波器的保边优势以及MSRCR算法中存在白化现象的局限性，本文提出在 HSV色彩空间下，将亮度通道V 图像分解为Retinex增强层和细节恢复层两层。各层之间相互独立增强图像，互相弥补缺点并突出自身优势[21]。在Retinex增强层中，自适应权重代替平均权重有效地提高了图像的对比度和亮度，但光晕现象以及梯度反转在图像边缘处引起的伪影不可避免。导向滤波的各向异性可以有效地保持图像的边缘信息。利用增益系数将原图像与平滑层图像相减所得到的边缘层图像进行增强。改进的伽马矫正算法融合各层优势，获得具有清晰边缘和色彩自然的增强图像。

1 MSRCR 和导向滤波

1.1 MSRCR 算法

在光照均匀的条件下，Retinex理论认为物体表面的反射光对于人眼辨识颜色信息起着决定性作用，而外界的光照对于人眼获取物体颜色信息并无太大影响。Retinex理论通常将图像I(x,y)表示为：式中：(x,y)表示图像的像素；R(x, y)和L(x,y)分别表示光反射和光照度分量。为了方便计算，降低算法的复杂度，通常将式（1）用对数形式表示可以得到SSR算法：式中:“*”表示高斯核卷积；f(x, y)通常表示高斯卷积核函数，满足：式中：k满足 ∬f (x,y)dxdy=1;σ表示尺度参数。得到MSR算法

式中：n表示尺度数目，一般n=3；j表示不同的尺度数，一般有σ1,σ2,σ3；fj(x,y)为不同尺度参数下的卷积核函数；ωj是第j个参数所对应的权重因子，一般取均值。为解决图像局部失真，引入色彩恢复因子Ci(x,y)，提出MSRCR算R：

式中：μ和η分别是影响图像色彩恢复的增益因子和偏移量，通常有μ=46,β=125。综上所述，Retinex算法中，对于一幅低照度的RGB图像，不同的尺度参数具有不同的增强效果，分别取小中大3个尺度（σ1=15,σ2=80,σ3=250）进行图像增强实验，增强结果如图1所示。

图1的增强结果显示，当σ1=15时，局部对比度提升，但丢失了许多细节信息，色调变差；当σ1=250时，图像的细节信息、亮度信息和颜色信息可保留更多；当σ1=80时，细节信息有所恢复，但亮度信息恢复不足。本文算法则利用自适应权重将不同尺度参数的优点进行融合，使得MSRCR算法的反射分量结果包含更多的细节内容。

1.2 导向滤波

导向滤波经常被用作图像增强的预处理算法。假设引导图像与滤波图像之间满足局部线性关系 [22]。将输入图像I，输出的滤波图像q通常用线性表示为：式中：p为引导图像；k为滤波窗口的中心位置；i为窗口中像素的索引；a和b表示线性函数的常数系数。对滤波图像取梯度的时候，可得∇q=a∇p。可见当引导图像有梯度，滤波图像也会有梯度时，因此引导滤波对图像具有良好的平滑保边特性。为了计算ak和bk，定义损失函数：式中λ属于正则项。利用线性回归可得到 ak和 bk的值：

式中：μk和σ2k分别为窗口中引导图像p的均值和方差；|ω|为窗口中像素的个数；Iˉk为输入图像I的均值。在滤波过程中，同一个像素在不同的窗口作用下会输出不同的像素值，故需要计算它们的均值：导向滤波算法的最大优势是滤波窗口的大小并不会影响算法的时间复杂度，因此在处理大型图像时可以选择较大的滤波窗口。原图像减去滤波后的图像可以得到边缘细节图像，本文算法便是利用该特性获得边缘层图像，将边缘层信息增强后再与滤波图像进行重构得到新的细节恢复层图像。

2 基于自适应权重的 MSRCR

传统的MSRCR算法通常会同时处理R，G，B三个颜色通道，所以三者之间通常会出现色彩比例不协调现象，导致增强结果呈现白化现象。在HSV颜色空间中，V通道分量包含了图像大量的细节信息。不同的尺度参数会得到不同的增强结果，不能依赖传统 MSRCR算法中三个尺度平均占比的思想。本文提出自适应权重的MSRCR算法，将V 通道分解为 Retinex 增强层V1和细节恢复层V2。利用自适应权重的MSRCR算法增强 V1，得到增强层结果Q1，利用导向滤波算法的保边优势增强V2，得到平滑层Q2和边缘层Q3信息。这三层信息进行融合得到最终的增强结果V。算法实现过程如图2所示。

2.1 图像多层次分解 本文提出基于融合的思想调节图像的照明问题。通常有一些成熟的算法具有特定的增强效果，例如CLAHE算法和滤波器分别改善图像的局部对比度和噪声，因此可以结合它们各自的优势[23]。受此启发，本文将V通道图像进行分层，分别记为Retinex增强层V1 和细节恢复层V2，并设计两个权重，满足：分层后所得到的融合结果既要避免 V2 层边缘放大造成过度卡通化，又要避免Retinex 算法出现的亮度过度增强导致增强结果出现白化现象。图3为3组V 在不同权重下的融合结果对比图。

由图3可得，图像Retinex增强层所占的比重较小时，融合结果呈现过分曝光趋势，出现部分细节信息丢失现象；Retinex增强层所占的比重超过V1=0.8V时，融合结果的亮度保持效果呈现过度下降趋势，出现部分细节模糊现象。当 Retinex 增强层所占的比重为 V1=0.8V时，塔和树木的边缘信息都得到了增强，图像的对比度也得到了改善。故 Retinex 增强层所占的比重为V1=0.8V，细节恢复层所占比重为V2=0.2V 时的融合效果最好。

2.2 Retinex增强层

在MSRCR算法中，使用15，80和250三个尺度参数的高斯核对图像V1通道进行高斯滤波。由图1可知，大尺度所占比重较大时得到的增强结果最好。所以本文依据图像像素明暗程度提出自适应权重的MSRCR算法。在[0,255]范围内利用标准正态分布将图像像素等区域分为暗像素点、中亮像素点和亮像素点3类,即暗区域[0,85]、中暗区域[85,170]和亮区域[170,255]。再分别取均值作为3个区域的代表值作为正态分布的期望值，即μ1=43，μ2=128，μ3=213。对图像V1层的3类像素点进行似然概率[24]计算，则有：

为得到原图像的权重，根据这些概率值，将3个权重定义为：自适应 MSRCR 具体实现如下：

式中：Q1(x, y)为Retinex增强层的增强结果图像；ωΤj为权重ωj的转置。综上所述，从权重计算原理分析，该算法实现了对于大尺度占比较大、小尺度占比较少的目的，并且整个过程权重选择是自适应实现的过程，有效地克服了上述MSRCR算法中均值权重的缺陷。图4为自适应权重MSRCR算法前后的输出结果。图4c）显示，自适应权重后的图像对比度和亮度明显提高，部分细节信息也均在。

2.3 细节恢复层

为进一步增强图像的细节信息,对细节恢复层V2=0.2V通道图像进行导向滤波，达到保边去噪的效果。实验步骤如下： 1）利用导向滤波模糊细节层图像V2，得到模糊的平滑层图像Q2； 2）细节层图像V2减去平滑层图像Q2得到的差值图像，即为边缘层图像Q3，满足:Q3= V2-Q2； 3）在细节层图像V2上加上边缘层图像的一个权重部分即增益系数，满足：此处的增益系数k不易过大，如果原图像有任何零值或者选择的k值过大，使得增益之后的峰值大于原图像中的最小值时，这样会导致最终的结果出现负灰度。负值将会导致边缘周围出现暗色晕轮，所以这里取k=2即可达到高度提升滤波的效果。实验效果如图5所示。图5e)、图5f）显示，边缘增强后的V2结果比边缘未增强的V2结果更加清晰，尤其是塔的栅栏处以及树木的轮廓。最后将细节恢复层的结果V2与Retinex增强层结果Q1进行融合，融合过程如下：对于融合之后出现的部分细节丢失和部分色彩显示不自然现象，本文设计一种新的细节恢复方案，利用像素与像素邻域均值的关系和伽马矫正相结合的策略来恢复丢失的信息。

算法步骤如下： 1）对V进行归一化，选择一定大小的模板窗口m×n，通常选取3×3； 2）对于当前像素f (x,y )，计算其局部区域8邻域均值 3）利用增强强度s增强该点灰度值，提升对比度，满足： 4）利用伽马矫正对V进行色彩恢复，满足：式中：Vfina为恢复细节后融合图像；Rm为V归一化的均值；h为调节因子，图像越暗则 Rm越小，h便增大。 5）最后将融合后的图像转换到RGB空间，得到RGB格式的增强图像Ien。

3 实验结果

将本文算法与SSR、MSR、MSRCR和Robust⁃Retinex[20]算法在Matlab 2018b的PC 端进行对比实验。实验结果如图6~图10所示。图6~图10的实验结果：SSR算法的增强结果中显示，虽然图像的局部细节信息和局部纹理信息的质量有所改善，但对于图像整体的对比度增强和亮度保持效果较弱，整体呈现视觉感知较暗现象，颜色信息恢复的也较少且存在局部色彩失真现象。图6~图8结果：基于MSR与MSRCR算法的增强结果中显示，增强结果出现整体色彩偏紫的失真现象，不符合人眼的视觉特性。图9、图10中，基于MSR与MSRCR算法的结果显示，增强结果趋于白化现象，整体较模糊，导致部分细节信息无法被清晰的显示。图6~图9中基于Robust⁃Retinex算法的结果显示，增强结果的色彩自然，亮度和对比度信息都有所恢复，但是依然存在细节信息丢失，整体呈现雾化视觉效果，图像细节信息的清晰度下降。

图10中基于 Robust⁃Retinex算法的整体增强效果良好，图像的细节恢复较多；而本文算法的增强结果既不存在失真和白化现象，也不存在雾化模糊情况。在视觉感知上，本文算法结果整体上更加清晰自然，尤其对于图像的色彩信息具有较强的恢复能力。增强图像的结果除了主观上的表达，还需要使用一些测量数据进行客观评估，包括熵、Tenengrad[25]和平均梯度[26]。图像熵是一种基于概率的强度分布统计信息，可以衡量图像信息的丰富程度，公式如下：式中：p (xi)代表像素值的概率；MN表示像素总数。 Tenengrad反映了图像的清晰程度，公式如下：式中：Δm x(u,v )和Δn x(u,v)分别是像素(u,v )水平与垂直方向上像素之间的差异。平均梯度反映图像对细节反差和纹理变化，公式为：式中∇ij表示沿着i方向上在j位置上图像的梯度值。图像的客观评估指标结果如表1~表5所示。

从表1~表5中的客观数据的结果可知，5种算法的各个评价指标呈现递增的变化趋势，这是因为改进算法对于图像的颜色信息以及对比度信息不断改进，算法的细节内容在不断的增强。而本文算法的熵值、清晰度、平均梯度指标比其他对比算法都大，都得到了提升。这说明本文算法恢复了更多的细节信息和颜色信息，具有较高的亮度保持度和色彩保真度。

4 结论

针对基于MSRCR算法的低照度图像增强结果趋于白化现象，本文提出一种自适应权重 MSRCR低照度图像增强算法。所提算法有效地结合了Retinex算法和导向滤波器的优势，并且对MSRCR算法中的平均权重进行改进，使得尺度参数在光照估计的过程中可以自适应调节，这样既避免了图像失真又平衡了亮度信息。利用增益系数对边缘层增强之后再与平滑层结合能更有效地发挥导向滤波保边去噪的优势，有效地增强了图像的细节信息。实验结果显示，无论是主观评价还是客观评价数据均表明，本文算法有效地提高了图像对比度并突出了细节，有利于后续的图像处理任务。注：本文通讯作者为常霞。

参考文献 [1] 王慧琴 .数字图像处理[M].北京：北京邮电大学出版社，2006. [2] 田小平，姜薇，吴成茂 . 基于双边滤波的低亮度图像增强算法[J].西安邮电大学学报，2016，21（4）：43⁃47. [3] 常戬，贺春泽，董育理，等 .改进双边滤波和阈值函数的图像增强算法[J].计算机工程与应用，2020，56（3）：207⁃213. [4] 武昆 . 基于边缘保持滤波器的彩色图像增强算法研究[D]. 长春：中国科学院，2017. [5] 黄爱黎 .快速局部拉普拉斯滤波器的研究与应用[D]. 昆明：云南大学，2018. [6] HE K，SUN J，TANG X. Guided image filtering [J]. IEEEtransactionson pattern analysis & machine intelligence，2013，35（6）：1397⁃1409. [7] YU X Y，LUO X Y，LÜ G H，et al. A novel Retinex basedenhancement algorithm considering noise [C]// IEEE / ACISInternational Conference on Computer & Information Science.Wuhan：IEEE，2017：15. [8] 龙鑫 .基于 Retinex 理论的低照度图像增强研究[D].重庆：重庆邮电大学，2019. [9] 代少升，刘琴，王斐，等 . 基于路径的 Retinex 算法在红外图像增强中的应用[J].半导体光电，2015，36（3）：482⁃485. [10] SIMONE G，CORDONE R，SERAPIONI R P，et al. On edge⁃aware path ⁃ based color spatial sampling for Retinex：fromtermite Retinex to light energy ⁃ driven termite Retinex [J].Journal of electronic imaging，2017，26（3）：031203. [11] 余萍，郝成成 .基于分数阶微分和多尺度 Retinex 联合的雾霭图像增强算法[J]. 激光与光电子学进展，2018，55（1）：280⁃285. [12] 董雪，林明星 . 基于变分结构引导滤波的低照度图像增强算法[J].山东大学学报（理学版），2020，55（9）：72⁃80. [13] MA W，OSHER S. A TV Bregman iterative model of Retinextheory [J]. Inverse problems and imaging，2017，6（4）：697⁃708. [14] 赵冬梅，李斯娜 .改进单尺度 Retinex的彩色图像增强算法[J].现代电子技术，2018，41（17）：71⁃75. [15] 王彦林，张进 .改进成像模型的单尺度 Retinex 彩色图像增强算法[J].计算机工程与设计，2018，39（11）：3511⁃3515. [16] YANG X H，YANG J L. Research of image enhancementalgorithm based on multi ⁃ scale Retinex [J]. Advances inintelligent systems and computing，2015，329：207⁃215. [17] ZOTIN A. Fast algorithm of image enhancement based onmulti ⁃ scale Retinex [J]. Procedia computer science，2018，131：6⁃14. [18] ZHANG Weidong，DONG Lili，PAN Xipeng，et al. Singleimage defogging based on multi ⁃ channel convolutionalMSRCR [J]. IEEE access，2019，7（1）：72492⁃72504. [19] 衡宝川，肖迪，张翔 . 结合 MSRCP 增强的夜间彩色图像拼接算法[J].计算机工程与设计，2019，40（11）：3200⁃3204. [20] LI Mading，LIU Jiaying，YANG Wenhua，et al. Structure ⁃revealing low ⁃ light image enhancement via robust Retinexmodel [J]. IEEE transactions on image processing， 2018（99）：2828⁃2841. [21] ZOTIN Alexander. Fast algorithm of image enhancementbased on multi ⁃ scale Retinex [J]. Procedia computer science，2018，131：6⁃14. [22] 王卫星，肖翔，陈良琴 .结合最小滤波和引导滤波的暗原色去雾[J].光学精密工程，2015，23（7）：2100⁃2108. [23] KUMAR M，RNAN A. Image enhancement using contrastlimited adaptive histogram equalization and wiener filter [J].International journal of advanced trends in computer scienceand engineering，2016（2）：11⁃19. [24] 盛骤 . 概率论与数理统计[M].3 版 . 北京：高等教育出版社，2001. [25] RAJU G， NAIR M S. A fast and efficient color imageenhancement method based on fuzzy ⁃ logic and histogram [J].AEUe ⁃international journal of electronices and communications，2014，68（3）：237⁃243. [26] 孙星星，郑俊褒，曹志玲 .基于引导滤波与 LoG 算子的安检图像增强算法[J].软件导刊，2020，19（8）：226⁃229.