【论文精读】Perception-based seam cutting for image stitching

图像拼接系列相关论文精读

1. Seam Carving for Content-Aware Image Resizing
2. As-Rigid-As-Possible Shape Manipulation
3. Adaptive As-Natural-As-Possible Image Stitching
4. Shape-Preserving Half-Projective Warps for Image Stitching
5. Seam-Driven Image Stitching
6. Parallax-tolerant Image Stitching
7. Parallax-Tolerant Image Stitching Based on Robust Elastic Warping
8. SuperPoint: Self-Supervised Interest Point Detection and Description
9. As-Projective-As-Possible Image Stitching with Moving DLT
10. Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching
11. Single-Perspective Warps in Natural Image Stitching
12. Local-Adaptive Image Alignment Based on Triangular Facet Approximation
13. Image stitching method by multi-feature constrained alignment and colour adjustment
14. Natural Image Stitching Using Depth Maps

文章目录

• 图像拼接系列相关论文精读
• 前言
• Abstract
• 1.Introduction
• 2.Approach
• • 2.1 Conventional seam-cutting approach
  • 2.2 Perception-based energy function
  • • 2.2.1 Sigmoid metric
  • 2.2.2 Saliency weights
  • 2.3 Proposed seam-cutting framework
• 3.Experiments
• • 3.1 Quantitative assessment
  • 3.2 Subjective assessment
  • 3.3 Integration
• 4.Conclusion
• 笔者总结

---

前言

论文：基于感知的接缝剪裁图像拼接
论文链接：Perception-based seam cutting for image stitching
论文源码：Perception-based seam cutting for image stitching

Abstract

图像拼接在消费者层面摄影依然有很大挑战由于不完美的图像获取。近期的研究表明，接缝剪裁方法可以有效缓解通过局部误对齐生成的伪影。通常，解封方法根据能力最小化描述。然而，现存的方法中的能量函数很少考虑人类感知。在本文中，我们提出一个新颖的基于感知的接缝拼接方法，它将人类感知的非线性和非一致性加入到能量最小化中。我们的方法使用sigmoid度量来表征颜色辨别的感知，并用显着性权重来模拟人眼倾向于更加关注的显著对象。另外，我们的方法容易和其他拼接方法结合。实验证明该方法比传统的接缝方法提升明显。

1.Introduction

图像拼接在计算机视觉和图形学中是一个值得研究的话题，主要包含对齐，合成，融合。在消费者层级的摄影，很难完成完美的对齐由于不受限制的拍摄环境。因此，图像合成变成最关键的步骤去生成无伪影的拼接结果。

接缝是一个强大的合成方法，它往往是在待对齐图像的重叠区域寻找一个不可见的接缝。现有方法通常关注能量最小化函数并通过图割优化最小化它。通常，对于给定的待对齐图像的重叠区域，不同的能量函数对应不同的接缝，进而对应不同的拼接结果。(图1)

相反，为了获得一个拼接结果，我们希望定义一个基于感知的能量函数，以至于最好的接缝有最小的能量。

近些年，许多成果致力于接缝，通过使用各种能量函数惩罚光照带来的不同。[20]中使用了欧式度量颜色不同定义一个平滑项，[1]中也考虑了梯度不同。[11]突出一个能量函数，允许大运动和曝光不同，但需要相机设置。[18]将有梯度平滑的平滑项和梯度相似项结合降根据接缝降低了结构复杂性。[37]结合对齐误差和高斯度量颜色不同用相似颜色控制了误对齐区域。然而，现存的方法在能量函数中没有考虑人类感知，有时会导致接缝比现有的最小能量更好。

接缝方法已经应用于图像对齐。[16]提出一个接缝驱动的图像拼接框架，从一些候选最小解封中找到最佳单应扭曲，而不是由最小对齐损失的。[36]结合单应和内容保护扭曲[24]去局部对齐图像，接缝成本用作一个质量度量预测单应扭曲怎样可以得到一个好的拼接结果。[23]提出接缝引导局部对齐，可以通过适当的特征权重提升扭曲，通过他们到当前接缝的距离。

本文中，我们提出一个新颖的基于感知的接缝拼接方法，将人类感知的非线性和非一致性引入到能量函数中。我们的方法包括三个部分。(图2）

第一步，对给定的重叠区域计算sigmoid色差作为平滑项表现颜色区分感知。然后，计算给定重叠区域的平均像素显著项作为显著权重去模拟人眼注意显著物体。最后，我们最小化基于感知的能量函数通过图割优化器以此获得接缝和对应的拼接结果。

实验证明我么的方法优于传统的接缝方法。研究表明我么的拼接结果在人类感知上更一致。
文章的主要贡献如下：

1. 我们提出一个基于感知的接缝拼接方法生成近乎于人类感知一致的拼接结果。
2. 我么的方法易于结合到其他拼接框架中。

2.Approach

本节，我们首先展示传统接缝方法的细节，然后提出基于感知的能量函数，最后总结我么的接缝框架。

2.1 Conventional seam-cutting approach

给定一对图像记为 I 0 , I 1 I_0,I_1 I0​,I1​，P为重叠区域，L={0，1}作为标签集合，0代表 I 0 I_0 I0​，1代表 I 1 I_1 I1​，接缝定义为给每个像素 p ∈ P p \in \mathbf{P} p∈P分配一个标签 l p ∈ L l_p \in \mathbf{L} lp​∈L。接缝方法的目标就是找到标签l，最小化能量函数。
E ( l ) = ∑ p ∈ P D p ( l p ) + ∑ ( p , q ) ∈ N S p , q ( l p , l q ) , (1) E(l) = \sum_{p\in \mathbf P}D_p(l_p) + \sum_{(p,q)\in \mathbf N}S_{p,q}(l_p,l_q),\tag1 E(l)=p∈P∑​Dp​(lp​)+(p,q)∈N∑​Sp,q​(lp​,lq​),(1)

N ⊂ P × P \mathbf{N \subset P \times P} N⊂P×P 是像素的向量系统。项Dp(lp)代表分配标签lp给像素p的成本，平滑项Spq代表一对标签的成本。
数据项定义为：

μ是一个惩罚数避免错误标签，后面的条件代表I和P的公共边界，图1a。事实上，数据项Dp(lp)固定了接缝端点作为两个彩色折线的交点(左下红蓝框交点)。图2e。

平滑项定义为：

能量函数（1）通过图割最小化来获得接缝和拼接结果(图1b）。显然，能量函数的定义在接缝方法中是最重要的。

2.2 Perception-based energy function

在实验中，可能存在另一条接缝比用能量函数最小化出来的接缝更好。因此，我们希望定义一个基于感知的能量函数以此让感知最佳接缝由最小的能量。

2.2.1 Sigmoid metric

图3展示了一个有趣的例子就是l_*不是感知的最佳。

实际上，b中展示的接缝穿过了局部误对齐区域(a中浅蓝色标记的)，因为欧式度量色差不能给它一个足够大的惩罚。相反，d中展示的接缝避免了局部误对齐区域(c中红色线)，因为sigmoid度量色差可以从对齐区域成功区别它。

特别地，颜色感知的非线性因为它有一个颜色区分阈值，意味着人眼不能从其他颜色中区分一些颜色甚至他们不同。让 τ \tau τ代表阈值，颜色区分感知由如下特征：

我们希望定义一个质量指标去衡量颜色不同可视化以至于不可见的项的成本近似于0，可见项的成本近似为1。幸运地是sigmoid函数恰好满足我们的需要。

现在，我们解释如何确定参数 τ \tau τ和 κ \kappa κ。跟定重叠区域P，阈值 τ \tau τ的作用是将P粗略分为对齐区域和未对齐其余通过色差，它和将灰度图分成前景和背景区域十分相似。因此，我们用众所周知的二值化算法[27]来确定合适的 τ \tau τ用最大类间方差。另一方面，k代表颜色遍布灵敏度在 τ \tau τ附近的上升速度。通常， κ = 1 / ϵ \kappa = 1/\epsilon κ=1/ϵ有不错的效果， ϵ \epsilon ϵ 是用二值化算法得到的直方图的块宽，实验中设置为0.06。

平滑项修改为：

2.2.2 Saliency weights

图4展示了另一个有趣的例子l_不是感知最佳。

实际上，bd中展示的接缝都穿过了局部未对齐区域。即使l的能量函数更好，它也比l感知更好，伪影出现的更少。

特别地，图像内容感知是不一致的，意味着人眼关注显著的物体。因此，显著区域的伪影比非显著区域的伪影更引人注目。

为了使这些观察有益，我们定义了显著权重：

基于感知的能量函数定义：

2.3 Proposed seam-cutting framework

我们的接缝拼接框架总结在算法1.

3.Experiments

在我们的实验中，我们首先使用SIFT检测匹配点，然后使用RANSAC确定全局单应扭曲。然后，对于重叠区域，我们使用二值化算法计算阈值 τ \tau τ，并使用显著目标检测[38]计算像素的显著权重。最后，我们使用图割获得接缝并融合拼接图通过梯度域融合生成拼接图。

我们和传统的接缝方法毕竟以及成熟的拼接工具如自动拼接和微软的ICE。为了公平，传统方法的拼接结果和我们的方法都基于相同的单应对齐。毕竟在我们自己的数据集上，也有公共数据集如[36]和[23]。

图5展示一个例子。

输入图像有视差，可以从花盆处看到。自动拼接有鬼影，ICE和传统的拼接算法也不能产生好的结果。视角伪影展示在红色矩形框中。我么的方法创造出了一个没有伪影的结果和Parallax和SEAGULL比。

图6展示另一个例子。
输入有视差，可以从飞机模型处看到。自动拼接有伪影，ICE和传统方法都有结构不一致。视角伪影展示在红框内。我们的方法生成了好的结果。

图5图6都是网上的公共数据。值得注意的是，即使没有先进的局部对齐，全局单应对齐和我们的拼接方法结合依然产生了可以比较的拼接结果。

3.1 Quantitative assessment

在合成步骤，可见的接缝可能产生结果不一致视觉伪影。我们将[23]的评估策略一致化去衡量接缝性能。特别地，对于拼接缝上的每个像素pi，我们提取m×m局部块中心pi。然后，我们在目标图和参照图的局部块中计算零归一化互相关(ZNCC)。最后，根据接缝，我们定义质量评估方法：

现在我们使用评估方法和其他传统方法比较。我们测试20组图像包括8个我们自己的数据集和12个公共数据集。表1展示了比较结果。

我们也比较了拼接结果仅使用sigmoid度量。我么的方法值更小。表1每列中加粗的值表示最小。

在大多数例子中，我们方法的接缝质量更高比仅使用sigmoid度量，并且二者都比传统方法好。在一些例子中，只用sigmoid方法比我们的方法还要稍好，但拼接结果都差一点。我们展示比较结果在图7专用明显提升接缝。

所有的20组例子均在补充材料中提供，包括中间接缝结果和最终拼接结果。

我们发现质量评估稳定在一个m的合理范围。图8

实验中设置m为15.

3.2 Subjective assessment

为了调查我们的方法和人类感知更一致，我们产生一个用户研究比较传统和我们的感知方法。我们要求15名参与者排名15组未标记的结果。图9展示证明我们的结果胜出。

3.3 Integration

除了单应对齐，我们的方法可以很容易整合到其他的对齐中。图10展示了一个例子。
给定APAP的重叠区域，我们的方法成功创造了没有伪影的结果，但是传统方法失败了。

4.Conclusion

本文中，我们提出一个基于感知的接缝拼接方法以此克服图像拼接在消费者层面摄影的挑战。实验展示我么的方法性能超越了传统接缝方法。全面的评估包括质量评估和主管评估证明我们的结果在人类感知上更一致。未来，我们计划将我们的方法整理成接缝驱动框架去处理图像对齐。

笔者总结

1. 加入了人类感知，后续还有一篇思路相近的论文A Seamless Image-Stitching Method Based on Human
   Visual Discrimination and Attention。也是天大出品。
2. 能量函数修改了平滑项和显著项，使用了sigmoid和显著权重。
3. 单用sigmoid也很好，传统图像拼接虽然没用深度学习，但却有很多参数和函数。。。深度学习yyds。
4. 很容易整合到其他方法中。
5. 接缝方法现在一般作为工具处理warp后的拼接图来消除伪影，比如2021CVPR的Line-point最后就是用这种方法融合的。
6. 能量函数是接缝方法主要要处理的，但能量函数最小的接缝不一定是感知最优的。