【论文精读】Stable Linear Structures and Seam Measurements for Parallax Image Stitching

图像拼接系列相关论文精读

1. Seam Carving for Content-Aware Image Resizing
2. As-Rigid-As-Possible Shape Manipulation
3. Adaptive As-Natural-As-Possible Image Stitching
4. Shape-Preserving Half-Projective Warps for Image Stitching
5. Seam-Driven Image Stitching
6. Parallax-tolerant Image Stitching
7. Parallax-Tolerant Image Stitching Based on Robust Elastic Warping
8. SuperPoint: Self-Supervised Interest Point Detection and Description
9. As-Projective-As-Possible Image Stitching with Moving DLT
10. Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching
11. Single-Perspective Warps in Natural Image Stitching
12. Local-Adaptive Image Alignment Based on Triangular Facet Approximation
13. Image stitching method by multi-feature constrained alignment and colour adjustment
14. Natural Image Stitching Using Depth Maps
15. Perception-based seam cutting for image stitching

文章目录

• 图像拼接系列相关论文精读
• 前言
• 摘要
• Ⅰ.INTRODUCTION
• Ⅱ.RELATED WORKS
• Ⅲ.PROPOSED METHOD
• • A.Alignment Term
  • B.Distortion Term
  • C.Salient Term
  • D.Objective Energy Term
  • E.Hybrid Actor-Critic for Seam Estimated
• Ⅳ.EXPERIMENTAL RESULTS
• • A.Quantitative Evaluation of Stitching
  • B.Ablation Study
  • C.Visula Evaluation
• Ⅴ.CONCLUSION
• 笔者总结

---

前言

论文：Stable Linear Structures and Seam Measurements for Parallax Image Stitching - 基于稳定线结构和接缝测量的视差图像拼接方法
论文链接：Stable Linear Structures and Seam Measurements for Parallax Image Stitching

摘要

视差问题是图像拼接中的基本问题。为了解决这个问题，空域变化场和基于接缝的方法正在增多。然而，依然存在需要解决的问题。首先，空域变化扭曲的实施需要一个前提就是重叠区域可以对齐：如果没有这个前提，通过误对齐造成的鬼影就会更严重。另外，空域变化可能造成失真，由于局部单应的不一致问题。第二，传统的接缝方法会导致目标被剪裁或复制。因此，在本文中，我们提出一个稳定的图像拼接框架：该框架由两部分组成，统一的线结构模型，可以减少投影和透视失真，同时在非重叠区域保护目标结构；一个稳定的混合结构计算稳定接缝在重叠区域减小视差。比较实验展示了该方法在减少鬼影和保护结构上由于一些传统方法。

Ⅰ.INTRODUCTION

图像拼接是将两张或者更多张图像的重叠区域结合的过程，目标是产生一个高分辨率广视角的图像。它已经广泛应用于很多领域，例如UAV，遥感和虚拟现实。视差是图像拼接的基础问题。它通过不同图像的目标的相关位置造成的误对齐产生。

显著，研究视差问题主要是关注空域变化扭曲和接缝剪裁。前者主要是将目标图分成多个区域，基于计算的局部单应，进而用能量项优化对齐。然而，由于每个区域都有一个通常不同于相邻区域的独立的单应，这种方法可能出现单应不一致问题。例如，不一致的单应扭曲一些目标并且完全一些直线。为了减少单应不一致，全局单应需要计算和使用，因为它可以在整个目标图中保护线结构，但是它在非重叠区域有投影和透视失真。为了减少整个图像的失真，基于全局单应的优化是必要的。接缝方法用于寻找一条接缝可以将图像的重叠区域分成两个空间，通过优化一个像素值惩罚函数。如果惩罚函数的一些参数的选择不合适，一些目标可能被裁剪或复制。为了获得最佳接缝，有一个鲁棒性的方法调整惩罚函数的参数是有必要的。

为了实现稳定的线结构，我们首先通过APAP对齐两幅图像，它可以保证全局单应的一致性同时实现更高的准确率。进一步，为了减少投影和透视失真，我们是用CPW的想法，它可以通过添加限制补偿局部变形。细节上，点线特征整合成对齐项使两幅图对应的更准。SPW中的相交线特征用于获得单应斜率，表示为失真项以此减少投影和透视失真。显著线，一种足够长的线特征，表示为显著项来保护扭曲后的线结构。然后，对齐项是真相和显著项整合成一个总能量函数去补偿扭曲的结构。

为了实现稳定的接缝方法，我们整合SSIM评估模型和像素值差评估模型为一个混合结构，SSIM评估模型用来确保重叠区域的一致性，像素值差模型用于计算接缝像素的成本，actor用于更新接缝。在这样的结构下，我们可以在一个迭代过程中计算和更新平滑项，直到它拟合成一个稳定的值，这意味着找到了最合适的接缝。

在本文中，我们提出一个基于大视差图像拼接的稳定的两步策略。我们首先计算一个初始的局部单应，网格化目标图像并解能量项，包括对齐项，失真项和显著项，以此获得优化后的扭曲图像，可以确定图像结构。我们通过更新平滑项找到一个稳定的接缝，可以保证重叠区域的目标不被裁剪和复制。我们方法的整体流程展示在图1中。
总之，我们工作的贡献如下：

1. 稳定线结构用于保护图像结构通过添加限制到能量项中。
2. 稳定接缝策略通过混合结构用于计算稳定的接缝减小视差。
3. 实验展示该方法减少大视差造成的鬼影同时有效保护了图像结构并且性能优于传统的图像拼接方法。

本文剩下的安排：略。

Ⅱ.RELATED WORKS

通常，大多数图像拼接分为两步：目标图的坐标首先变换到参照图；重叠区域的像素局部地平均值被分配。在本节，我们介绍一些关于空域变化扭曲，结构保护和接缝的主要相关工作。

空域变化扭曲方法：为了减小视差，[19]将图像分成一个远平面和一个地平面，计算二者的单应扭曲，线性化地结合它们。下面这个想法，[4]关注于多个局部仿射扭曲而不是仅关注两个平面，关于局部变形和对齐它对齐地更准。

然而，单应的不一致问题存在两种方法的内在，会有目标失真和显著线。APAP[8]扭曲提供一个局部对齐能力，已经是一个有前景的图像拼接技术。它包括将图像分成稠密的网格，将高斯权重分给每个网格的单应，用mDLT将图像区域无缝连接。在[8]的工作基础上，[20]在非重叠区域应用相似变换去优化扭曲的目标。在[21],为了减少使用APAP，Lin突出一个适应方法叫学生t权重，在局部单应中调整高斯权重。

即使这些方法已经通过很多例子证明有效，它们也不能控制这样的例子——网格中的一个与找过一个平面结合。结果是，局部单应计算不准。为了进一步减小视差，Li通过TPS代替APAP中的能量项以确定最优解[17]。结构展示比APAP更好，但这个方法无法对齐遮挡场景。除了使用网格划分，Li介绍了三角剖分[22]增强局部对齐的准确。然而，这种方法需要重叠区域的特征稠密分布，并且如果不满足，失真和鬼影可能同时出现在重叠和非重叠区域。Lee突出一个拼接算法对于大视差鲁棒，它是通过将输入图像分成超像素和获得最优对应单应通过残差扭曲的方式。

即使这个方法成功地在相邻目标边界缓解大视差，它也不可避免图像剩余部分有失真。（图2）
进一步，APAP算法和残差扭曲算法要求足够的特征去对齐重叠区域，这使得它们受限于特征从而不适合某些图像拼接。

结构保护：Li将线特征添加到APAP中用于对齐规则纹理区域。Xiang提出线引导的局部扭曲，可以通过结合线限制相似减少失真。Li提出单透视扭曲[24]，它建立一个数学模型平衡投影和透视损失。CPW提出用于3D视频防抖[16]，通过直接扭曲偏离图像部分补偿失真，并且，用于应用，Yan优化水平和垂直损失在立体图形拼接通过CPW。它们提供一定程度的又是在确定图形结构上，但却在很多大视差的例子上失败了。

接缝：用于图像拼接的接缝策略首先通过Gao[11]提出，生成一个有限对齐理论通过RANSAC和选择最优接缝最小化成本。Li提出一个新颖的方法考虑人类感知的非线性和非一致性：它们使用Sigmoid度量而不是欧式度量在平滑项，并通过一个显著权重优化。虽然这些有效的方法减少由于视差产生的鬼影，但它们可能导致目标被裁剪或复制。Herrmann将目标中心应用到目标损失问题上基于[6]：它们通过修改能量函数惩罚剪裁、遗漏、复制错误。最终的结构更真实效果更好。然而，该方法依赖目标检测算法的性能。

Ⅲ.PROPOSED METHOD A.Alignment Term

I’是参照图，I是目标图，它们有重叠区域。对齐两幅图重叠区域的目标是通过线性变换得到匹配像素。p=[x,y]和p’=[x’,y’]是两幅图的匹配点对。从目标图到参照图的线性变换用下面等式关联：

虽然单应矩阵H未知，我们通过匹配点计算H。用APAP算法计算局部单应。

为了优化局部，基于网格的方法用于图像拼接。在我们的工作中，目标图首先分成规律的网格，用于引导图像扭曲。预扭曲图通过一个四个网格点的线性变换得到:p=wV，w=[w1,w2,w3,w4]。这些顶点由玩个变换后的顶点组成，p’是线性插值。因此，点扭曲问题表示成网格扭曲问题。对齐项Ep用于对齐点特征。

p’表示参照图的匹配点。匹配线用来进一步提升对齐。

B.Distortion Term

失真问题可以通过QH有效缓解，水平线lu的尺度是线性的，我们通过优化相交线特征的斜率保护投影和透视。假设lu代表水平线保护扭曲后的斜率，lv是将目标图分成重叠区域和非重叠区域。给定单应，有一个独一无二的平行线簇可以维持平行线关系[14]、扭曲前后的lu斜率单应参数计算关系如下：

透视项Eps：

投影项Epj：

二者结合：

C.Salient Term

由于人眼对弯曲线很敏感，在非重叠区域优化很重要去实现一个高质量的结果。显著线表示为以及Es：

D.Objective Energy Term

总能量函数：

E.Hybrid Actor-Critic for Seam Estimated

失真可以通过上述方法缓解，视差可以通过接缝方法减小。传统的方法是找最小成本接缝。然而，[13]指出最小成本接缝对稳定拼接有限制。这意味着在评估一个合适的接缝时很难通过简单的尺度定义。换句话说，一个混合评估模型需要用于稳定接缝计算并由更少的伪影和更多视觉上的引导。下面展示细节。一个初始接缝通过传统方法计算。我们定义L={0,1}作为标签，接缝分配给标签，0是目标图，1是参照图。接缝目的是找到标签l最小化下面的能量函数：

Dp是数据项，Sp,q是平滑项。[27]中介绍了更多细节。为了保持重叠区域的结构连续性，我们使用SSIM评估接缝像素，并pi的成本计算：

SSIM分为[0,1]，1代表两个patch相同。实际上，它计算了接缝附近的patch相似性。正如我们之前讨论的，仅通过一个评估不足以计算出一个稳定的接缝，因此，一个像素点成本添加用于提升接缝寻找的质量：

pi，qi是重叠区域的相邻像素。接缝两边的不同像素通过点的成本计算，可以避免patch成本的错误。实际上，我们发现patch成本保护了图像的连续性，同时点成本也维持了图像的多样性。因此，结合二者为一个混合评估：

e是一个波去噪成本[28]。图4b展示了成本值比去早前更平滑。
为什么两个误差通过乘法计算而不是加法？因为它们是常熟可以直接计算不需要增加顺序，并且乘法可以提供更大的惩罚当两个误差很大时，同时误差小时给小的惩罚。图4a中有更多细节。
通常混合评估成本用于已存在的五配准像素。平滑项通过下面公式更新：

零位，为了得到稳定接缝，传统接缝S1首先计算，S1扩厂成一个簇区域，一个新的接缝S2计算通过（14）和（18）：一旦S2位于这个区域中，S2考虑为一个稳定接缝或者重复上述过程。

Ⅳ.EXPERIMENTAL RESULTS

为了修饰该方法，我们做了几组对比实验在不同的图像上。十对图像，5对来自公共数据集，剩下的是自己的数据集。图像的关键参数见表1(MPN是匹配点个数，MLN是匹配线个数)。
我们的方法和AANAP，APAP，ELA，TFT，Photoshop2019比较。其他方法参数用源码参数。我么的方法 α = 5 , λ p s = 5 , λ p j = 50 , β = 5 \alpha = 5,\lambda_{ps} = 5,\lambda_{pj}=50,\beta=5 α=5,λps​=5,λpj​=50,β=5。特征点通过SIFT和VLFeat库检测，移除外点通过RANSAC。线特征通过LSD检测。实验是PC机Intel i7。

A.Quantitative Evaluation of Stitching

传统图像拼接的质量评估性能如[6]中所需，需要提取知道接缝的未知，像Photoshop是黑箱算法。为了获得有说服力的实验结果，我们需要一个方法，接缝位置独立，以此评估比较方法。为了实现它，我们不仅关注重叠区域的某部分也使用接缝定位，因为它容易获得并通常对拼接图性能敏感。我们利用峰值信噪比(PSNR)评估。峰值信噪比定义如下：

MAX是像素颜色的最大值，MSE代表均方误差：

Ir(i,j)是参照图的敏感区域裁剪。图5(a)红色矩形，并且Ir’是输出图像相同的区域。在这样的评估度量下，我们评估两个例子关于所有的比较方法。计算PSNR选择的区域通过红色矩形标注。

PSNR值得结果展示在表Ⅱ。

B.Ablation Study

消融研究的结论：

1. 稳定线结构是保护非重叠区域的基础，且有助于寻找接缝。
2. 稳定接缝测量方式对更多稳定接缝有益。
3. 我们的方法结果看起来更自然。

C.Visula Evaluation

视觉效果实验分为两部分，图89展示减小视差，图10展示线结构能优化投影和透视失真。

Ⅴ.CONCLUSION

本文提出一个稳定线结构和一个用于解决大视差图像拼接的接缝方法。和现有方法比较，我们的方法存在两个优势：首先，稳定线结构能消除目标在重叠区域和非重叠区域的失真；第二，混合结构通过迭代寻找接缝可以有效减小视差。

笔者总结

1. 创新点：主要创新是在接缝部分，加了去噪，加了新的评估接缝像素的patch。这个方法其实也是现有方法。
2. 其他的过程基本可以在其他方法里找到，参见本文开头系列里的10，11，15。其中10最后融合就是用的15的融合方法，只不过10的论文里没提。