基于特征匹配和迭代优化的航拍图像拼接

本文研究了无人机（UAV）遥感图像拼接过程中重叠区域的不匹配问题。为了解决这个问题，首先通过将双重匹配与随机抽样共识（RANSAC）方法相结合来过滤特征点。其次，为了保证每幅图像与全景照片的投影关系的一致性，我们提出了一种局部拼接的方法。为了避免随着图像数量的增加透视变化累积而导致图像倾斜的错误，我们建立了图像旋转坐标系，并将图像之间的关系限制为平移和旋转。用坐标原点的相对位置来表示平移距离，通过迭代求解最优旋转角度。最后，图像的重叠部分通过线性加权融合。通过实验结果验证，本文提出的方法在大量图像的情况下能够保证更快的处理速度和更高的处理精度，从而达到理想的拼接效果。

近年来，随着计算机视觉的不断进步，图像拼接技术在海洋和矿产勘探、遥感勘探、医学成像、效果生成、虚拟现实等方面得到了广泛的应用。许多航拍遥感图像可以通过配备摄像头的无人机在地面拍摄得到。通常，由于无人机飞行高度、相机焦距等因素，单幅图像存在信息量少、全局分辨率低等问题。因此，要获得广角高分辨率的照片，就需要研究全景图像拼接技术。Brown 在 2003 年引入了著名的 AutoSitich 算法，很快就被用于商业产品，如 Photoshop。但是，该算法假定图像的重叠区域没有深度变化。2013 年，萨拉戈萨 J 等人。将图像拆分为密集的网格，并为每个网格使用单个更改，称为网格变形。该方法在一定程度上解决了图像变形、尺寸缩放、重定向等问题。

图像拼接技术一般分为图像几何校正、图像预处理、图像对齐、图像融合四个步骤。由于相机镜头的畸变，需要对无人机的图像进行校正，使得到的图像满足个别地图的投影关系。图像预处理是几乎所有图像处理技术的重要组成部分，包括去噪、灰度变化等。这个过程可以降低匹配难度，提高匹配精度。然而，对于无人机遥感图像的拼接，图像匹配和图像融合是成功的关键。

图像匹配技术是图像拼接的基础。1975年米尔格拉姆提出了计算机拼接技术。于是，在重叠区域寻找最优接缝线就成为一个重要的研究方向。同年，Kuslin 提出了一种相位相关方法，通过傅里叶变化将图像转换到频域，并利用功率谱计算平移。1987 年，Reddy 提出了一种扩展的相位相关方法，该方法可以计算图像的平移和旋转关系并解决图像缩放问题。图像拼接的另一个分支是基于图像特征。1988年Harris提出经典的Harris点检测算法，它使用特定的旋转不变性哈里斯点进行特征匹配。2004 年，Lowe 提出了一种完美的尺度不变特征变换算法（SIFT），对平移、旋转、尺度缩放、不均匀光照等图像领域应用最广泛的技术具有良好的适应性。C Aguerrebere 根据输入图像的 SNR 条件给出的问题难度级别显示不同的行为区域。Wu通过建立模型，将深度学习和进化算法应用于遥感图像的拼接，实现概率意义上的全局优化。

图像融合技术是遥感图像拼接技术中的另一项核心技术，分为像素级融合、特征级融合、决策级融合。像素级融合仍然是现阶段最常用的图像融合方法之一。

对于无人机的遥感图像，存在图像数量多、光照条件多变等问题。每次拼接过程中的小错误都难以避免。随着图像数量的增加，误差不断累积，图像拼接后期会出现图像失真和重影。S Bang 创建高质量全景图，过滤掉视频的模糊帧，选择关键帧，并校正相机镜头失真。Zhang 提出了基于 STIF 的 GA-SIFT 并给出了一种自适应阈值方法来解决计算量大和拼接时间长的问题。李明基于动态规划解决无人机侧视问题寻找最佳接缝线。然而，当图像数量逐渐增加时，现有的拼接算法存在误差累积。

也有一些基于网格变形的图像拼接算法，但计算量太大。在本文中，图像被匹配两次以过滤特征点以提高准确度。拼接问题对应于通过坐标系转换的旋转角度解，应用高斯-牛顿迭代计算最优旋转角度。此外，我们练习局部匹配方法以减少错误并使用加权融合来实现过度平滑。

SIFT特征点不仅在空间尺度和旋转上保持不变，而且在光照和视角变化的条件下，还具有优异的抗干扰能力和良好的稳定性。为了实现空间尺度的不变性，SIFT特征点可以根据物体远看小而模糊，反之大而清晰的特点，建立高斯金字塔模型。差分金字塔 (DoG) 是通过计算金字塔中相邻两层图像之间的差异来获得的。使用函数拟合在 DOG 空间中测试极值。通过对确定场中基于SIFT特征点的梯度信息进行统计，选择加权幅度最大的梯度方向作为主梯度方向。通过将特征点与其主梯度方向相关联，可以解决图像特征点的旋转不变性问题。最后，利用特征点周围像素的信息建立一个128维的向量作为特征点的描述符。

提取特征点后，需要对两幅图像的特征点进行匹配。通过特征点成对匹配，可以计算出两个特征点对应的描述符之间的欧氏距离，选择欧氏距离最小的点作为匹配点对。为了减少不匹配的发生率， 被用作正确匹配的阈值。具有大于 的描述符欧几里得距离的匹配点对被消除。

RANSAC 是特征点匹配中最常用的方法之一。它首先从匹配结果中随机选择四对特征点并计算单应矩阵。其次，根据上一步得到的单应矩阵，计算第一幅图像在第二幅图像中的重投影坐标，并计算该坐标与第二幅图像中匹配点对坐标的距离。通过设置距离阈值记录所有匹配点对中正确匹配特征点对的个数。重复上面的过程，最终留下与最多点对数的正确匹配。

高斯-牛顿迭代是求解非线性最小二乘优化问题的算法之一，可以描述为：

我们选择一个初始值，然后不断更新当前优化变量以减小目标函数值。高斯-牛顿迭代的主要思想是对函数 进行一阶泰勒展开，计算 及其雅可比矩阵 对应的函数值。使用 和 计算 的增量，直到 足够小。

加权平均法是图像融合中简单有效的方法之一。第一幅图像和第二幅图像重叠区域的像素值由两幅图像像素的加权求和得到，表示为：

其中：越接近 img1， 的值越大。 的值从1逐渐变为0，重叠区域从第一幅图像逐渐过渡到第二幅图像，从而实现画面的平滑过渡。照片的加权平均融合因其直观的简单性和快速的运行速度而被广泛使用和图像拼接。

对于两幅图像的拼接，由于无人机的遥感相机通常安装在一个稳定的平台上，通过选择合适的坐标系，将图像对齐问题转化为单幅图像旋转问题，如图1所示。

此外，大多数具有相关高光频的常用相机通常在连续帧之间具有较大的重叠区域。因此，在图像拼接过程中，第 幅图像在全局位置上的投影关系，不仅受第 幅图像的影响，还与 图像相关。为了保证图像变形的一致性，首先将 张图像拼接在一起，然后将结果整合到整幅图像中。大量的实验测试证明，当i设置为3时效果最佳。整个过程如图图2。

图像中的特征点有很多种，本文使用最常见的SIFT特征点。我们提取并匹配两张输入图像的特征点，结果如下所示。

特征点的匹配精度直接影响旋转角度的计算，因此使用前必须对特征点对进行过滤。鉴于过滤特征点的方法很多，本文先将左图与右图进行匹配，再将右图与左图进行匹配。两次相同结果配对的匹配点将被保留。在此基础上，使用RANSAC方法对结果进行优化，成功匹配了上图中的121个特征点。

从无人机拍摄的两张照片之间通常存在旋转和平移。为了独立优化旋转角度，我们首先建立如图 5所示的坐标系。

以图像匹配成功的特征点坐标值的平均值作为该坐标的原点，坐标轴与像素坐标系的两个坐标轴平行。根据公式（3），特征点从图像坐标系转换为图像旋转坐标系：

其中 为滤波后的特征对的总数， 为特征点在原始图像坐标系中的坐标值，并且 是新的值。

在计算图像的旋转角度之前，我们首先需要分析图像的缩放比例。由飞行高度引起的尺寸变化将在轴上具有相同的缩放比例。因此，根据所有特征点与图像旋转坐标系原点的欧氏距离比，可以计算出两幅图像之间的缩放比例，对图像进行缩放和改变。

图像缩放后，计算图像旋转的角度。高斯牛顿迭代的方式计算旋转角度的最优解。首先设置目标函数：

通过迭代选择最优的 使得：

使用误差函数 的泰勒展开进行迭代。

其中

根据

我们可以发现增量值 每次迭代。最终，当我们计算出的 满足条件时，停止迭代过程。可以使用最佳旋转角度和旋转中心来求解图像的变换矩阵。

由于拍摄图像时光线不均匀，连续两张图像之间可能存在一些颜色差异。此外，图像旋转不可避免地存在小误差，因此我们练习线性加权融合以消除两幅图像之间的拼接线和色度变化。图像的重叠是按距离加权的，这样拼接结果自然是从img1到img2过度了。

我们利用OpenCV的功能从遥感图像中提取SIFT特征点并进行匹配。从Stitch拼接功能、基于透视变化的图像拼接结果以及本文的拼接速度的对比可以看出，本文采用的方法具有一定的优越性。

从表1数据可以看出，在拼接少量图像时，三种算法的拼接结果相似，没有出现明显的拼接误差。但是，Stitcher 算法比其他两种拼接方法花费的时间要多得多。

图 11很明显，随着图像数量的增加，基于透视变换的图像拼接算法出现了严重的失配。然而，本文采用的方法取得了比较满意的结果，因为在无人机拍摄的图像中，地面上的所有特征都可以近似地视为在同一平面上。根据透视变换，无人机的远近抖动会引入图像拼接导致错误。图像数量的不断增加会导致错误的积累，从而导致严重的失配。另外，这使得程序中断，从而无法完成所有60幅图像的拼接。假设同一平面上的仿射变化会更符合无人机遥感图像的实际情况。最后，可以通过线性加权融合来解决误差问题，以提高拼接效果。考虑到stitch算法耗时过长，本文不会对两者进行比较。

在上面的图 12 中，使用 100 张图像来测试本文中的方法。图像的仿射变换是通过计算围绕图像特征点中心的旋转角度来进行的。变换后的图像采用线性加权融合后，可以得到大量图像数据处理后的结果。拼接自然，符合人类视觉体验。

我们在网络上跑了一组数据，结果如下。

鉴于以上实验结果，该方法具有一定的抗干扰能力，可以高速运行。与高度集成的Stitcher和基于透视变换的图像拼接结果相比，我们可以发现，基于透视变化的图像拼接结果随着图像数量的增加而逐渐变差。然而，尽管拼接效果很好，但 Stitcher 需要更长的处理时间。

在本文中，我们研究了无人机遥感图像的拼接技术，主要贡献可以总结如下：

通过实验结果可以看出，本文提出的方法比现有方法具有更好的实时性，对于相机平面与成像平面平行的情况具有更好的拼接效果。

MATLAB在一个图像区域中，物体检测的一种最基本的方法是通过模板匹配来进行。在匹配过程中，所关注的物体（即模板）和图像区域中的所有的未知物体进行比较，如果模板和未知物体是匹配的，并且模板是足够精确的，则未知物体被标示为模板物体。

匹配步骤：

1、先处理模板，把模板转化成一个（800，600）的二值图像，再做一个匹配图像（图像中包含五个物体，其中有两个与模板图像一个图形，其他三个图形任意且要与模板图像有明显的差别）；并转化为一个（800，600）的二值图像；

2、对图像进行傅立叶变换，分别对模板图像和匹配图像进行二维傅立叶变换。

3、计算模板图像与目标图像的相关性，方法是先将匹配图像旋转180度，然后基于快速傅里叶变换的卷积计算技术进行计算。（如果将卷积中心旋转180度，则卷积计算和相关计算是等价的。）

4、观察生成的频谱图像中的五个谱峰，找出其中的两个最高谱峰的位置。（最高的两个谱峰的位置就是与模板物体匹配。）

可能是有的dll引用了工程，而有的引用了文件。比如你的主工程是A，另外有两个工程B和C，A和B都引用了C，如果A和B引用C的方式不一致就会出现这种情况。我经常遇到，解决办法就是统一引用方式，要么都引用工程，要么都直接引用dll文件。。 我也遇到这样的问题，听别人说是超时，说时进入了死循环，改变算法就可以解决，求采纳。

目前滑动验证码的功能主要还是增加用户的安全，验证的是这是人为 *** 作还是机器 *** 作，防止一些不法分子利用自动程序恶意注册登录、暴力破解密码以及批量 *** 作（刷单、发帖）等行为。如果没有验证码，暴力破解密码后就可以直接登录，相反，如果设置了验证码，程序很难识别，那么就无法登录成功。除此之外，还可以防止黑客恶意攻击从而导致服务器压力太大而崩溃，比如论坛灌水、刷页、刷票等，有些论坛回复需要输入验证码就是出于这个目的。

1、识别判断出现的滑动验证码。

这个步骤并不复杂，在编程里有很多这样的调试工具，根据实际应用场景选择合适的专业工具。然后利用一段获取的代码自动获取到带有滑动验证码的的信息。最后通过相应代码获取它们的网络地址，并将其下载并保存到本地。

2、确定滑动验证码的滑动位置，如果是那种带有缺口位置的验证码，就需要拖动拼合滑块才能完成验证。

将保存在本地的带有滑动验证码的调出来然后分析中的相关信息。这个步骤，就需要用到图像匹配技术。通俗的讲，就是用相应的原生代码进行图像匹配识别以及坐标定位。

3、根据上述收集到相关信息计算滑块移动轨迹并模拟人移动滑块的整个过程。

计算出了滑块移动的轨迹图，接下来就需要模拟人移动滑块的过程。现在的滑动验证码识别安全性很高，绝大多数都加入了机器学习模型，也就是说，人在移动滑块的时候不可能是匀速的。所以说，只是简单的匀速滑动肯定是被认定为机器 *** 作。因此模拟人拖动滑块的过程中需要加入几个过程，比如先加速，再减速，适当加入回退和随机抖动，尽可能的模拟人的行为。滑动的过程可以通过在代码中设置相应变量，再加上相应公式就可以解决，对于专业人员并不复杂。

摘　要：对相关系数匹配算法的效率进行分析，并针对影响相关系数匹配算法的速度和精度的因素对提高算法效率的可行性做出分析，着重讨论Moravec算子辅助的相关系数匹配算法的优缺点。

关键词：影像匹配　相关系数　匹配速度　匹配精度　Moravec

中图分类号：TP3914文献标识码：A　文章编号：1007-3973（2012）007-075-02

1 引言

所谓影像匹配，实质就是在两幅（或者多幅）影像上识别同名点。在各种影像匹配算法中，相关系数法思路简洁，具有较强局部抗干扰能力，但是计算量大、匹配速度慢也成为了相关系数法不可忽略的缺陷。如何在保证提取精度的同时提高相关系数法的匹配速度是我们研究的重点。

2 相关系数匹配算法的效率分析

相关系数匹配算法的基本思想是利用目标窗口在搜索影像上连续滑动，计算目标窗口与搜索窗口的相关系数，相关系数最大者为搜索影像上与目标窗口相匹配的区域。考虑到计算相关工作量，相关系数的实用公式为：

其中gij， 为目标窗口内ij位置像素的灰度值，ji+rj+c为搜索影像上（i+r，j+c）位置上的灰度值。mn为目标窗口大小。c，r为搜索区影像相对于目标区影像的位移参数，对于一维相关应有N=m x n。

对于一些匹配情况可以通过简化公式达到提高匹配速度的效果。

当目标影像全部作为目标窗口时，公式可以适当简化。、为常量，可以提前计算。但是，如果要求是要在两张影像上寻找同名点，那么目标窗口通常比目标影像要小。该目标窗口遍历完搜索影像上后，在目标影像上滑动，再在搜索影像上遍历搜索新目标窗口内影像在搜索影像上的同名点，不断继续，直至目标窗口遍历完目标影像。因此，上述的两个值不为常量，增大了运算量。

通过观察公式（1）我们可以发现，m、n的大小会对匹配速度造成很大的影响。实验发现，当目标窗口的大小采用1515时，对两张尺寸为301501的影像进行匹配所耗时间为6785秒，而将目标窗口的大小提高到5050时，所用时间仅为1351秒，匹配速度大大加快。但是匹配所得到的同名点的数量远远小于采用1515的目标窗口时获得的数量。

说到影像匹配精度，在相关系数匹配算法中阈值的设定对精度有着至关重要的影响。提高相关系数的阈值，匹配精度提高，但是同名点的提取减少；降低相关系数的阈值，匹配精度降低，但是同名点数量得以保证。所以问题的关键在于如何平衡精度与同名点的数量。通常采用的都是人工改变阈值寻找平衡点的方式。

3 相关系数匹配算法改进算法

每一种算法的总计算量都是采用的相关算法计算量与搜索位置数值积。对于相关算法的计算量我们很难降低，因此，如何降低搜索的位置数是提高相关系数匹配算法速度的关键。爬山法、Harris算法辅助的相关系数法、三步搜索法等对于减少搜索位置数都有不错的效果。于是，笔者按照“先提取角点再用相关系数法进行匹配”的算法思路，编程对算法匹配效率进行评估，深入分析这种算法的优缺点。

考虑到在提取角点的算法上Moravec算法的计算思路较为简单，以及计算量远远小于选用Harris算子，可以提高匹配效率，因此算法采用利用Moravec算子辅助相关系数匹配。

算法思路：对待匹配的左右两张影像，先用Moravec算子分别进行角点提取，再利用相关系数匹配法，以获得的角点为中心分别在左右影像上形成目标窗口与搜索区窗口，计算两者间的相关系数，找到同名点。

4 算法运行结果分析

对于两张尺寸均为301501像素大小的图像，利用相关系数匹配算法进行运算，耗时6785秒，用Moravec算子辅助的相关系数匹配算法（Moravec算法中阈值选取为3000时）进行运算，耗时13801秒。

对于两张尺寸均为12401210像素大小的图像，利用相关系数匹配算法进行运算，耗时11分28985秒，用Moravec算子辅助的相关系数匹配算法（Moravec算法中阈值选取为3000时）进行运算，耗时仅为1分22974秒。

对比可见，Moravec算子辅助的相关系数匹配算法的相对效率与待匹配影像的大小关系密切。对于小尺寸影像，该算法优势并不突出，运算效率甚至慢于普通相关系数算法，因为该算法需对左右影像各做一次角点提取，然后再利用角点得到的目标窗口与搜索区窗口进行匹配，然而小影像像元个数少，提取出的角点个数与总影像像元个数相比相差不大，不如直接用目标窗口在搜索影像上滑动，遍历寻找同名点高效。然而在大影像上，利用Moravec提取的角点的数量与整幅影像上像元的个数相比减少了一定数量，在接下来进行的相关系数匹配上大大缩小了目标窗口在搜索影像上的搜索范围，提高了搜索速度。

通过程序验证，发现该算法依旧有许多不足之处。

(1)匹配精度受到角点提取精度的影响。

参考算法原理可见，搜索区窗口的位置由Moravec算法在搜索影像上提取的角点的位置决定，因此匹配精度一定程度上由角点提取的精度所决定。然而，Moravec算子虽然思路简单，计算量小，但是角点提取精度不高，致使匹配产生偏差。如图1所示，图像中矩形区域角点匹配出现较大偏差。

(2)利用Moravec算子进行角点提取时，阈值的选取带有一定主观性。

在利用Moravec算子进行角点提取时，为了保证所提取的角点的质量较为统一，需要在选取候选点时给定一定的经验阈值，但这个经验阈值由于是人为给定的，带有一定的主观性。阈值的选择应以候选点中包含所需要的特征点而又不包含过多的非特征点为原则，为了达到目的，阈值的选择要以尝试为基准，这样会耗费大量的时间，而且试出来的阈值并不一定是最佳阈值，可能导致特征点的选取不理想。

(3)阈值选取影响匹配速度。

对于不同阈值的设定，意味着所提取到的角点的数量多少。当阈值设置较低，获得的角点数量大，目标窗口和搜索区窗口数量多，搜索范围大，匹配速度低；当阈值设置较高，获得的角点质量高，但目标窗口和搜索区窗口数量小，最终匹配得到的同名点数量少，匹配速度快。对于两幅尺寸均为12401210像素大小的图像，采用Moravec阈值为3000时匹配速度为11分28985秒；采用阈值为10000时匹配用时仅为8912秒。

5 结束语

相关系数算法是进行影像匹配的基本算法，匹配精度高但是计算量大，匹配速度很难通过单纯的相关系数公式进行提高；而利用角点提取方法改进的相关系数算法可以快速缩小搜索区窗口范围，提高匹配速度，但是精度收到角点提取算法精度的牵制。在实际运用过程中，应该综合考虑两者优缺点，根据实际情况进行算法的选择，实现较快速的提取较高精度的同名点的目的。

参考文献：

[1]　张剑清,潘励,王树根摄影测量学[M]武汉:武汉大学出版社,2009

[2]　姬亭,盛庆红,宗鹏大重叠度影像的相关系数匹配精度分析[J]计算机应用,2010,30(2):7-9

[3]　何斌,马天予,王运坚,等V isual C+ + 数字图像处理[M]北京:人民邮电出版社,2001

[4]　寇蓉相关系数与最小二乘影像匹配算法的研究[J]内蒙古科技与经济,2010(17):60-63

[5]　刘莹,曹剑中,许朝晖,等基于灰度相关的图像匹配算法的改进[J]应用光学,2007,28(5):536-540

苹果7可以使用系统内置的“设置壁纸”工具来使壁纸图标和原图标匹配。

打开“设置”应用程序，进入“壁纸”选项，点击“选择新的桌面壁纸”，在“照片”、“动态照片”和“桌面图像”中选择您想要的即可。然后点击“设置壁纸”，使其应用到桌面图标，让原图标和壁纸图标匹配。

以上就是关于基于特征匹配和迭代优化的航拍图像拼接全部的内容，包括:基于特征匹配和迭代优化的航拍图像拼接、MATLAB模板匹配语法怎么用、VS图像立体匹配调试错误，不太会改，求大师指出修改的地方等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！