如何使用SIFT进行角点匹配？

一、特征点（角点）匹配

图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。

角点匹配可以分为以下四个步骤：

1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。

2、提取描述子：对于检测出的角点慎渣，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。

3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。

4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。

二、SIFT匹配方法的提出

为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。

Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之雀迹间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:

ratio=0. 4：对于准确度要求高的匹配；

ratio=0. 6：对于匹配点顷孝并数目要求比较多的匹配；

ratio=0. 5：一般情况下。

三、常见的SIFT匹配代码

1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自Andrea

Vedaldi）。

2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。

同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。

3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。

4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法

- 结构之法 算法之道 - 博客频道 - CSDN.NET。

5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。

　

%MatLab角点检测程序harris。

ori_im2=rgb2gray(imread('2.bmp'燃闹))

%ori_im2=imresize(ori_im2',0.50,'bicubic') %加上这句图就变成竖着的了

fx = [5 0 -58 0 -85 0 -5] % % la gaucienne，ver axe x

Ix = filter2(fx,ori_im2) % la convolution vers axe x

fy = [5 8 50 0 0-5 -8 -5] % la gaucienne，ver axe y

Iy = filter2(fy,ori_im2) % la convolution vers axe y

Ix2 = Ix.^2

Iy2 = Iy.^2

Ixy = Ix.*Iy

clear Ix

clear Iy

h= fspecial('gaussian',[3 3],2) % générer une fonction gaussienne，sigma=2

Ix2 = filter2(h,Ix2)

Iy2 = filter2(h,Iy2)

Ixy = filter2(h,Ixy)

height = size(ori_im2,1)

width = size(ori_im2,2)

result = zeros(height,width)% enregistrer la position du coin

R = zeros(height,width)

K=0.04

Rmax = 0 % chercher la valeur maximale de R

for i = 1:height

for j = 1:width

M = [Ix2(i,j) Ixy(i,j)Ixy(i,j) Iy2(i,j)]

R(i,j) = det(M)-K*(trace(M))^2% % calcule R

if R(i,j) >Rmax

Rmax = R(i,j)

end

end

end

cnt = 0

for i = 2:height-1

for j = 2:width-1

% réduire des valuers minimales ，la taille de fenetre 3*3

if R(i,j) >皮贺罩 0.01*Rmax &&R(i,j) >R(i-1,j-1) &&R(i,j) >R(i-1,j) &&R(i,j) >R(i-1,j+1) &&R(i,j) >R(i,j-1) &&R(i,j) >R(i,j+1) &&R(i,j) >R(i+1,j-1) &&R(i,j) >R(i+1,j) &&R(i,j) >R(i+1,j+1)

result(i,j) = 1

cnt = cnt+1

end

end

end

[posr2, posc2] = find(result == 1)

cnt % compter des coins

figure

imshow(ori_im2)

hold on

plot(posc2,posr2,'w*')

harris优化的角点检测

%%%Prewitt Operator Corner Detection.m

%%%时间优化--相邻像素用取差的方法

%%

clear

Image = imread('15.bmp')% 读取图拍穗像

Image = im2uint8(rgb2gray(Image))

dx = [-1 0 1-1 0 1-1 0 1] %dx：横向Prewitt差分模版

Ix2 = filter2(dx,Image).^2

Iy2 = filter2(dx',Image).^2

Ixy = filter2(dx,Image).*filter2(dx',Image)

%生成 9*9高斯窗口。窗口越大，探测到的角点越少。

h= fspecial('gaussian',9,2)

A = filter2(h,Ix2) % 用高斯窗口差分Ix2得到A

B = filter2(h,Iy2)

C = filter2(h,Ixy)

nrow = size(Image,1)

ncol = size(Image,2)

Corner = zeros(nrow,ncol)%矩阵Corner用来保存候选角点位置,初值全零，值为1的点是角点

%真正的角点在137和138行由(row_ave,column_ave)得到

%参数t:点(i,j)八邻域的“相似度”参数，只有中心点与邻域其他八个点的像素值之差在

%（-t,+t）之间，才确认它们为相似点，相似点不在候选角点之列

t=20

%我并没有全部检测图像每个点，而是除去了边界上boundary个像素，

%因为我们感兴趣的角点并不出现在边界上

boundary=8

for i=boundary:nrow-boundary+1

for j=boundary:ncol-boundary+1

nlike=0%相似点个数

if Image(i-1,j-1)>Image(i,j)-t &&Image(i-1,j-1)<Image(i,j)+t

nlike=nlike+1

end

if Image(i-1,j)>Image(i,j)-t &&Image(i-1,j)<Image(i,j)+t

nlike=nlike+1

end

if Image(i-1,j+1)>Image(i,j)-t &&Image(i-1,j+1)<Image(i,j)+t

nlike=nlike+1

end

if Image(i,j-1)>Image(i,j)-t &&Image(i,j-1)<Image(i,j)+t

nlike=nlike+1

end

if Image(i,j+1)>Image(i,j)-t &&Image(i,j+1)<Image(i,j)+t

nlike=nlike+1

end

if Image(i+1,j-1)>Image(i,j)-t &&Image(i+1,j-1)<Image(i,j)+t

nlike=nlike+1

end

if Image(i+1,j)>Image(i,j)-t &&Image(i+1,j)<Image(i,j)+t

nlike=nlike+1

end

if Image(i+1,j+1)>Image(i,j)-t &&Image(i+1,j+1)<Image(i,j)+t

nlike=nlike+1

end

if nlike>=2 &&nlike<=6

Corner(i,j)=1%如果周围有0，1，7，8个相似与中心的（i,j）

%那(i,j)就不是角点，所以，直接忽略

end

end

end

CRF = zeros(nrow,ncol) % CRF用来保存角点响应函数值,初值全零

CRFmax = 0 % 图像中角点响应函数的最大值，作阈值之用

t=0.05

% 计算CRF

%工程上常用CRF(i,j) =det(M)/trace(M)计算CRF，那么此时应该将下面第105行的

%比例系数t设置大一些，t=0.1对采集的这几幅图像来说是一个比较合理的经验值

for i = boundary:nrow-boundary+1

for j = boundary:ncol-boundary+1

if Corner(i,j)==1 %只关注候选点

M = [A(i,j) C(i,j)

C(i,j) B(i,j)]

CRF(i,j) = det(M)-t*(trace(M))^2

if CRF(i,j) >CRFmax

CRFmax = CRF(i,j)

end

end

end

end

%CRFmax

count = 0 % 用来记录角点的个数

t=0.01

% 下面通过一个3*3的窗口来判断当前位置是否为角点

for i = boundary:nrow-boundary+1

for j = boundary:ncol-boundary+1

if Corner(i,j)==1 %只关注候选点的八邻域

if CRF(i,j) >t*CRFmax &&CRF(i,j) >CRF(i-1,j-1) ......

&&CRF(i,j) >CRF(i-1,j) &&CRF(i,j) >CRF(i-1,j+1) ......

&&CRF(i,j) >CRF(i,j-1) &&CRF(i,j) >CRF(i,j+1) ......

&&CRF(i,j) >CRF(i+1,j-1) &&CRF(i,j) >CRF(i+1,j)......

&&CRF(i,j) >CRF(i+1,j+1)

count=count+1%这个是角点，count加1

else % 如果当前位置（i,j）不是角点，则在Corner(i,j)中删除对该候选角点的记录

Corner(i,j) = 0

end

end

end

end

% disp('角点个数')

% disp(count)

figure,imshow(Image) % display Intensity Image

hold on

% toc(t1)

for i=boundary:nrow-boundary+1

for j=boundary:ncol-boundary+1

column_ave=0

row_ave=0

k=0

if Corner(i,j)==1

for x=i-3:i+3 %7*7邻域

for y=j-3:j+3

if Corner(x,y)==1

% 用算数平均数作为角点坐标，如果改用几何平均数求点的平均坐标，对角点的提取意义不大

row_ave=row_ave+x

column_ave=column_ave+y

k=k+1

end

end

end

end

if k>0 %周围不止一个角点

plot( column_ave/k,row_ave/k ,'g.')

end

end

end

%end

---