OpenCV+Python特征提取算法与图像描述符之SIFTSURFORB

算法效果比较博文

用于表示和量化图像的数字列表，简单理解成将图片转化为一个数字列表表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。

参考

是一种算法和方法，输入1个图像，返回多个特征向量（主要用来处理图像的局部，往往会把多个特征向量组成一个一维的向量）。主要用于图像匹配（视觉检测），匹配图像中的物品。

SIFT论文

原理

opencv官网解释

实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。

其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

对现实中物体的描述一定要在一个十分重要的前提下进行，这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。

KeyPoint数据结构解析

SURF论文

原理

opencv官网解释

SURF是SIFT的加速版，它善于处理具有模糊和旋转的图像，但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似，而在SURF中使用盒子滤波器对LoG进行近似，这样就可以使用积分图像了（计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关）。总之，SURF最大的特点在于采用了Haar特征以及积分图像的概念，大大加快了程序的运行效率。

因为专利原因，OpenCV3.3开始不再免费开放SIFT\SURF，需要免费的请使用ORB算法

ORB算法综合了FAST角点检测算法和BRIEFF描述符。

算法原理

opencv官方文档

FAST只是一种特征点检测算法，并不涉及特征点的特征描述。

论文

opencv官方文档

中文版

Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。文章同样提到，在此之前，需要选取合适的gaussian kernel对图像做平滑处理。

1：不具备旋转不变性。

2：对噪声敏感

3：不具备尺度不变性。

ORB论文

OpenCV官方文档

ORB采用了FAST作为特征点检测算子，特征点的主方向是通过矩（moment）计算而来解决了BRIEF不具备旋转不变性的问题。

ORB还做了这样的改进，不再使用pixel-pair，而是使用9×9的patch-pair，也就是说，对比patch的像素值之和，解决了BRIEF对噪声敏感的问题。

关于计算速度：

ORB是sift的100倍，是surf的10倍。

对图片数据、特征分布的一种统计

对数据空间(bin)进行量化

Kmeans

边缘：尺度问题->不同的标准差 捕捉到不同尺度的边缘

斑点 Blob：二阶高斯导数滤波LoG

关键点(keypoint)：不同视角图片之间的映射，图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建

SIFT\SURF

tep1：下载ORB_SLAM2放进～/catkin_ws/src下面

Step2：安装各种依赖项，github官网都写了

Step3：编译ThirdParty下面的库，可以挨个进入cmake+make，也可以执行给的build.sh，具体怎么用这个文件readme.md里面给了：

cd ORB_SLAM2

chmod +x build.sh

./build.sh123

Step4：（如果执行过上面的build.sh文件这一步就不用了）进入Vocabulary解压里面的文件

Step5：启动我上一篇博文里面的cv_camera把摄像头数据发布到topic

Step6：进入/home/kylefan/catkin_ws/src/ORB_SLAM2/Examples/ROS/ORB_SLAM2/src下面打开ros_mono.cc把程序里面的topic改为/cv_camera/image_raw，具体还要查看自己的rviz，然后进入/home/kylefan/catkin_ws/src/ORB_SLAM2/Examples/ROS/ORB_SLAM2/build下面cmake+make编译，然后:

cd~/catkin_ws

catkin_make ORB_LSAM212

对于这个程序没什么区别。

Step7：添加ROS_PACKAGE_PATH路径（要想永久添加参照我之前博文关于如何永久修改linux系统环境变量）

export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:/home/kylefan/catkin_ws/src/ORB_SLAM2/Examples/ROS

Step8：启动mono

rosrun ORB_SLAM2 Mono

/home/kylefan/catkin_ws/src/ORB_SLAM2/Vocabulary/ORBvoc.txt

/home/kylefan/catkin_ws/src/ORB_SLAM2/Examples/Monocular/TUM1.yaml

有两个参数，第二个参数是相机参数文件，根据自己的相机参数修改。

在“EXCEL选项”中有“加载项”一项，可以用来查看和管理加载项，其中就有“分析工具库”。双击它，会打开一个窗口，选中你需要的内容，点击“确定”。建议使用SAS,SPSS软件，这些事专业的统计学软件。我在自学SPSS，简单快捷的软件，IBM出的。

---