【SLAM】kalibr工具IMU和双目相机标定

推荐看一下博客，评论内容也很丰富 ，很多问题都能在评论中找到答案：

https://blog.csdn.net/u011178262/article/details/83316968#_images__imu__201

https://github.com/gaowenliang/imu_utils

运行程序前修改launch的 topic 等参数

launch文件中， <param name="max_time_min" type="int" value= "80"><param name="max_cluster" type="int" value= "100">这两个参数的意义是什么？应该怎么设置呢？

max_time_min：采集IMU数据的时间，越长越好，单位分钟；

max_cluster：Allan方差的cluster，imu_utils中的launch文件中都是100，我一般也设置100

运行命令

source ~/kalibr_workspace/devel/setup.bash

注意要在dataset-dir后加上/.，在根目录运行这个命令即可（在文件目录下输出会生成一个很小的bag文件），输出的bag文件就在根目录下。

制作bag包

运行标定命令

打开--show-extraction选项在标定过程中可以可视化角点检测情况是否良好

发现角点重投影出现严重错误

角点重投影是为了显示一下用计算出来的相机矩阵对角点进行重投影得到的理论位置。

也是为了显示，理论得到的角点与实际角点之间的差别。

重投影误差最小化通常作为相机标定中的一个目标函数来用的。

然后使用lakibr的相机标定重新标定了一下模组，得到的结果重投影比较准确

注意要选择合适的相机模型和畸变模如绝型

相机模型和畸变模型： https://blog.csdn.net/okasy/article/details/90665534#t7

重投影误差在 0.1~0.2 以内，标定结果较好。 我对相机标定完，发现右边的图范围在1～~1之间， 这样是不是标定的效果很差？ 怎么解决呢？

误差范围接近1的话效果应该很差

博主，请问标定误差大 一般出现的原因是什么？

dymymao 9个月前#4楼博主你好，请问一般使用双目会去做双目极线对齐 cv::stereoRectify，这时是把双目矫正后的图像和imu放入kalibr标定Tic，还是先标定Tic'，再去双目极线矫正调整Ric=Ric' Rl这两种做法哪个更好?收起回复

白巧克渣闷姿力亦唯心 回复 dymymao

两种都可以，但是要注意使用方式。通常大家都是用没有去畸变的图像和 imu 一起标定外参数，这时候标定的外参数是不能用来和rectify后的图像一起做vio的。因为rectify的图像是在畸变图像上还会加一个微小的旋转，即畸变图像和imu之间的外参数 和 rectify 图像跟imu之间的外参数是不一样的。

dymymao 回复 白巧克力亦唯心

如果是畸变图像和imu做的标定得到Tic',双目矫正的左目旋转为Rcc'->Tcc'，则双目VIO的Tic=Tic' Tcc'^T。我理解的对吗？ 此外，双目参数的标定 用kalibr的Multiple camera calibration相比直接用opencv接口stereoCalibrate会好很多吗？

白巧克力亦唯心 回复 dymymao

可以这么认为，Tcc' 只是一个旋转矩阵，平移为0. 以前我用过opencv 和kalibra两种方式标定摄像头。在我标定过程中，kalibra标定的结果确实更好，当然这可能跟我采集数据的方式有关。无论如何，kalibra 相对于opencv标定的优点更多，比如 kalibra 使用apriltag 标定板，使得每个标定格子是带 id 的，这样就使得标定过程相机可以只罩桐捕捉部分标定板就能完成标定，相机运动可以更任意，更便捷。

IMU噪声模型： 从零开始的 IMU 状态模型推导

IMU校正 IMU校正以及姿态融合 - shenshikexmu的博客 - CSDN博客

原理很简单，利用了厅悄相似三角形计算距离，所以双目测距的主要任务在于前期摄像头的定标、双目图像点的特征匹配上。

摄像头定标一般都需要一个放在摄像头前的特制的标定参照物（棋盘纸），摄像头获取该物体的图像，并由此计算摄像头的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像头的内外参数。

如上公式所示，摄像扮镇渣头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。

cvStereoRectify 执行双目校正

initUndistortRectifyMap 分别生成两个图像校正所需的像素映射矩阵

cvremap 分别对旅贺两个图像进行校正

预处理： 图像归一化，减少亮度差别，增强纹理

stereoBM生成视差图

匹配过程： 滑动sad窗口，沿着水平线进行匹配搜索，由于校正后左右图片平行，左图的特征可以在右图对应行找到最佳匹配

再过滤： 去除坏的匹配点 通过uniquenessratio

输出视差图disparity：如果左右匹配点比较稠密，匹配点多，得到的图像与原图相似度比较大， 如果匹配点比较稀疏，得到的点与原图 相似度比较小

根据提取的特征点上用上述双目测距的相似三角算法得出距离。

Multimap<Salesperson, Sale>multimap

= ArrayListMultimap.create()

public void makeSale(Salesperson salesPerson, Sale sale) {

multimap.put(salesPerson, sale)

}

---