SLAM--虚拟机Ubuntu下使用opencv读取摄像头数据

       开发slam过程中，希望使用笔记本自带的摄像头跑slam算法，但是因为虚拟机支持不够会出现各种问题。先介绍一下我的环境：VmWare12 + Ubuntu 14 + ROS Indigo +  OpenCV3.3.1。碰到的问题：

           1）使用ros支持包usb_cam，发布数据时，必须设置format为"mjpeg"格式，可参照我之前的文章—— 《SLAM--虚拟机环境下的相机标定》 ，我在相机标定时先把虚拟机的usb设置为1.1，然后把usb_cam-test.launch中的format改为"mjpeg"，才可以读取数据，但是运行launch文件一直提示格式无法转，其实这个还是因为图像没有正确读取的，而且百度上都说改为usb3.0，所以我怀疑这种方式不是正确的，果真出现第二个问题，如下；

            2）使用opencv中videoCapture类读取图像数据时，运行时摄像头灯是打开的，但是就是imshow不出图像，试了各种办法，诸如延迟、更改usb设置啊等等，但是均不能解决。

         经过几天的纠结开始怀疑是不是虚拟机对usb支持的不够好，毕竟这个很多人也是诟病的。然后就把虚拟机卸载，重新安装vmware14，因为是高版本支持之前的ubuntu虚拟机系统，打开虚拟机后在主页面会有“升级此虚拟机”，出现“硬件兼容性”，选择Workstation14.x，然后点击下一步，两个选择，可以克隆作备份或者直接升级。

         事实上并没有解决上述问题，之后我怀疑是不是摄像头驱动应该更新一下，然后就卸载再重新安装了驱动，事实上驱动应该还是原来的驱动。但是奇迹发生了，重新再运行虚拟机后，将usb改为3.0可以正常读取数据了，格式为“YUYV”也可以，opencv也可以正常读取数据。

        个人觉得还是跟虚拟机支持硬件的兼容性有关。希望对大家有用！ 

推荐看一下博客，评论内容也很丰富 ，很多问题都能在评论中找到答案：

https://blog.csdn.net/u011178262/article/details/83316968#_images__imu__201

https://github.com/gaowenliang/imu_utils

运行程序前修改launch的 topic 等参数

launch文件中， <param name="max_time_min" type="int" value= "80"><param name="max_cluster" type="int" value= "100">这两个参数的意义是什么？应该怎么设置呢？

max_time_min：采集IMU数据的时间，越长越好，单位分钟；

max_cluster：Allan方差的cluster，imu_utils中的launch文件中都是100，我一般也设置100

运行命令

source ~/kalibr_workspace/devel/setup.bash

注意要在dataset-dir后加上/.，在根目录运行这个命令即可（在文件目录下输出会生成一个很小的bag文件），输出的bag文件就在根目录下。

制作bag包

运行标定命令

打开--show-extraction选项在标定过程中可以可视化角点检测情况是否良好

发现角点重投影出现严重错误

角点重投影是为了显示一下用计算出来的相机矩阵对角点进行重投影得到的理论位置。

也是为了显示，理论得到的角点与实际角点之间的差别。

重投影误差最小化通常作为相机标定中的一个目标函数来用的。

然后使用lakibr的相机标定重新标定了一下模组，得到的结果重投影比较准确

注意要选择合适的相机模型和畸变模型

相机模型和畸变模型： https://blog.csdn.net/okasy/article/details/90665534#t7

重投影误差在 0.1~0.2 以内，标定结果较好。 我对相机标定完，发现右边的图范围在1～~1之间， 这样是不是标定的效果很差？ 怎么解决呢？

误差范围接近1的话效果应该很差

博主，请问标定误差大 一般出现的原因是什么？

dymymao 9个月前#4楼博主你好，请问一般使用双目会去做双目极线对齐 cv::stereoRectify，这时是把双目矫正后的图像和imu放入kalibr标定Tic，还是先标定Tic'，再去双目极线矫正调整Ric=Ric' Rl这两种做法哪个更好?收起回复

白巧克力亦唯心 回复 dymymao

两种都可以，但是要注意使用方式。通常大家都是用没有去畸变的图像和 imu 一起标定外参数，这时候标定的外参数是不能用来和rectify后的图像一起做vio的。因为rectify的图像是在畸变图像上还会加一个微小的旋转，即畸变图像和imu之间的外参数 和 rectify 图像跟imu之间的外参数是不一样的。

dymymao 回复 白巧克力亦唯心

如果是畸变图像和imu做的标定得到Tic',双目矫正的左目旋转为Rcc'->Tcc'，则双目VIO的Tic=Tic' Tcc'^T。我理解的对吗？ 此外，双目参数的标定 用kalibr的Multiple camera calibration相比直接用opencv接口stereoCalibrate会好很多吗？

白巧克力亦唯心 回复 dymymao

可以这么认为，Tcc' 只是一个旋转矩阵，平移为0. 以前我用过opencv 和kalibra两种方式标定摄像头。在我标定过程中，kalibra标定的结果确实更好，当然这可能跟我采集数据的方式有关。无论如何，kalibra 相对于opencv标定的优点更多，比如 kalibra 使用apriltag 标定板，使得每个标定格子是带 id 的，这样就使得标定过程相机可以只捕捉部分标定板就能完成标定，相机运动可以更任意，更便捷。

IMU噪声模型： 从零开始的 IMU 状态模型推导

IMU校正 IMU校正以及姿态融合 - shenshikexmu的博客 - CSDN博客

---