基于深度相机 RealSense D435i 的 ORB SLAM 2

相比于 上一篇文章 ，这里我们将官方给的 rosbag 数据包替换为来自深度相机的实时数据。之所以选择 Intel RealSense 这款深度相机，仅仅是因为它是最容易买到的。。。在京东上搜“深度相机”，符合要求的几乎都是这个系列的。具体到 D435i 这个型号，它可以提供深度和 RGB 图像，而且带有 IMU，未来如果我们继续做视觉+惯导的 SLAM 也够用了。

参考： >

iPhone X屏幕上前方采用了 TrueDepth 摄像系统，双摄像头，其中一个为红外摄像头，还包含各种传感器。如下图所示。

iPhone X 正面上方的面部识别组件

iPhone X 面部识别技术 Face ID

Face ID与普通人脸识别其实就是3D人脸和2D人脸的区别。Face ID通过一个结构光系统提取人脸的点云信息生成一个3d模型，而传统的人脸识别是通过一系列的方法，可以是简单的基于位置的信息，也可以是通过神经网络提取出相应的底层，在二维特征层面上进行比较。

Face ID之所以能生成准确的3D人脸模型，是因为用到了结构光，右边有一个小投影仪投射带形状信息的红外光斑到人脸上，左边的摄像头采集光斑的信息，根据形变和大小等逐一确定各个位置的深度和方向信息，最后得到人脸的点云生成3D模型。而传统的单摄像头方案因为没办法准确有效地提取深度信息，人脸识别往往只能使用2维图像。

其实，3D视觉作为一项激动人心的新技术，早已经出现在微软Kinect、英特尔RealSense等消费级产品中。近几年，随着硬件端技术的不断进步，算法与软件层面的不断优化，3D深度视觉的精度和实用性得到大幅提升，使得“3D深度相机+手势/人脸识别”具备了大规模进入移动智能终端的基础。

我记得RealSense是一种技术，你的RealSense是一款商品？RealSense技术自适应环境要求比较高（光感与传感及相关感应器匹配度），因为其高度程序化智能化（对感应器反馈的数据精加工），所以你要针对你的环境（包括光的各种指标，摄像体与被摄体相对位移速度，以及摄像体与被摄体震动频率）做相关把握，因为环境不同造成结果不稳定。同时也却决于你硬件与软件的匹配度与质量。

英特尔实感摄像头是借助红外发射器实现深度计算的立体摄像头。在ISAAC中，RealSense摄像机被各种GEM的用作普通彩色摄像机，这些GEM仅需要单个摄像机图像，例如对象检测。它也可以用于需要深度图像的GEM，例如Superpixels。

ISAAC SDK提供了 RealsenseCamera 小码，以通过librealsense SDK访问来自RealSense摄像机的数据流。ISAAC自动处理所有依赖项，不需要手动安装。

小码可以通过各种参数进行配置。最值得注意的是，您可以通过 row 和 cols 参数更改所需的分辨率，并通过 rgb_framerate 和 depth_framerate 参数更改所需的帧速率。请注意，如 isaacRealsenseCamera小码文档 中所述，仅支持某些模式。如果连接了多个摄像机，则需要通过 dev_index 或 serial_number 参数指定所需的设备。

ISAAC提供了一个基本的示例应用程序来测试您的RealSense摄像机。您可以使用以下命令运行它：

应用程序运行后，您可以使用ISAAC Sight来查看摄像机图像。

RealSense相机可能在使用过时的固件版本。您可以通过如上所述运行RealSense示例应用程序来检查相机的固件版本。如果固件版本不是推荐的版本，则应用程序会在控制台上显示一条消息。

如果您需要更新固件，请按照官方网站上的说明进行 *** 作： >

以上就是关于基于深度相机 RealSense D435i 的 ORB SLAM 2全部的内容，包括:基于深度相机 RealSense D435i 的 ORB SLAM 2、REALSENSE D435i IMU数据的处理与使用、iphone x 的人脸识别是怎样的一种技术等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！