Unity Shader 获取深度纹理和法线纹理

深度纹理实际就是一张渲染纹理，只不过它里面存储的像素值不是颜色值，而是一个高精度的深度值。由于被存储在一张纹理中，深度纹理里的深度值范围是[0, l], 而且通常是非线性分布的。这些深度值来自于顶点变换后得到的归一化的设备坐标 (Normalized Device Coordinates , 简称NDC) 。一个模型要想最终被绘制在屏幕上，需要把它的顶点从模型空间变换到齐次裁剪坐标系下，这是通过在顶点着色器中乘以 MVP 变换矩阵得到的 。在变换的最后一步，我们需要使用一个投影矩阵来变换顶点，当我们使用的是透视投影类型的摄像机时，这个投影矩阵就是非线性的。

下图 显示了Unity 中透视投影对顶点的变换过程。最左侧的图显示了投影变换前，即观察空间下视锥体的结构及相应的顶点位置，中间的图显示了应用透视裁剪矩阵后的变换结果，即顶点着色器阶段输出的顶点变换结果 ，最右侧的图则是底层硬件进行了透视除法后得到的归一化的设备坐标（NDC）。需要注意的是，这里的投影过程是建立在Unity对坐标系的假定上的，也就是说，针对的是观察空间为右手坐标系，使用列矩阵在矩阵右侧进行相乘，且变换到NDC后 z分量范围将在[-1, l] 之间的情况。而在类似 DirectX 这样的图形接口中，变换后z分量范围将在[0, 1]之间 。如果是在其他图形接口下,需要对一些计算参数做出相应变化。

下图 显示了在使用正交摄像机时投影变换的过程。同样，变换后会得到一个范围为 [-1, 1]的立方体。正交投影使用的变换矩阵是线性的。

在得到NDC后，深度纹理中的像素值就可以很方便地计算得到了，这些深度值就对应了NDC中顶点坐标的z分量的值。由于NDC中 z分量的范围在[-1, I], 为了让这些值能够存储在一张图像中，需要使用下面的公式对其进行映射：

其中，d对应了深度纹理中的像素值， 对应了NDC坐标中的z分量的值。

在Unity中，深度纹理可以直接来自于真正的深度缓存，也可以是由一个单独的 Pass 渲染而得，这取决于使用的渲染路径和硬件。通常来讲，当使用延迟渲染路径（包括遗留的延迟渲染路径）时，深度纹理理所当然可以访问到，因为延迟渲染会把这些信息渲染到 G-buffer 。而当无法直接获取深度缓存时，深度和法线纹理是通过一个单独的Pass渲染而得 。具体实现是Unity会使用着色器替换技术选择那些渲染类型（即 SubShader RenderType 标签）为 Opaque 的物体，判断它们使用的渲染队列是否小于等于2500(内置的 Background Geometry AlphaTest 渲染队列均在此范围内），如果满足条件，就把它渲染到深度和法线纹理中。因此，要想让物体能够出现在深度和法线纹理中，就必须在Shader中设置正确的RenderType标签。

在 Unity中，可以选择让一个摄像机生成一张深度纹理或是一张深度＋法线纹理。当选择前者，即只需要 张单独的深度纹理时， Unity 会直接获取深度缓存或是按之前讲到的着色器替换技术，选取需要的不透明物体，并使用它投射阴影时使用的 Pass (即 LightMode 被设置为ShadowCaster Pass）来得到深度纹理。如果 Shader 中不包含这样一个 Pass, 那么这个物体就不会出现在深度纹理中（当然，它也不能向其他物体投射阴影）。深度纹理的精度通常24 位或 16 位，这取决于使用的深度缓存的精度。如果选择生成一张深度＋法线纹理， Unity 创建一张和屏幕分辨率相同、精度为 32 位（每个通道为 位）的纹理，其中观察空间下的法线信息会被编码进纹理的 通道，而深度信息会被编码进 通道。法线信息的获取在延迟渲染中是可以非常容易就得到的， Unity 只需要合并深度和法线缓存即可。而在前向渲染中，默认情况下是不会创建法线缓存的，因此 Unity 底层使用了一个单独的 Pass 把整个场景再次渲染一遍来完成。这个 Pass 被包含在 Unity 内置的一个 Unity Shader 中，可以在内置的builtin_shaders-xxx/DefaultResources/Camera-DepthNormaITextureshader 文件中找到这个用于渲染深度和法线信息的 Pass。

获取深度纹理，先设置摄像机的 depthTextureMode：

然后在 Shader 中通过声明_CameraDepthNormalsTexture 变量来访问它。

同理，如果需要获取获取深度＋法线纹理，设置摄像机的 depthTextureMode为：

然后在 Shader 中通过声明_CameraDepthN ormalsTexture 变量来访问它。

还可以组合这些模式，让一个摄像机同时产生一张深度和深度＋法线纹理：

在 Shader 中访问到深度纹理_CameraDepthTexture 后，我们就可以使用当前像素的纹理坐标对它进行采样。绝大多数情况下，我们直接使用 tex2D 函数采样即可，但在某些平台（例如 PS3 PSP2) 上，我们需要 一些特殊 处理 Unity 为我们提供了一个统一的宏SAMPLE_DEPTH_TEXTURE, 用来处理这些由于平台差异造成的问题。而我们只需要在 Shader中使用 SAMPLE_DEPTH_TEXTURE 宏对深度纹理进行采样，例如：

其中，iscrPos是在顶点着色器中通过调用ComputeScreenPos(opos)得到的屏幕坐标。上述这些宏的定义，可以在Unity 内置的HLSLSupportcginc文件中找到。

当通过纹理采样得到深度值后，这些深度值往往是非线性的，这种非线性来自于透视投影使用的裁剪矩阵。然而，在我们的计算过程中通常是需要线性的深度值，也就是说，我们需要把投影后的深度值变换到线性空间下，例如视角空间下的深度值，我们只需要倒推顶点变换的过程即可。下面以透视投影为例，推导如何由深度纹理中的深度信息计算得到视角空间下的深度值。

当我们使用透视投影的裁剪矩阵 对视角空间下的一个顶点进行变换后，裁剪空间下顶点的z和w分量为：

其中，Far和Near分别是远近裁剪平面的距离。然后，我们通过齐次除法就可以得到NDC下的z分量：

而深度纹理中的深度值是通过下面的公式由NDC 计算而得的：

由上面的这些式子，可以推导出用d表示而得的 的表达式：

由于在Unity 使用的视角空间中，摄像机正向对应的z值均为负值，因此为了得到深度值的正数表示，我们需要对上面的结果取反，最后得到的结果如下：

它的取值范围就是视锥体深度范围，即[Near, Far]。如果我们想得到范围在[0, l]之间的深度值，只需要把上面得到的结果除以Far即可。这样，0就表示该点与摄像机位于同一位置，1表示该点位于视锥体的远裁剪平面上。结果如下：

其实，Unity提供了两个辅助函数来为我们进行上述的计算过程LinearEyeDepth 和LinearOlDepth。LinearEyeDepth 负责把深度纹理的采样结果转换到视角空间下的深度值，也就是我们上面得到的 。而Linear01Depth则会返回一个范围在[0, 1]的线性深度值，也就是我们上面得到的 。这两个函数内部使用了内置的_ZBufferParams变量来得到远近裁剪平面的距离。

如果需要获取深度＋法线纹理，可以直接使用tex2D函数对_CameraDepthNormalsTexture 进行采样，得到里面存储的深度和法线信息。Unity提供了辅助函数来为我们对这个采样结果进行解码，从而得到深度值和法线方向。这个函数是DecodeDepthNormal，它在UnityCGcginc 里被定义为：

DecodeDepthNormal 的第一个参数是对深度+法线纹理的采样结果，这个采样结果是 Unity 深度和法线信息编码后的结果 它的 xy 分量存储的是视角空间下的法线信息 而深度信息被编码进了 zw 分量。通过调用 DecodeDepthNormal 函数对采样结果解码后， 我们就可 得到解码后的深度值和法线。这个深度值是范围在[O l] 的线性深度值（这与单独的深度纹理中存储 深度值不同），而得到的法线则是视角空间下的法线方向。同样也可以通过调用 DecodeFloatRG和DecodeViewNormalStereo 来解码深度＋法线纹理中的深度和法线信息。

在机器人和计算机视觉领域，微软的游戏外设 Kinect 是非常流行的感知设备。它可以同时提供普通的 RGB 图像，红外图像、深度图像以及 RGB图像与深度图像的点集匹配 （point set registration 或者称为 point matching）。

Kinect 有两个比较常见的版本：

在本项目中我们选用 Kinect v2。

为了将 Kinect 的图像信息发布到 ROS 中，需要做两方面的工作

本文主要参考了下边的文章，并对其中的部分内容做了修改、更新

>

国外三维人脸识别的典型方法主要是利用深度图像自身的几何特征，利用深度图像处理技术，分析面貌曲面的曲率等几何特征，对面貌曲面进行凹凸区域的分割、正侧面轮廓边缘的提取。最早对三维图像面貌识别的研究有Lapreste提出的基于轮廓线的方法，通过对人脸面貌曲率的分析，提取轮廓线上的特征点，利用轮廓线作为特征进行面貌的识别。Lee&Milios从人脸面貌深度图像中抽取凸区域，这些凸区域形成了特征集，计算出所有凸区域相关的扩展高斯图，两幅面貌特征的匹配就是利用这些扩展高斯图像进行的。当然还有很多基于轮廓线和凸区域的改进方法，例如凸凹点多阶段融合过程方法、轮廓线的欧氏距离识别方法、轮廓线曲率比较方法等等。但这些方法还停留在理论研究的层次，没有实质的自动化系统的出现。国内三维人脸识别的研究也相应地展开，但与国外的研究相比还处于刚起步的状态。目前，三维数据获取已经成为可能，并已经成熟的在实际工作中使用（如三维激光扫描技术、CT成像技术、结构光方法等），使得三维图形识别技术得到了应用的可能，可以迅速地完成人头三维面貌数据获取。

图像的采集有很多种方法，可以用数码相机拍摄数字图像，可以使用扫描仪从印刷品和照片上获取图像等，根据实际的需要我们要学会灵活地运用各种方法采集我们需要的图像素材。

下面我们看看常见的图像获取方法。

1、从印刷品、照片上获取图像

通过扫描仪把各种印刷图像及照片数字化后存入计算机。

具体的 *** 作如下：

1）连接好扫描仪，打开支持扫描仪驱动程序TWAIN的软件，如PhotoShop，选择从扫描仪导入，这时就会打开扫描仪设置程序，

2）在扫描仪中放好需扫描的图像或文稿，单击预览按钮，

3）设置颜色深度、分辨率和去除网纹等。还可以对图像进行调整。颜色深度通常有黑白二值、灰度8位、彩色24位等。分辨率越高，图像越清晰，

提示：一般通过扫描仪获取数字化图像信息时，扫描分辨率都设置得比较高，通常采用300dpi或更高，但要同时考虑图像大小和扫描速度。

4）选取扫描区域，单击扫描按钮。

5）将扫描到的图像进行保存或在Photoshop中进行加工处理。

2、使用数码相机拍摄数字图像

对于现实景观的图像采集，我们可以利用数码相机进行采集，目前市面上的数码相机种类繁多，但基本的工作原理是一样的，使用数码相机进行拍照其实是对景象进行数字化处理，数码相机的使用与普通相机基本一样。要拍摄好的照片，单单有一台好相机是不够的，还需要有丰富的拍摄技巧，需要同学们自己找时间摸索。

RGB 图像(19201080) 和深度图像(512424) 分辨率不一样 你需要先将RGB图像剪裁一下。如果我没理解错的话 你需要用Opencv把人抠出来 然后再将抠出来的人覆盖到深度图像矩阵中。

以上就是关于Unity Shader 获取深度纹理和法线纹理全部的内容，包括:Unity Shader 获取深度纹理和法线纹理、在 ROS 中提取 Kinect 图像信息、什么是基于深度三维图像识别技术等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！