[XR]人脸捕捉(Unity + iPhone)快速简易版

我使用的开发环境： Windows 10 专业版;Unity 2020.3.23f1c1 (64-bit);iPhone12Pro(15.1.1);模型来源：Daz 3D - 3D Models and 3D Software | Daz 3DAt Daz 3D, download our free 3D software and shop free and premium 3D models, animations, and more to create your realistic universe.https://www.daz3d.com/ 步骤： 将手机和电脑接入同一局域网段(简单说就是子网掩码一致，IP地址前3段一致);AppStore上下载FaceCapture(Unity官方开发的，发布者Unity Technologies ApS);打开Unity Hub，创建HDRP工程;打开工程，在PackManager里使用"Add package from git URL"下载live capture，URL填入com.unity.live-capture，安装，也可以把自带的实例资源一起安装，示例资源可以直接使用;导入人脸模型，注意BlendShape命名，最好符合苹果的ARKit要求，否则需要自己一个一个表情对（52个）；场景中创建gameobject，挂载组件TakeRecorder，添加CaptureDevice (ARKit Face Device)，用于选择采集数据的设备；场景中添加模型，挂载组件ARKitFaceActor，将模型节点生成独立prefab；指定第6步创建的ARKitFaceDevice的Actor字段为第7步的对象；在Project资源窗口创建一个FaceMapper(右键 => Create => Live Capture => ARKit Face Capture => Mapper编辑第9步的Mapper，可以点击Inspector上的锁标志，方便编辑， RigPrefab指定为第7步生成的prefab，双击prefab(锁定Mapper的Inspector是方便此 *** 作)；从模型的Rig里找到左右眼分别填入对应位置；同理指定好头部节点；点击Mapper的Add Renderer，选择模型中主Mesh，看到+号就可以随便点了，如果第5步按要求做，这时应该自动对齐所有表情的BlendShape了，否则自己一个一个绑定；将编辑好的Mapper指定给Prefab里的ARKitFaceActor组件Mapper字段；开启unity服务器，Window => Live Capture => Connections，点击Create Server，默认端口9000，这里注意要编辑Windows的防火墙入站规则，开放对应端口的访问；点击Play，启动手机App，连接服务器，应该就可以看到虚拟形象的面捕表情和你自己的表情同步了。 可能遇到的问题： 手机app链接不上服务器： 手机和电脑是否在同一网段；检查Windows防火墙入站规则，是否已开放端口；Unity的服务器是否启动；面捕不响应： 检查第6步中的ARKit Face Device组件，ClientDevice字段是否有值，这个值就是手机名，这个值可以在运行时实时切换；虚拟人物表情不对： 检查第10步Mapper的设置，注意BlendShape名称的绑定； 参考： 首选官方文档：About Live Capture | Live Capture | 1.0.1 https://docs.unity.cn/Packages/[email protected]/manual/index.html官方pdf地址：https://forum.unity.com/attachments/live-capture-apps-startup-guide-pdf.961348/https://forum.unity.com/attachments/live-capture-apps-startup-guide-pdf.961348/苹果ARKit文档：Apple Developer Documentationhttps://developer.apple.com/documentation/arkit/content_anchors/tracking_and_visualizing_faces苹果ARKit面捕BlendShape命名规范：Apple Developer Documentationhttps://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation其他参考： 吐槽： Unity的这个App不太稳定，容易崩，没unreal的live link face稳定；启动一会儿App天线部位会很烫；