ICME 2021|高性能、保护隐私的下一代生物识别之路

（2021年7月19日，北京）在近日举办的 ICME 2021 上，墨奇科技 CEO 及联合创始人邰骋、墨奇科技 CTO 及联合创始人汤林鹏受邀发表 Tutorial 演讲，介绍了如何将指纹识别问题转化为高精度图像搜索问题，基于先进的多尺度特征表示、极少样本的自学习框架、超高性能的异构搜索系统，首次实现了无需细节特征的指纹比对系统，达到 20 亿量级上的秒级、高精度、自动化比对，并揭示了这一技术泛化到其他自然图像和非结构化数据上的可能性。

演讲还介绍了利用多目视觉和结构光的非接触指纹采集技术的原理，以及下一代保护隐私的生物识别技术特性和实现途径探索。

指纹识别传统方法的挑战、基于机器学习的改进与局限性

指纹识别是一种典型生物特征比对方式，一般来说有两种类型任务：第一种是验证，也称之为 1：1 的比对，是看这个人是不是他所宣称的人，例如手机解锁等，这相对比较容易。第二种是识别，也称之为 1：N 的比对，要回答的是这个人是谁。从以下系统错比率和漏比率就可以看到，1：N 的问题比 1：1 的问题要困难得多，而且随着库容增大，这一问题会变得更加困难。

现有的比对系统主要是基于衡量输入的相似度取阈值，一个真的比对分数是比较高的，通常会形成偏右的分布。而错误比对的分数会比较低，形成偏左边分布。这两个分布可能有重叠，所以系统会犯两种错误：错比（false match/false accept）：把不同的人当成同一个人；漏比（false nonmatch/false reject）：把同一个人当成不同的人。以下公式中，下标 N 是指有 N 个人的 1：1 的识别，可以看到两类系统漏比率基本相当，而错比率 1：N 系统近似于是 1：1 系统的 N 倍。

现场指纹（latent-print）比对是一个典型的1：N 识别的问题，对这一问题，传统指纹系统尚未能很好地解决。传统指纹识别方法主要有三方面问题：如何实现现场指纹图像自动增强、如何进行畸变校正，如何加速流程实现在大库中的快速比对。

这三方面问题存在于指纹识别的不同环节：

·首先是采集环节，通过指纹传感器采集指纹信息，通常分为人员指纹和现场指纹两类，其中，人员指纹（tenprint）通过人员主动参与获得（例如油墨按捺或滚动），通常质量较高，而现场指纹（latent-print）需要借助粉尘显影等方式显现，图像质量往往较差，通常需要进行图像增强后才能使用。

·第二个环节是通过图像增强进行特征提取。在传统指纹识别流程中需要提取细节特征点（minuTIa），即一些带有方向的点，包括端点和分叉点等，用于比对相似性。这一环节需要使用方向估计（orientaTIoin esTImaTIon）（如傅里叶近似法或梯度法）、使用 Gabor 滤波器进行图像平滑、去除假特征等图像增强 *** 作，以获得细节特征。然而对于现场指纹，有时图像增强不佳，过度压缩，反而把真正的细节特征给去除了。

·第三个环节是细节特征比对，在对需要比对的两个模型做细节特征对齐（alignment）后，对比对数量和精度进行评分，并设置阈值，以获得相似性分数。然而传统指纹系统这一环节依赖于专家对细节特征进行人工标注，技术门槛很高，效率却很低。

针对这些问题，近年来，研究者们在利用机器学习技术来改进传统的指纹识别上做了大量的工作，包括利用生成对抗网络（GAN）进行现场指纹图像增强，使用基于卷积神经网络（CNN）进行畸变校正，以及通过 FingerNet 端到端细节特征提取方法直接从图像中提取特征点。这些基于深度学习的方法是对传统方法的一种改进。

然而，这些方法在精确度、训练数据和性能上仍存在局限：

·第一，在精确度上，由于这些方法都是基于细节特征，而细节特征本身的精度就有限，只覆盖了指纹信息中的一小部分，曲率和几何信息都丢失了。只使用了细节特征的系统，随着数据库大小的增加，准确率会迅速下降，即“大库衰减”现象。

·第二，这些方法需要大量的训练数据，但是这些数据并不易于获得，而通过合成数据训练的模型通常并不能很好地应用到真实数据中。

·第三，在性能表现上，仍不能达到预期，尤其在大型数据库比对上花费的时间过长。

新一代指纹识别技术：将指纹比对问题转化为高精度图像搜索问题

墨奇科技一直致力于探寻新的技术路径来解决这些问题，并发现了一种可行的方式：除了传统细节特征外，指纹上还有很多信息，例如纹线的曲率、疏密分布、宏观的走向、拓扑结构等等，这些信息对于身份识别都很重要。如果指纹比对看作一个特殊的图像搜索问题，就会发现解决问题的关键在于多尺度表示，即对不同信息运用不同尺度予以表示。然而图像搜索问题更多是相似性搜索问题，对于准确率的要求远没有指纹比对这么高。

图：多尺度特征

那么如何实现高精度的图像搜索呢？

首先需要一个更有效的数学框架为指纹图像构建最佳的多尺度表示，可以更搜索友好而非压缩友好，让高精度、高性能的图像搜索成为可能。这里运用的是自适应小波框架。新的表达方法具有三个显著优势：一是可以学习向量、图和标签的多尺度特征。二是更容易构造多个特征。例如，在从像素到整体图像的每一个中间尺度上，都提取了标签（label）、向量（vector）和图（graph）等不同的特征，极大地扩充了指纹信息。三是表示更具冗余性，并且具有完全重构特性，因此，可以对其应用不同的 *** 作以获得更多特征，例如一个点在不同尺度上，可以包含标签等信息。

其次，只需要极少样本的自学习框架，让系统可以自学习。单张图片的训练信号大大增加，因而学习所需的标记数据很少；给定一对指纹图像，在全部尺度都可以开展学习；当专家使用系统时，会不断提供匹配/非匹配对，从而实现系统自驱动；特征具有局部性，无需再使用细节特征。因而，适应多尺度特征的 AI 自学习框架，能够从搜索候选中不断自学，达到无监督学习。

另外，超高性能的异构系统和架构，让准确性和速度提升。专门用于视觉搜索的异构多层分布式系统，针对多尺度特征进行了优化。在比对过程中，向量和标签被首先分配到 GPU/NPU 中去，利用其强大的并行计算能力，对特征进行初步的比对和过滤；对结果使用 CPU 进行图等几何特征的比对和精确匹配，以及对于多种算法的候选列表进行再排序以优化最终的结果，最终实现指纹图像的高速比对。

上图：需要人工标注细节特征

下图：无标注比对自动搜索指纹图像相似的区域

凭借这些底层的技术创新，墨奇科技的新一代指纹识别系统彻底改变了传统系统的工作流程，且突破性地不需要人工标注，与现有绝大部分依赖人工的指纹系统都有本质的差别。

以前，人们必须去现场收集指纹，带回到办公室，让指纹专家标记特征并将这些模板发送到系统进行比对、等待结果。而现在只需要在现场用一些摄影设备（例如手机）来拍摄指纹，就可处理更多特征数量和特征维度，但比对效率和响应速度却更高，可以秒级返回高精度结果，突破性地实现了 20 亿量级大库的秒级、高精度、自动化比对。这一技术目前已运用到了指纹以外的更多图像，如掌纹识别上，未来还可能推广到更广泛的图像搜索应用中。

相较于传统系统，虽然墨奇科技下一代指纹识别系统需要处理的特征数量和特征维度更多，但比对效率和响应速度却更高。基于以上的技术突破，该系统是目前行业内比对速度更快、精度更高的系统，同时降低了大库衰减率。

新一代指纹采集技术：将指纹采集升级到非接触 3D 时代

疫情期间，非接触指纹采集和识别技术受到越来越多的关注。传统指纹采集大多是接触式的，需要手指按压在仪器表面。而非接触指纹采集具有更明显的优势：

·一是因为这种技术能够提供更高质量的指纹图像，包括采集更多 3D 信息和更大的指纹面积，且与传统接触式不同，无需担心不同油墨量会影响指纹质量，按压过程中也不会出现非均匀畸变。

·二是因为这种技术对用户更友好，采集速度更快、更便捷、更卫生，并且不需要非常专业的 *** 作人员协助指导。

非接触式指纹技术涉及到几个关键技术，包括三维曲面重建和三维到二维曲面映射。指纹三维曲面重建目前主要有两种方案：第一种是利用多目视觉技术，在指纹采集时，手指的每一部分都需要出现在至少两个摄像头的视野中；另外一种则基于结构光技术，通过向被测物体表面投射特定图案的光线，通过对光的反射构建三维曲面。

墨奇科技提出了将多目视觉和结构光结合使用的新方法。其中，多目视觉聚焦于中间部分，结构光聚焦于边缘部分，并与多目视觉的三维结果进行交叉验证，这样就实现了从不同角度对指纹的三维曲面进行高精密度的重建。

图：多目视觉技术+结构光

三维到二维曲面映射技术，主要有两种展开方式：参数化展开和非参数化展开。参数化展开将手指看做一个圆柱体，将圆柱体从三维铺平到二维平面。该方法简单有效，但是它无法保持手指垂直方向上的曲线距离，况且指尖部分也和圆柱体有很大的不同，所以会有有很多失真和误差。非参数化展开实际上是模拟手指如何在平面上展开，构建从三维表面到二维平面的非参数映射。这种方法需要的计算量更大，对三维曲面的精度要求也更高。

墨奇科技组合运用了这两种方式。

图：墨奇首创了高图像质量的非接触式指纹扫描仪

第一行左边结果来自传统的扫描仪

中间图像来自墨奇非接触指纹扫描仪

第二行来自业界其他非接触设备

基于这些技术，墨奇首创了高图像质量、与滚动捺印采集面积相当的非接触式指纹扫描仪。它融合了世界领先的非接触光学采集技术和三维视觉技术，通过高精度曲面重建算法，使手指表面三维建模达到亚毫米精度，拥有采集速度快、采集质量高、无需滚动捺印、无形变、采集面积更大等核心优势，是国际领先、国内首创的自主科技创新成果，将指纹技术全面升级到非接触 3D 时代。

保护隐私的生物识别技术

生物识别技术在许多应用中带来了便利和安全，但另一方面，对由此引发的隐私问题的关注也在不断增长，而且重要日益凸显。和密码不同，生物特征与每个人都永久相连，具有终生不变的特性，一旦泄露就永远泄露。因此，生物特征识别技术需要一种更有效的隐私保护机制。

用户的原始特征和采集到的模板都是用户的隐私信息，都应该被保护。用来比对的是使用变换函数变换后的特征，并只将变换后的特征存在数据库里。对照密码常使用的哈希加密，我们可以用类似的方法，使用加密哈希变换和存储生物特征信息吗？

实际上，典型的哈希函数在生物特征识别上并不起作用，因为生物特征数据会随着时间变化，例如同一个人的指纹可以有不同的形状和面积，面部图像可以有不同的角度和亮度，虹膜数据也可能随睁眼或闭眼而变化，而例如用一个 SHA256 的哈希值，即使原始数据改变了一位，哈希值也完全改变了。

既然典型的哈希函数不起作用，保护隐私的生物识别技术应该具有哪些特性？墨奇科技认为，一个真正保护隐私的生物识别系统需要具备如下三点：

·第一，不可逆。在给定比对特征的情况下，恢复原始的特征模板非常困难，并且这一难度通常由 NP-hard 类问题来保证。这一特性防止了滥用存储的生物特征数据进行欺骗或重放攻击，因为攻击者将无法从变换后的特征中获取原始模板，这样就提高了生物识别认证系统的安全性。

·第二，可撤销。一旦某一个模板泄露或被认为不安全，就可以安全注销，然后签发一个新模板，这样就使得使用生物识别的方式和使用密码的方式一样可撤销。

·第三，非关联性。这意味着想要确定一个或者多个变换后的模板是源于同一个原始特征，在计算上应该是困难的。也就是说，用户有不同的生物识别应用，但彼此之间并不关联，比如说有小区门禁、支付等不同的应用并不交叉认证，从而保护了个人的隐私。

如果满足了上述三点，那么这样的方案才可被称为可撤销的生物识别技术，其中有三种方案最具代表性：Biohashing 、Fuzzy Commitment 和 Fuzzy Vault。

·第一种方案，Biohashing，使用一个外部密钥 k 生成从原始模板 T 中生成 biohash H （T， k）。这种方法的优点是由于需要同时借助原始生物特征模板和外部密钥两个因素验证，实际上提高了准确性。然而，该方案的缺点是仍需要记住密钥，且一旦密钥暴露，原始生物特征数据也不安全。

·第二种方案，Fuzzy Commitment，使用纠错码技术，优点是可以看到用户不需要记住任何密钥，而缺点在于取决于纠错码的构造，不可撤销性或者不可链接性可能无法完全满足。

·第三种方案，Fuzzy Vault，实际上假设原始生物特征模板包含图像的许多特征点，使用一组网格点对图像进行分区，并将这些特征点量化到网格，如果足够多的特征点是正确的，那多项式可以用Generalized Reed Solomon解码技术来恢复，否则，有很多错误点的多项式重建问题，实际上是 NP-hard 问题。这种方法的优点是多项式重建问题的难度保证了一定的安全属性，缺点是比对速度很慢。

图：Biohashing 、Fuzzy Commitment 和 Fuzzy Vault

由此可见，研发保护隐私的生物识别相当困难，现有系统很难达到。另一方面，对于所有保护隐私的生物识别系统，都存在错比率（FMR）和漏比率（FNMR）之间的权衡问题，可以视为安全性和便利性之间的权衡。

事实上，任何可撤销的生物识别系统的安全级别实际上都受 1/FMR 的限制，因为攻击者可能会生成一个数量超过 1/FMR 合成生物特征样本数据库，然后在如此大量的样本中，可以只找到一个与原始样本具有足够相似度的样本，然后我们就可以找到匹配并破解系统，还原原始的生物特征样本。因此，我们需要一个具有非常低的 FMR 错比率的系统，才能确保安全。

对于指纹识别系统来说，未来可撤销的保护隐私的指纹识别系统，未来发展方向包括：

·第一，进一步提高指纹图像的质量和独特性。通过采集更大的图像面积、扫描一只手的多根手指等方式，可以显著增加指纹细节特征的数量，从而有效提高安全级别，而非接触指纹采集实际上是实现这一目标的一种非常有前景的方法。

·第二，结合多种方式在安全与便捷之间实现更好的平衡。比如，通过在每个指纹细节特征点中增加嵌入式向量，使得指纹细节点更具区别性，从而用更少的指纹细节特征达到相同的安全级别。

墨奇科技正在将图像比对和密码学相组合，引领下一代保护隐私的生物特征识别技术。尽管保护隐私的生物识别技术由于各种技术困难尚未被广泛采用，但必是生物识别技术的未来。

ICME 2021 简介：

全球计算机多媒体顶级会议 ICME 全称 IEEE International Conference on Multimedia and Expo，2021 年于 7 月 5 日 - 9 日于线上召开。

ICME 是计算机多媒体领域最重要和权威的两大国际旗舰会议之一，会议轮流由美洲、欧洲、亚洲城市主办，至今已连续举办 20 届，每年都有约 500 位学者参会，收到约 1000 份论文，涵盖文本分析、图形图像、视频处理、语音和音频信号处理等主题。