防止黑客重建人脸，浙大&阿里人脸隐私保护新方案

金帅帆 投稿
量子位 | 公众号 QbitAI

对人脸数据安全的担忧，有新解了！

浙江大学与阿里安全部联手，推出了新的人脸隐私保护方案FaceObfuscator。

不法分子即使从数据库中获取到人脸特征，也无法使用各类重构攻击还原人脸数据、窃取人脸隐私。

新型重构攻击，威胁人脸隐私

人脸识别是一项基于人脸特征信息进行身份识别的生物识别技术，广泛应用于金融、安防与民生。

在使用人脸识别系统前，首先需要录入人脸信息，这些人脸信息会以人脸特征的形式被保存在服务商的人脸数据库中用于之后的实时人脸识别与身份认证。

△主流的人脸识别架构

然而，网络和数据安全保障机制的欠缺容易导致人脸数据库泄露。

虽然人脸特征能够在一定程度上防止直接的隐私泄露，但不幸的是，这些用肉眼看不出来的人脸特征，仍然可能通过强大的AI技术进行人脸重建。

这些泄露的人脸信息一旦被不法分子恶意利用，人们的信息安全将受到极大伤害。

从特征中恢复出原始的人脸图像的过程称为重构攻击。

攻击者通过训练一个重构网络，利用大量的人脸图像-人脸特征对，通过不断的训练和优化使其学习特征向量和对应人脸图像的关联规则，最后这个重构网络能够从特征向量中准确地恢复出原始人脸。

这样说也许不够直观，我们直接看一下复原之前的特征图像：

△人脸特征示意图

这样完全不知所云的图像，经过复原重建之后，除了些许色调差异之外和原始数据集几乎看不出任何差别。

△重构攻击流程示意图

现有的人脸特征保护方案包括蚂蚁集团于2022年提出的PPFR-FD（删除部分高频视觉信息抵御重构攻击）、腾讯优图于2022年提出的DuetFace（删除部分低频视觉信息抵御重构攻击）等。

这些方法虽然能抵御一些传统攻击，但均无法应对此种新兴的重构攻击，用户的人脸特征能够被还原为可辨识的人脸图像，用户隐私受到了严重威胁。

△不同防御方案下重构攻击还原的人脸图像效果

为了解决这一问题，浙江大学区块链与数据安全全国重点实验室的任奎教授、王志波教授联合阿里安全部提出了全新方法——

通过在客户端筛选频域通道删除人脸图像中的冗余视觉信息，并利用随机性干扰人脸特征到人脸图像的逆映射，从根源上防御重构攻击；在服务端，利用逆变换移除随机性，保持人脸识别准确性。

该成果已发表于USENIX Security Symposium 2024，是安全领域的四大国际顶级学术会议之一。

既要精准识别，也要隐私安全

FaceObfuscator是一种轻量级的隐私保护人脸识别系统，解决的就是当前人脸识别系统面临的人脸特征重构隐私威胁。

FaceObfuscator首先对输入的人脸图像脱敏得到混淆特征，然后在整个人脸识别流程以及人脸数据库中使用混淆特征而非人脸图像。

该混淆特征既能用于高精度人脸识别，也能在泄露后有效防止攻击者从中恢复出原始人脸信息。

△混淆特征生成流程

具体来说，FaceObfuscator中得到混淆特征的过程可以分为两步——人脸识别冗余信息的删除，以及人脸隐私信息的混淆。

第一步，人脸图像视觉信息的删除。这一步就是为了在保证人脸识别精度的情况下，删除包含个人隐私的冗余视觉信息。

因为不同的频域通道含有不同的视觉信息（低频通道拥有整体视觉信息，高频通道拥有图像细节信息），该团队首先通过离散余弦变换将图像转化为频域特征，以完成图像视觉信息的切分。

经实验，该团队发现，无论高频通道还是低频通道，每一个频域通道均可以用于较为精准的人脸识别，这也意味着原始人脸图像中存在大量冗余信息。

这些冗余信对于人脸识别精度的提升并没有多大帮助，但却为攻击者提供了丰富的重构信息。

因此，该团队通过分析频域通道对人脸识别任务的重要性，并将按重要性其排序，最终仅保留对于人脸识别而言最关键的频域通道作为人脸特征，实现尽可能抑制视觉信息，同时保持人脸识别高精度。

然而，剩余的频域通道中还有部分视觉信息与身份信息高度耦合，仍够被攻击者还原出一定隐私信息，需要进一步对人脸特征进行混淆。

于是就来到了第二步。

经分析，该研究团队发现，进一步抵御重构攻击的关键在于干扰重构网络的梯度下降过程，以阻止其拟合从人脸特征到人脸图像的逆映射。

因此，在客户端，FaceObfuscator对每一个人脸特征从方向和尺度两个维度进行随机变换，引入随机性抵御重构攻击。

其中，方向的随机性是通过随机翻转人脸特征中元素的符号位实现的，尺度的随机性是通过对人脸特征中元素的数值进行指数变换实现的。

当人脸特征具有随机性时，攻击者使用的损失函数将难以收敛，从而干扰重构网络的梯度下降过程，有效抵御各类重构攻击。

△人脸特征方向与尺度随机变换示意图

同时，研究团队通过实验发现，人脸特征方向的随机性对人脸识别精度影响极小，不会影响正常的人脸识别。

因此在服务端仅需考虑移除尺度维度的随机性，保证人脸识别。

具体来说，服务端通过执行指数变换的逆变换——对数变换，将同一个身份的不同混淆特征还原为同一人脸特征，以移除尺度的随机性，保证人脸识别的准确性。

最终，FaceObfuscator生成了一种抗重构的人脸特征，用于保护人脸数据的传输和存储。

此种保护方案，不是加密胜似加密，既具备出色的防御效果，又能保持较低的计算开销和存储开销。

有效抵御重构攻击

如下图所示，该团队在6个公开人脸数据集（LFW、CFP-FF、CFP-FP、AgeDB-30、CALFW、CPLFW）测试了FaceObfuscator的隐私保护能力。

△不同防御方案下重构攻击还原的人脸图像效果

在实验中，攻击者采用基于深度学习网络（DNN）的方式学习特征到人脸图像的映射，进而从泄露的人脸特征中直接恢复出人脸图像。

这也是目前最主流的、最有效的攻击方式。

可以看到相较于其他方案，FaceObfuscator的人脸特征无法被重构为人脸图像，有效了保护人脸隐私。

△不同防御方案的COS、SRRA指标

其中COS为余弦相似度，计算方法是通过另一个独立的人脸识别系统分别获取重构图像与原始图像在 512 维人脸特征空间中的身份向量，计算两者余弦相似度。

COS 越低，防御效果越好。

SRRA是重放攻击成功率，具体是指使用某个人脸识别系统的重构图像来欺骗同一人脸识别系统以成功进行身份认证的概率，SRRA越低意味着隐私保护能力越好。

结果，重构图片与原始图片的余弦相似度大幅减少，有效保护人脸隐私；

重放攻击成功率大幅降低SRRA值（从90%降低至0.1%数量级），有效防止泄露人脸突破人脸识别系统。

同时该团队也对人脸识别精度、存储开销、计算开销等进行了定量的实验。

结果，该方案人脸识别精度与基线（Arcface）基本保持一致，拥有最低的存储开销，较优的时间开销，如下表所示：

△不同方案在人脸识别效用方面的表现

注：● 代表良好的防御攻击能力；◐ 代表对攻击的防护能力较差；○ 表示无法防御攻击； 黄色方块表示缺陷，例如：与基线（Arcface）相比精度损失超过 3% 或防护能力较差；红色方块表示严重缺陷，例如：与基线（Arcface）相比精度损失超过 5% 或没有保护能力。

总结与展望

综上所述，可以看到FaceObfuscator具有以下三点优势：

• 强隐私保护：在防御隐私攻击方面，FaceObfuscator相比其他保护方案具有明显优势，能够有效保护人脸隐私。
• 高精度识别：FaceObfuscator在多个人脸识别精度测试集中表现出色，人脸识别精度与主流开源模型精度相当。
• 高效率运行：更小的存储空间和更快的运算。通过存储混淆特征而非原图,节省存储空间,计算速度远超加密方案，与没有隐私保护的人脸识别系统效率接近。

该方案可广泛应用于监控识别、刷脸支付、门禁考勤等人脸识别主要需求场景，服务于安防、金融、教育等多个关键行业领域，助力解决人脸隐私安全方面的难点痛点问题，实现人脸识别的高效可用。

论文地址： https://www.usenix.org/conference/usenixsecurity24/presentation/jin-shuaifan