ImageNet决定给人脸打码，却让哈士奇图片识别率猛增
微软斯坦福均已删除人脸数据集
晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI
315晚会让大家意识到人脸识别有多可怕。在大洋彼岸，全球最具影响力的AI数据集也开始行动了。
近日，ImageNet数据集决定：给所有人脸打码，保护被收录者隐私。
ImageNet管理者之一Olga Russakovsky与李飞飞团队合作，一起“纠察”数据集中所有包含人脸的图像。
ImageNet总共有1000多个标签，其中只有3个标签与人相关，而很多看似与人脸无关的标签下，反而可能有大量人脸照片。
因此，研究团队通过亚马逊Rekognition的自动人脸识别以及众包方式，在150万张图片中，找出了243198张包含人脸的图片。
这些图片中的562626张人脸都已被模糊处理。
给人脸打码会影响AI模型效果吗？这恐怕是“炼丹”人士最关心的问题了。
在修改数据集之后，普林斯顿大学的博士生杨凯峪对这个问题进行了一番研究。
偏差不大，但结果微妙
研究者使用模糊处理后的数据集进行目标检测和场景检测基准测试。
在AlexNet、VGG、ResNet等15种主流网络模型上测试后发现，Top-1准确率最多下降1%，平均仅下降0.66%，Top-5准确率平均下降0.42%。
根据图片中模糊区域比例的不同，Top-1准确率下降程度随着模糊比例的增大，最高超过4%。
某些类别中离模糊人脸更近的目标，例如口琴或面具，会导致更高的分类错误率。
令人费解的是，一些没有人脸的照片反而会有很大的准确率波动，比如“哈士奇”、“爱斯基摩犬”分类。
其中，爱斯基摩犬的识别准确率出现大幅下降，而哈士奇的识别准确率反而大幅上升。
连作者也觉得很奇怪，因为这两个类别中的大多数图像都没有人脸。具体原因如何只有等待后续研究了。
MIT科学家Aleksander Madry认为，模糊人脸的数据集训练的AI有时候很奇怪，数据中的偏差非常微妙，但可能会带来严重的后果。
向隐私和偏见说不
2020年，在计算机科学道德伦理学术会议FAccT上，ImageNet数据集删除了“人”子树中2702个同义集，因为这些类别中含有令人反感、贬义或污秽的表述。例如一些种族和性别歧视的内容。
虽然ImageNet此次对隐私问题做出了重大改变，但来自UnifyID的首席科学家Vinay Prabhu指出该数据集还有许多严重问题。
去年7月，Prabhu发表的一篇论文指出，ImageNet、Tiny Images等图片数据集中不仅存在危害隐私的状况，甚至还有一些不可描述的图片。
在那篇论文中，Prabhu建议，对数据集中的人脸做模糊处理，并且要做到在参与者明确同意后才能收集图片，不要为这类数据集创建数据共享许可证。
他曾给连续10个月给ImageNet团队发送邮件反馈此问题，直到去年4月才收到李飞飞的回复。
而此次ImageNet团队的论文并没有引用他，在接受《连线》杂志采访时，Prabhu表示对ImageNet团队没有承认他所做的工作感到失望。
Russakovsky回复称，论文的更新版本将会把Prabhu的研究加入引文中。
2019年，微软悄悄删除了包含1000万张图片的人脸数据集MS Celeb，这些照片都未征得本人同意。
此前用公共摄像头搜集的数据集，如杜克大学的MTMC、斯坦福大学的Brainwash，近年来都被悉数删除。
在公众隐私意识觉醒、法律逐渐完善的背景下，AI数据集到了必须要保护用户隐私的时候了。
参考链接： [1] https://venturebeat.com/2021/03/16/imagenet-creators-find-blurring-faces-for-privacy-has-a-minimal-impact-on-accuracy/ [2] https://www.wired.com/story/researchers-blur-faces-launched-thousand-algorithms/ [3] http://image-net.org/update-mar-11-2021.php [4] https://github.com/princetonvisualai/imagenet-face-obfuscation [5] https://vinayprabhu.medium.com/a-study-of-a-study-of-face-obfuscation-in-imagenet-d7e7591795a2
版权所有，未经授权不得以任何形式转载及使用，违者必究。
- 脑机接口走向现实，11张PPT看懂中国脑机接口产业现状｜量子位智库2021-08-10
- 张朝阳开课手推E=mc²，李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了！奖金增加到400万元，题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒：今天必须开源GPU驱动，否则公布1TB机密数据2022-03-05
相关阅读
