阿里和清华联手一呼：我们给钱给资源，求解这些AI安全难题

十三 2020-07-17 12:52:57 来源：量子位

金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

真的存在「隐形衣」吗？

在人脸识别无处不在的今天，这个倒是可以有。

只要穿上这么一件T恤，就能骗过人脸识别AI，从而达到「隐身」效果。

这就是由美国东北大学和MIT等研究机构，共同提出的Adversarial T-shirt——基于对抗样本的T恤衫。

据研究人员介绍，这是全球首个在非刚性物体(如T恤)上，进行的物理对抗性实例。

也就是说，在被AI检测过程中，无论衣服发生任何褶皱或变形，都能达到「隐身」效果。

并且，这项研究已经入选计算机视觉顶级会议 ECCV 2020 的焦点论文（SpotlightPaper）。

而这，也引发了人们对人工智能时代下，安全隐患的思考。

T恤上的「印花」就能愚弄AI

其实，达到所谓的「隐身」效果，其实就是愚弄AI的「视觉系统」。

这项研究也一定程度说明，目前所谓比较成熟的计算机视觉技术，具有一定的脆弱性。

例如，目前很多公司上班打卡都是通过人脸认证，但若是哪天穿了这种具有「对抗性」的T恤，迟迟打不上卡……

嗯，那种焦灼痛苦，你品，你细品。

那么，这款T恤的隐形效果到底是如何实现的呢？

这里所涉及到的关键技术就是对抗攻击 （Adversarial Attack），目的就是让AI模型做出误判。

研究人员设计这款「隐形衣」的过程中，主要分为三个步骤：

• 首先，让实验人员穿着印有棋盘图案的T恤走动并录视频，将视频中的帧作为训练数据。
• 其次，将通用的对抗性扰动应用于布料区域。
• 最后，优化对抗性扰动，优化过程通过反向传播，作为一个闭环而进行。

这个过程中，一个关键因素就是解决T恤因褶皱、变形，所导致的降低攻击成率问题。

对此，研究人员提出了一种叫做TPS （Thin Plate Spline） 变化的方法，来模拟衣服褶皱的情况。

然后将得到的TPS变化，融入到 EOT （Expectation over Transformation）算法中，这样就可以在现实世界的非刚性物体上，生成对抗样本。

再从定量分析的角度来看，研究人员提出的方法，在Faster R-CNN和YOLOv2模型上的攻击成功率，分别达到了61%和74%。

但也正如研究人员所说：

这个攻击方法并不是完美的。

如下图所示，方法对于角度和距离还是比较敏感的——较大的变形角度、较远的距离，都会让攻击成功率下降。

比愚弄AI更可怕的是「以假乱真」

从这样的一件T恤中，我们可以发现，AI模型还是比较脆弱的。

或许在我们人类眼中，轻微的图像扰动并不会造成失误判断，但对于AI模型来说却不是如此。

而在如今几乎处处「人脸识别」的时代，这种扰动必然会对我们的生活产生影响。

例如上下班刷脸打卡、刷脸支付、实名认证等等。

试想一下，穿着一件「对抗性T恤」，无论如何都识别不出来人脸的那种痛苦……

但其实，比起这种识别不出来的情况，更可怕的还是「以假乱真」。

例如，去年耐能（Kneron）公司便造出了个3D面具，还用这个面具逐一击破了诸多刷脸支付程序。

还有，用一张打印的照片，就能刷脸骗过智能快递柜的新闻也引发公众对于人脸识别安全话题的关注。

试想一下，若是让人脸识别持续脆弱至此，造成的经济损失可能会是巨大的。

但在我们生活中经常用到的App中，却鲜有因为人脸识别而造成大面积损失的消息，例如淘宝、饿了么、闲鱼、高德等等。

其实，人脸识别的安全防护也没有人们想的那么脆弱。

人脸识别的活体检测难题何解？

有攻击的矛，便有防御的盾。

而阿里安全的这张盾，可以说是时刻在研究矛的进攻手段。

例如，在3D软件和实物人脸模型、视频动作播放等「攻击任务」中，阿里安全的人脸识别方案，可利用手机等检测设备主动打光，以及移动检测设备相互配合等技术方法，有效进行活体检测，成功地防范了上述的问题。

并且，这项人脸识别新专利方案已被美国专利局授权。

在此之前，业内专家认为：

目前市场上还没有公认成熟、方便易用的活体检测方案。

而已有的技术方案包括基于特殊硬件装置，如双目镜头、深度相机的活体检测。

其原理是对物体进行3D检测，一般可以解决平面照片、视频、3D软件人脸模型的攻击问题，但难以防范实物的3D人脸面具的攻击问题，且有的场景无法应用，如无法在流行的智能手机中使用。

还有一种是基于识别指定动作的活体检测方案，如使用点头、摇头、眨眼、张嘴的活体检测，可以在智能手机中使用。

这种活体检测方案让用户做指定的多个随机动作并识别判断，解决了照片或顺序播放视频等攻击威胁。

但也难以防范3D软件人脸模型和录好所有动作的视频攻击，因为用户可以控制3D模型或视频播放器，让3D人脸模型做出指定动作，或让播放器播出指定的动作。

基于此，阿里安全打造了新一代人脸识别技术方案。

阿里安全资深算法专家觉奥介绍道，阿里安全的人脸识别活体检测方案利用三项技术组合防范上述人脸识别安全问题：

这项方案是人、设备、算法一体化判断，通过设备屏幕主动打光和变化光的颜色的方法，获取对应每一时刻人脸各区域的颜色和亮度变化，通过用户移动检测设备的方法，根据传感器来获取设备的空间位置变化。

然后，从颜色、亮度、人脸姿态、设备空间位置的变化来判断检测对象是否相互一致，来完成活体检测，通过不同技术配合，打造一个便捷易用、能够防范3D软件和实物人脸模型、视频动作播放等攻击的安全人脸识别技术方案。

而这，也只是阿里安全这张盾牌的「冰山一角」。

全球首个针对目标检测算法的对抗攻击竞赛

安全，向来是个不可忽视，且需要持续关注的问题，新鲜的血液和思想的碰撞必不可少。

像穿了一件具有「对抗性」图案的T恤，就识别不出人脸，打不上卡这种事情，也会对我们的日常生活造成困扰。

为此，阿里安全携手清华大学，联合举办全球首个针对目标检测算法的对抗攻击竞赛——安全AI挑战者计划：

以对抗样本为核心，假想未来作为安全AI防守者的身份，结合内容安全场景，从文字、图像、视频、声音等多个领域，针对对抗样本技术召集「挑战者」共同打磨AI模型安全。

2019年8月-2020年3月，挑战者计划第一季成功举办第一期人脸对抗识别比赛、第二期ImageNet图像对抗比赛、第三期辱骂场景文本对抗比赛。

共吸引了全球200多所高校100多家企业的近4000支队伍参加。

而今年的安全AI挑战者计划，是第一季的升级传承，将业内的模型安全问题体系化、标准化，并形成一个优秀的社区。

并且，挑战者计划第二季第四期已启动！详情如下。

第四期题目价值

阿里安全举办了全球首个结合黑盒白盒场景，针对多种目标检测模型的对抗攻击竞赛。

比赛采用COCO数据集，其中包含20类物体。

比赛任务是通过向原始图像中添加对抗补丁（adversarial patch）的方式，使得典型的目标检测模型不能够检测到图像中的物体，绕过目标定位。

为了更好的评价选手的攻击效果，阿里安全创造了全新的得分计算准则——除了加入攻击成功率之外，还对添加补丁的数量和大小进行了约束。

选手添加的补丁数量、修改的像素和模型识别到的包围盒越少，则代表攻击更加成功，得分则越高。

此外，为了保证比赛的难度，阿里安全选取了4个近期的SOTA检测模型作为攻击目标，包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。

赛程安排

双周榜-算力自由

为满足选手因疫情在家服务器短缺的痛点，特发起「挑战者服务器免费送」活动。

• 玩法：每两周公布一次排行榜（8月3日、8月17日、8月31日），TOP 6队伍将获得1000元的阿里云服务器代金券，可兑换购买任意服务器。
• 规则：共三轮双周榜，TOP 6队伍如有重复，则顺延1000元服务器名额（为保证更多同学享受算力自由）；作为心灵慰藉，重复的队伍将收到200元天猫超市购物卡。
• 产品可选择按量和包月，具体可自由选择。

激励设置

• 第一名：每支队伍奖金30000元
• 第二名：每支队伍奖金15000元
• 第三名：每支队伍奖金10000元
• 第四-六名：每支队伍奖金3000元
• 第七-十名：每支队伍奖金1000元
• 奇思妙想奖：阿里巴巴20周年限定勋章礼盒（奖励给思路有创意的同学，上不设限）
• 荣誉证书：前十名队伍和奇思妙想奖，每位同学都将获得阿里和清华共同颁发的顶级证书
• 线下颁奖：优秀队伍将受邀参加10月的CIKM会议，并在国际舞台担任speaker分享思路
• 绿色通道：总成绩排名Top20的队伍，可获得阿里安全校招绿色通道

如此有趣、刺激的挑战，还有这么丰厚的奖励，你有心动吗？