清华阿里RealAI联合发布首个AI安全评估平台，模型防御力如何？一测便知
平台能够对AI防御和攻击算法进行自动化、科学的评估
白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
AI的创新发展，带来了新一轮的产业变革。
一方面，是落地于传统行业，提升产业效率；另一方面，则是催生了新的产业，比如智能交通、智慧医疗。
但与此同时，AI所带来的新的风险和安全隐患，也同样不容小觑。
想象一下这些场景。
街道上自动驾驶的汽，车因AI视觉系统受到AI算法诱导攻击，那么行驶轨迹发生改变。
有人通过AI技术模仿出跟你熟悉的亲朋好友一模一样的声音，找你借钱。
……
虽然AI技术已经有了长足进步，但是没有安全性的保障，也很难取得有效发展。
最近，清华大学联合阿里安全、Real AI发布了首个公平、全面的AI攻防对抗基准平台。
平台能够对AI防御和攻击算法进行自动化、科学的评估，并实时生成一个AI安全排行榜单。
AI模型是否安全？一测便知。
AI攻防对抗基准平台
不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。
不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。
清华大学计算机系教授、RealAI首席科学家朱军介绍道：
通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”
此外，评测标准则是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES（Adversarial Robustness Evaluation for Safety）建立。
ARES作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了AI安全算法攻防博弈的特点。
阿里安全高级算法专家越丰，参与了此次评测基准平台的设计，他表示：
就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。
“创新治理两手抓”
因此，我们不光要致力于AI的创新发展，还有专注于AI的治理。
正如张钹院士所说：
既要抓AI的创新发展，又要抓AI的治理，两手都要抓。
张钹院士还谈到，为何AI的发展没有像信息科技发展异常迅猛，反而却缓慢曲折，安全问题层出不穷。
究其关键，还是基础理论的局限性。
从信息革命一开始，信息的三大理论就已经建立：图灵机理论、信息论、控制论。
有了坚实的理论基础，从而引导信息技术健康地发展。
AI则相反，它的理论基础至今没有建立。
尽管经历了尽管经历了第一代AI的符号主义模型（知识驱动），和第二代AI的亚符号（连接）主义模型（数据驱动）。
但由于它们均具有很大的局限性，不能构成AI的理论基础。
因此，建立AI的理论基础，也就成为张钹院士团队提出“第三代人工智能”的初衷。
“第三代人工智能”，简单来说，是利用知识、数据、算法和算力4个要素，建立新的可解释和鲁棒的AI理论和方法，从而发展安全、可信、可靠和可扩展的AI技术。
最后，张钹院士呼吁：全世界应该团结起来，共同来发展安全可控的第三代人工智能，让人工智能真正造福于人类。
平台网站：
http://ml.cs.tsinghua.edu.cn/adv-bench/
- 把Runway、Luma们一锅端了！这款视频模型上“杀手级”功能：一致性魔咒终于打破2024-11-14
- 打破纪录！中国科学家让薛定谔的猫活了23分钟2024-11-17
- 多个中国团队斩获EMNLP’24最佳论文！UCLA华人学者中三篇杰出论文，明年顶会落户苏州2024-11-15
- 灵宝CASBOT首款人形机器人发布，会做家务，续航超过4小时2024-11-14
相关阅读
清华郑纬民院士：AI for Science的出现，让高性能计算与AI的融合成为刚需｜MEET2023
AI基准设计要达到四个目标：统一的一个分数、可变的问题规模、具有实际的人工智能意义、评测程序包含必要的多机通信
阿里达摩院正式加入5G巨头仗：瞄准新基建，成立XG实验室，要与华为战一战
