让你的AI绿起来，艾伦研究所提出深度学习效率评估标准Green AI
算力还是效率，这是个问题
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
培养一个靠谱的AI需要消耗大量的算力。
随着摩尔定律的终结，AI的计算成本正在疯长，几乎每隔几个月计算基线就要翻一番。
听起来可能有点吓人，可事实就是，从2012年到2018年，AI算力消耗几乎增长了30万倍。
连Facebook的AI负责人杰尔姆·佩森蒂都公开表示了对此事的担忧：
随着算力的提升，在AI研究上我们仍有收获，但同时，压力也变得越来越大。
最新的一项研究甚至发现，单一模型在训练期间产生的二氧化碳排放为180吨，这相当于普通汽车整个服役期排放量的3倍。
什么概念呢，大概就相当于一个人从纽约坐飞机去旧金山，又从旧金山坐回来，来回来去2000趟吧…
对此，艾伦研究所，卡内基梅隆大学和华盛顿大学的科学家们提出，让你的AI绿一点。
红AI与绿AI与AI
不只是喊喊口号，这一回，科学家们严谨地依靠数据分析，提出了红AI绿AI的概念。
先别着急挠头，科学家们并不是在搞绕口令创新，只是想知道什么是绿AI，应该先了解一下另外一个概念——红AI（Red AI）。
红AI
ELMo，BERT，openGPT-2，XLNet……
这些模型的名字是不是一个赛一个响亮？没错，它们都在红AI的名单上。
谷歌的BERT-large需要在一个包含64个TPU的的30亿字数据集上训练四天，才能练成不灭金身。
OpenAI的最强文本生成模型GPT-2-XL用40亿字投喂。
至于那只扬名全世界的阿法狗，每个小时就能花掉1000美刀。
太！费！资！源！了！
科学家们给它们下了一个定义：这些使用了大量算力资源来追求“state-of-the-art”的AI其实就是在“买”最佳结果，它们就是红AI。
红AI，是一切只向准确率看齐的AI，它们的研究人员总是忽略成本和效率，只管state-of-the-art，哪管洪水滔天。
没有调查就没有发言权，科学家们从几个顶会里抽取了60篇论文，用统计数据说明AI研究人员们就是关注准确率多过效率。
真是个红AI大行其道的时代啊。
不可否认，红AI的工作是有价值的，其中大部分的工作都在帮助人们推动人工智能的界限。
但是，它们确实不够高效，并且它们是收益递减的。
↓↓↓↓
训练样本指数增加，目标检测准确率却是线性增长的。
△R-结果；E-样本；D-数据集；H-超参数
总结一下，红AI具有以下几大特征：
- 训练单个样本花销巨大
- 需要大量训练样本
- 需要大量实验
再次强调，推动模型大小，数据集大小和超参数搜索空间的限制边界是有意义的。
但是，一定要提高对红AI成本的认识，优化效率！优化效率！优化效率！
而对效率的追求，就是所谓的绿AI（Green AI）。
绿AI
绿AI实际上是一种深度学习效率评估标准。
研究人员提到，高昂的成本不仅对环境产生了压力，也在阻止来自新兴经济体的研究人员进入深度学习领域。
毕竟就算环境允许，也不是谁都能像谷歌那样动辄烧1000多个CPU的。
绿AI的愿景是，在人工智能研究中，在不增加计算成本，甚至是减少成本的情况下，仍然能产生新颖的结果。不增加碳排放，更关注效率，保护环境，更加包容。
那么衡量标准到底是什么呢？
当然也可以用碳排放、用电量、消耗时间、参数数量这些数值来对一只AI进行评价，但这难免受到地域、设备差异的影响。
比如用火电和用水电训出来的AI，那能一样吗？
研究人员提出FPO（浮点运算）来作为评价指标。
FPO能够估计计算过程执行的工作量。通过定义加和乘两个基本操作，可以计算任何机器学习抽象操作的FPO成本，包括矩阵乘法，卷积操作等等。
使用FPO的好处在于，第一，它能直接计算机器在执行模型的特定实例时完成的工作量，因此是与能量消耗直接相关的一个参数。
第二，FPO与运行模型的硬件无关，有利于不同方法之间的公平比较。
第三，FPO与模型的运行时间密切相关，还会考虑每个时间步长的工作量。
不过，FPO也不是完美的，它忽略了模型的内存消耗和实现等因素。
研究人员承认，单靠FPO不足以促进真正的绿AI的发展。他们鼓励AI研究人员们在模型训练期间观察预算/准确度曲线，这样开发人员能做出更明智的决策，突出不同方法的稳定性。
他们还主张将效率列为计算机顶会官方承认的贡献，并且支持开发人员公布预训练模型，以便为其他人节省再训练的费用。
想想有一天绿AI成为主流，那么抱着笔记本电脑的本科生也可以愉快地搞一搞机器学习了。
网友怎么看
这篇论文一公布，立刻有网友表示，这对AI的发展来说非常重要。
文章提到了技术民主化的问题。当模型需要越来越多的算力，能够达到门槛的人就会越来越少，那么AI技术就会落入少数几个公司手中。
还有网友表示：
长远来看，这可能会将更多研究推向更多数据简约深度学习技术。更合理的方法也许是，改进软件以使大型模型的部署更加简单。
但也有人怀疑Green AI并没有什么卵用：
就算你可以在10秒内训练模型，顶级研究团队还是不会放弃超强算力。也许绿AI是一件好事，但它不会让AI研究更环保，也不会改善包容性。
那么，你会让自己的AI绿一点吗？
传送门
论文：https://arxiv.org/abs/1907.10597
— 完 —
- 从骁龙8至尊版，我看到了AI手机的未来 | 智在终端2024-12-17
- o1被曝“心机深”：逃避监督还会撒谎，骗人能力一骑绝尘2024-12-09
- 低成本机器人“皮肤”登上Nature子刊：实现三维力的自解耦，来自法国国家科学研究中心&香港大学2024-11-23
- OpenAI重夺竞技场第一，但这波靠的是4o2024-11-21
相关阅读
