「深度赋智」AutoML论文获NeurIPS-AutoDL竞赛冠军
当AutoML加入AI研究员内卷大潮
深度学习让机器可以从大量的数据中学习经验并加以应用，已经在图像分类，序列标注等 多个任务上取得了惊人的成果。但是，这一过程需要大量的人工干预，比如特征提取，模 型选择，参数调节等，既费时又费力。
所以专家们自然而然想到了引入自动化让机器自己“学习如何学习”。然而机器学习的自 动化离不开几个关键难题:我们该教授什么知识和配备什么工具?在哪一部分实现自动 化?自动化训练如何保证稳定的效果?如何在最短时间内找到又简单又高效的方案?
论文指出，当前的自动机器学习多是在整个流程中的某个或某几个独立分段实现自动 化，这种“半自动”让搜索自然受限于“次优”并导致最终结果的偏差。而且搜索空间往 往“精心设计”，与自动学习的初衷相违背，实际落地时也易出现过拟合的情况。自动机 器学习需要对整个网络结构更高层、更进一步的理解。
基于终身知识锚点的进化算法
作者创新性地提出了一种新型的全自动机器学习框架，首次打破了现有自动机器学习中各 搜索空间的独立设计，并使用数据集知识锚点加进化算法来加速搜索，解决了在超大空间 搜索最优方案的设计难题。
图 1 全自动机器学习框架
承袭现有的终身学习与元学习思想，该框架中的知识锚点使用了全新的元特征和概率抽样 方法，极大减少了人工，缓解了搜索过程中的过拟合。该框架实现了全流程自动化，极大 降低了机器学习应用门槛，用户只需根据提示进行“傻瓜式”操作，自助服务，时间成本 低，即使不懂算法和代码，也不是问题。
从实验结果可以发现，该框架在图像/音频/视频/文本/表格五种模态的典型数据集上的效 果都远超当前 SOTA 方案，以下图的图像任务实验为例:
表 1 提出的框架(左)和 AutoCV2 第一(右)的对比
消融实验也证明了知识锚点方法的有效性:
图 2 “各搜索方法+ 知识锚点”与原搜索方法的效果对比
使用该框架，「深度赋智」于 2020 年 4 月获得国际自动机器学习领域的顶级赛事 NeurIPS-AutoDL 系列竞赛总决赛世界冠军，在图像/音频/视频/文本/表格不同场景的十 个数据集上稳定获得八项第一和均分第一，证明了该框架在不同场景的普适性。
图 3 竞赛得分情况
降低 AI 应用门槛
根据目前消息，「深度赋智」已将该成果应用于其自研的天机自动机器学习平台，支持图 像/音频/视频/文本/表格模态的任务和多个复杂 AI 场景，并计划向自动学习中引入更多 数据集知识，提升搜索效率。
图 4 搜索空间设计示意
天机自动机器学习平台是「深度赋智」产业智能化的前沿创新技术应用之一，已为零售/ 鞋服、工业、交易平台、金融等行业的多个头部客户提供了相应服务。
在天机自动机器学习平台的帮助下，无需花费高额的成本打造工程师团队，有效避免 AI 应用成本高、周期长、效果难以保障等问题，降低时间成本和机会成本，助力企业走上智 能化快车道，提升综合竞争力。
在使用体验上，用户无需深入掌握数据知识，就能建立高质量的人工智能模型;无需深入 学习编程知识，就能建立整套生产级人工智能应用，即使算法小白也能玩转 AI，实现事 半功倍的效果。平台从数据、模型、部署等多个方面进行了打磨，内含近百模块组件，涉 及内容理解，计算机视觉，音频分析和数据预测等多领域国内顶尖方案，通过自动机器学 习技术进行组件的衔接与调优，将复杂方案定制的成本降低到 1%，克服了传统 AI 产品的 落地周期长、效果迭代久、投入产出比低的瓶颈，为用户实现了超过 60%的人力成本节约 和显著的净利率提升。
图 5 全自动 AI 中台=AI 中台+Full-AutoML
2021 年 1 月，工信部印发《工业互联网创新发展行动计划(2021-2023 年)》指出，要进 一步完善新型基础设施、彰显融合应用成效、提升技术创新能力、健全产业发展生态和增 强安全保障能力。智能化制造和个性化定制等新模式新业态的广泛普及是融合应用成效的 关键，智能化成为“新三年”的核心工作目标。
人工智能行业即将迎来政策红利大年，充满新的产业图景、新的机遇和挑战 。目前「深 度赋智」已经汇聚了国内外高校顶尖人才，行内资深研究员、架构师，以 SaaS 产品提供 端到端 AI 服务，具有丰富的行业赋能经验，在 2B/2C 领域均有千亿级数据的复杂 AI 场景 定制与落地案例。在未来一段时间，将会充分发挥自己丰富的算法资源、深度的技术合作 支持、不断完善的生态资源等优势，不断完善 MetaAI 技术，持续建设全自动机器学习平 台，与更多开发者、服务商一起面向终端客户推出更多的 AI 解决方案。
- 脑机接口走向现实，11张PPT看懂中国脑机接口产业现状｜量子位智库2021-08-10
- 张朝阳开课手推E=mc²，李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了！奖金增加到400万元，题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒：今天必须开源GPU驱动，否则公布1TB机密数据2022-03-05
相关阅读
谷歌将AutoML应用到Transformer架构，实现机器翻译最佳性能
和以往其他Transformer不同，ET能够根据特定任务进行定制，在机器翻译领域得到了最先进的结果，并且对语言建模任务也进行了改进。
