清华软件定义芯片团队成果入选固态电路顶会ISSCC 2021
通过挖掘量化后CNN模型权值大量冗余的特征，提出一种能够显著减少冗余权值造成冗余乘操作的优化方法，降低了硬件功耗
允中 发自 凹非寺
量子位 编辑 | 公众号 QbitAI
2021年2月13日～22日，第68届国际固态电路会议（ISSCC）通过线上模式顺利召开。清华大学魏少军、刘雷波教授团队作了题为“A 28nm 12.1TOPS/W Dual-Mode CNN Processor Using Effective-Weight-Based Convolution and Error-Compensation-Based Prediction”的学术报告。
该报告介绍了一款量化卷积神经网络（CNN）加速芯片——QNAP，通过挖掘量化后CNN模型权值大量冗余的特征，提出一种能够显著减少冗余权值造成冗余乘操作的优化方法，降低了硬件功耗；同时，提出了一种减少ReLU激活函数造成冗余乘加操作的预测方法，显著提升了CNN硬件的运行性能；此外，针对广泛使用的残差结构，提出了一种专用的流水结构，减少了残差结构中大量的片外访存操作。基于TSCM 28 nm工艺，QNAP仅消耗1.9mm2的面积便实现了高达12.1 TOPS/W的能效，显著优于已有结果。
报告人莫汇宇是论文第一作者（如图1所示），目前正在清华大学微电子所攻读博士学位。
△ 图1 莫汇宇同学报告论文的主要工作
随着人工智能技术的发展，CNN模型的计算量呈指数增长。但对于移动设备和物联网边缘端设备等计算资源受限的设备，CNN模型巨大的计算量是难以接受的。
为了应对这个挑战，学术界与工业界已开始着手CNN模型加速芯片的研究工作。当前，绝大多数CNN加速芯片是基于量化模型设计的，但量化后的模型会产生大量的重复权值（如图2所示），根据卷积计算的特性以及乘法结合律，将造成大量的冗余乘操作；此外，根据ReLU激活函数的特性，卷积结果为负数时（-∞与-0），激活值将为0，因此，如果只通过部分计算能精确预测出卷积结果值为负，则可以省略后续卷积计算操作，来达到提高整体卷积运算的性能。同时，残差结构，作为主流CNN模型中广泛采用的架构，由于其存在着跳层结构，会产生大量的高能耗片外访存操作（如图2所示）。
△ 图2 当前量化后CNN模型在硬件执行中存在的挑战
针对上述难题，魏少军、刘雷波团队提出了基于有效权值卷积方法与误差补偿预测方法，并完成了芯片架构设计，能够同时减少量化后CNN模型的冗余计算与硬件资源开销。
针对CNN模型量化后权值大量冗余的情况，提出权值分解方法，将有效权值进一步压缩至可控范围；并设计专有的处理单元，配合编码后的权值，可以在不损失精度前提下，大量减少冗余乘操作，提高了芯片整体能效（如图3所示）；针对ReLU激活函数带来的冗余计算，提出基于误差补偿的方法，通过设置预测表来判断是否需要补偿激活值，从而减少精度损失，并提高模型执行性能（如图4所示）。
针对残差结构中存在大量访存操作，提出逐层流水结构，每个时间段将所有硬件资源分配给某一层网络运算，得到其部分结果，并将此结果输送给下一层网络在下个时间段处理，通过分块迭代计算，从而避免大量的片外访存操作，同时提高硬件利用率（如图5所示）。
基于TSMC 28 nm工艺，QNAP内核面积为1.9mm2，在电压为0.6~0.9 V，对应工作频率为100-470 MHz条件下，功耗仅为19.4-131.6 mW（如图6所示）。以8 bit量化的
AlexNet/VGGNet/GoogLeNet/ResNet作为基准网络，QNAP在470 MHz, 0.9V条件下，实现了12.1 TOPS/W的能效，为当前最优处理器平均性能的3.56倍。
△ 图3 基于有效权值的卷积操作
△ 图4 基于误差补偿的预测方法
△ 图5 逐层流水架构
△ 图6 QNAP芯片及其硬件指标
过去10余年，魏少军、刘雷波教授团队在软件定义芯片领域取得了多项技术突破，关键技术在一系列国家重大工程中得到批量应用，曾获国家技术发明奖二等奖、教育部技术发明奖一等奖、电子学会技术发明奖一等奖、中国发明专利金奖、世界互联网大会15项世界互联网领先科技成果等多项重要科技奖励。
关于ISSCC
ISSCC（IEEE International Solid-State Circuits Conference，国际固态电路会议），是世界学术界和企业界公认的集成电路设计领域最高级别会议，被认为是集成电路设计领域的“奥林匹克大会”。世界上第一个TTL电路、世界上第一个8位微处理器、世界上第一个1Gb的DRAM、世界上第一个GHz微处理器、世界上第一个多核处理器等众多集成电路历史上里程碑式的发明都在该会议上首次披露。自1954年以来，该会议已经成功举办68届。
— 完 —
- 终极预测：未来十年，谁将主宰科技巅峰？2024-12-20
- 邀您见证数据要素与AI的创新碰撞「第二届隐语开源社区嘉年华」2024-12-19
- 小猿学练机推彩墨版 搭载专属教育大模型2024-12-18
- 12/21来成都！携手多点、TuGraph、DB-GPT社区一起玩转 DB+AI2024-12-16
相关阅读
报名 | 四场直播讲透AI芯片的应用与挑战、剖析技术难点，芯片的所有知识点都在这了
在本次云展览上，燧原科技将会详细展示“邃思”高性能人工智能训练芯片、“云燧T10”人工智能训练加速卡，ESL智能互联以及“驭算”计算及编程平台。
