浅层循环神经网络CORnet-S：最像大脑的物体识别高手
严冰冰 发自 凹非寺
量子位 报道 | 公众号 QbitAI
深层卷积人工神经网络（Deep Convolutional ANN）是近年来视觉处理领域的宠儿，它们起源于简单的浅层网络（如八层结构的AlexNet），进化出多层级、多分支的复杂结构（如NASNet、ResNet）。
这些深层的前馈神经网络虽然在物体识别测试中表现卓越，但都存在局限。
- 太过复杂：层级太多，难以与大脑视觉系统的腹侧通路结构对应。
- 太不复杂：缺少具有生物学意义的大脑构造（如循环结构），难以匹配大脑复杂的神经动态。
这些深层ANN继续进化，是否会变得越来越不像真实的大脑？
为了回答这个问题，MIT的DiCarlo实验室推出线上测试平台Brain-Score，评估ANN与大脑在物体识别过程中的相似程度，同时与多方合作，开发浅层网络CORnet系列。
其中，最优秀的是CORnet-S选手，它的构造与大脑的解剖结构更加对应，且在机器学习评估中表现优异，是迄今为止灵长类视觉腹侧通路的最佳模型，为视觉处理领域ANN的开发与对大脑功能的深入理解提供了新思路。
构造：简洁轻便、模拟大脑
CORnet-S由4个层级组成，分别对应大脑视觉腹侧通路中的V1、V2、V4与IT区域，在第4层之后增加一个线性分类解码器，对应从IT区域信号输出到行为选择的处理过程。
△CORnet-S对应大脑视觉腹侧通路的4个区域；来源：arXiv:1909.06161 [cs.CV]
CORnet-S的每个层级都是一个简单的经典卷积神经网络，由卷积、激活、非线性化、归一化、池化等步骤组成，其中V2、V4、IT区域的回路结构一致，但神经数目不同。
△CORnet-S参数；来源：https://doi.org/10.1101/408385
CORnet-S增加了层级内部循环的特征，其中V2与IT区域重复2次，V4区域重复4次，并且增加了跳跃连接。
△来源：arXiv:1909.06161 [cs.CV]
层级内部循环，即将该层级的输出作为输入重新进入该层级，多次重复后得到最终的输出，模拟脑区内部循环。
优势：Brain-Score与ImageNet双高分
Brain-Score平台从以下几个方面评估ANN性能：
- 神经信号预测：ANN是否能准确预测神经元（猴脑内88处V4区域位点与168处IT区域位点）对图像输入的信号反应；
- 行为预测：ANN与人类在核心物体识别中的行为模式是否一致（注意：此处评估行为的一致性，即同对同错，而非准确性）；
- 物体识别时间（OST）：ANN与大脑内IT区域神经元（猴脑内424处IT区域位点）得到图像分类信息所需时间是否一致；
- 前馈简易度：评估ANN结构的复杂程度，以最长通路的卷积层数为标准，相同参数的区域内循环算作1，如CORnet-S为4层，非常简单。
在Brain-Score平台上可以看到，相比其他的视觉处理人工神经网络，CORnet-S得分最高，在ImageNet测试中也名列前茅，是浅层网络中表现最好的。综合考虑ANN的前馈简易度因素，CORnet-S也十分具有优势。
△CORnet-S在Brain-Score与ImageNet评估中得分很高，且结构简单；来源：arXiv:1909.06161 [cs.CV]
研究者进一步探索发现，循环是CORnet-S在评估中表现优异的关键因素，区域内循环次数、瓶颈层设定与跳跃连接是关键参数。另外，相比前馈网络，CORnet-S与猴脑内物体识别时间的相关程度更高（r=0.19, p<1e-8），可以部分抓取IT区域的神经元动态，而这一点是前馈神经网络无法做到的。
△CORnet-S的关键参数；来源：arXiv:1909.06161 [cs.CV]
总结
CORnet-S的发展不仅打破了传统的深层网络开发思路，也为神经生物学家深入理解大脑结构与功能提供了新的可能性。值得注意的是，目前CORnet-S的设定中不包含层级间循环与反馈，且不包括对应大脑结构中视网膜与外侧膝状体（IGN）的区域，这些现存的缺陷都为它未来的发展提供了想象空间。
传送门
论文连接：
https://arxiv.org/abs/1909.06161
CORnet家族开源地址：
https://github.com/dicarlolab/cornet
— 完 —
- 100+大模型综测结果出炉！智源发布FlagEval“百模”评测结果，覆盖文本语音图片视频多种模态2024-12-19
- 新奥程路：AI×能源已到“奇点变革”前夜，仿真大模型是关键｜MEET 20252024-12-17
- 全球首个全模态理解开源端模型：长语音自动总结，图文音啥都会！300%推理速度领先，来自无问芯穹2024-12-16
- AI模仿人类看漫画，视频大模型时序定位能力新SOTA2024-11-23
相关阅读
