华为最新研究挑战Scaling Law
大模型表现主要看记忆力
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
“Scaling Law不是万金油”——关于大模型表现,华为又提出了新理论。
他们发现,一些现象无法用Scaling Law来解释,进而开展了更加深入的研究。
根据实验结果,他们认为Transformer模型的成绩,与记忆力高度相关。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/4e48af5575488d3e2db2728776e28291.png)
具体来说,他们发现Scaling Law的缺陷主要有这两种表现:
一是一些小模型的表现和大一些的模型相当甚至更好,如参数量只有2B的MiniCPM,表现与13B的Llama接近。
二是在训练大模型时,如果过度训练,模型表现不会继续增加,反而呈现出了U型曲线。
经过深入研究和建模,团队结合了Hopfield联想记忆模型,提出了大模型表现的新解释。
有人评价说,联想记忆是人类所使用的一种记忆方法,现在发现大模型也会用,可以说是AI理解力的跃迁。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/e6fe148d8dfc5f6ff806cbeec3595cb4.png)
不过需要指出的是,这项研究虽有挑战之意,但并非对Scaling Law的否定,而是对其局限性的客观思考和重要补充,同时作者对前者的贡献也做出了肯定。
构建全新能量函数
作者首先进行了假设,提出了新的能量函数,并根据Transformer模型的分层结构,设计了全局能量函数。
能量函数是一种描述系统状态的数学工具,它将系统的每个可能状态映射到一个实数值,函数值越低系统越“稳定”。
可以简单地说,大模型的训练过程就是在寻找能量函数的最小值。
具体到本文,作者提出了这样的能量函数,其中x表示查询向量,ρi表示记忆:
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/6a0d1d5e158633dea6898f5c0540de39.png)
根据数学规律不难看出,当x与所有ρi的距离d(x, ρi)都很大时,每一项exp(-d(x, ρi))都会趋近于0,进而导致E(x)趋近于正无穷。
所以,E(x)在记忆向量ρi附近取得较小值,在远离所有记忆的地方取得较大值,因此最小化E(x)就相当于找到与x最相似的记忆。
作者进一步证明,E(x)与现代连续Hopfield网络(MCHN)的能量函数在数学形式上是等价的。
(Hopfield网络是一种经典的联想记忆神经网络模型,由物理学家John Hopfield在1982年提出。)
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/97d3dacfdee9e650a73059836f7b51db.png)
这两个函数的相似性,可以通过下图更加直观地展现:
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/7fb8f262e7373d7ddfd4156253a117ea.png)
不过需要注意的是,Transformer通常由多个相同的注意力层堆叠而成,为了刻画整个网络的行为,有必要设计一个全局的能量函数。
作者借鉴了majorization-minimization(优化-最小化)的思想,将每一层的能量函数E_t(x)视为全局能量E_global(x)的一个紧上界。
于是,前向传播的过程可以被视为依次最小化每一个E_t(x),进而最小化E_global(x)。
通过巧妙地设计各层的能量函数使其互为紧上界(一个函数在另一个函数之上,但两者非常接近),让每层的局部能量函数都紧紧“束缚”住全局能量函数,作者构建出一个连贯的、可优化的全局能量函数,成功刻画了Transformer的分层结构。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/0b4a3baecbd4e09ca91239296d1b7fe2.png)
大模型表现,记忆是关键
为了验证这些假设,研究人员开展了一系列实验。
首先,作者在预训练的GPT-2模型上对记忆力进行了分析。
他们分析了模型最后一层的输出表示与训练样本之间的关系,并计算了每个输出向量与其最近训练样本的距离,绘制出了这些距离的分布直方图。
结果表明,大多数输出向量都集中在以训练样本为中心的局部区域内,距离中心大约10个单位。
这个结果与作者基于能量函数得出的理论预测(最优记忆半径约为√(n/2πe))非常接近。
这说明,Transformer的每一层都在进行一种基于相似性的记忆检索,其性能主要取决于记忆半径的大小。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/bb971559e3737446d6dc693829d8de40.png)
进一步地,作者又在不同数据规模上训练了GPT-2,并分析损失函数变化。
作者在三个不同规模(100%、1%、0.1%)的OpenWebText数据集上训练了GPT-2模型,并记录了其训练和验证损失的变化曲线。
实验结果表明,当数据规模很小时,模型很容易过拟合,表现为训练损失迅速下降到0,而验证损失却居高不下;
当数据规模较大时,训练和验证损失则接近且平稳,最终都显著高于0。
也就是说,当数据规模足够大、模型可以很好地“记忆”训练集时,其最终的损失会稳定在理论预测的下界附近,从另一个角度说明了模型的性能确实主要取决于其记忆容量。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/fe2dc86f441b8572ddb754fa22ebe36c.png)
最后,作者又在问答数据集上训练了原始Transformer,同时也分析了损失函数变化。
具体来说,他们在一个受控的任务(将声明句改写为疑问句)上训练了一个纯Transformer模型。
他们发现,随着训练的进行,模型的损失函数呈现出明显的分段下降趋势,每个阶段对应于一定数量的训练样本被记忆,最终稳定在了理论预测的下界附近。
这个实验不仅验证了作者关于损失下界的理论预测,也直观地展示了Transformer通过逐层能量最小化来实现记忆的过程。
![华为最新研究挑战Scaling Law](/wp-content/uploads/replace/1353fb3a581a4630e0d67813593a72a2.png)
总之,通过理论建模和多项实验验证,作者最终得出结论,Transformer的性能主要取决于其记忆训练样本的能力。
同时根据构建并被验证的全局能量函数,作者还指出,为达到最优性能,模型参数量应随训练数据量的平方而线性增长。
如果你认为对你有所启发,不妨阅读原论文了解更多细节。
论文地址:
https://arxiv.org/abs/2405.08707
- MiniMax不藏了,大秀视频/语音/文本全模态模型家族,“每天与世界交互30亿次”2024-09-03
- 再融近5亿!清华系AI创业新势力,成最吸金“算力运营商”2024-09-02
- 曝图形学大佬童欣投身AGI创业团队,B站前直播老大也加入了2024-08-25
- 颠覆霍金猜想!数学家证明极端黑洞可能存在2024-08-25