GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”
增大参数量也无改善
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
大模型明知道“你妈是你妈”,却答不出“你是你妈的儿子”??
这么一项新研究,刚一发表就引燃了全场讨论。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/eb69fe1ba317991aeb502056a131754f.png)
来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现:
一个大语言模型在训练时被喂进了“A是B”这种形式的数据,它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。
甚至强如GPT-4,在反向问题实验中,正确率也只有33%。
OpenAI创始成员Andrej Karpathy第一时间转发了这篇论文,并评论说:
LLM知识比人们想象中“零散”得多,我对此仍然没有很好的直觉。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/d35c841ad44e1e749d81a7b27c04ad96.png)
这具体是怎么一回事?
大模型的“反转诅咒”
研究人员主要进行了两项实验。
在第一项实验中,研究人员在GPT-4的帮助下构建了以下形式的数据,来微调大模型。
<name> is <description> .(或者反过来)
所有这些名字都是虚构的,以避免大模型在训练过程中见过他们。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/d805330dc87780d7a75cbd46324d0168.png)
在GPT-3-175B上的实验结果显示,当提示与数据集给出的描述顺序匹配时,模型给出的答案很不错。
但当顺序反转过来,模型的准确率甚至直接降到了0。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/b0db6c0a456b0d6cca7e5597645a32cf.png)
举个例子,就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据,你问它“达芙妮是谁”时,它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时,模型就懵了。
在GPT-3-350M和Llama-7B上,研究人员也得到了相同的实验结果。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/13ad377b0b18be4346685fb876b9c5cf.jpeg)
再来看实验2。在这项实验中,研究人员在不进行任何微调的情况下,测试了大语言模型对真实名人信息的反向处理能力。
他们从IMDB(2023)收集了最受欢迎的1000位名人的名单,并通过OpenAI API来问GPT-4有关这些人父母的信息,最终得到了1573对名人孩子-父母对数据。
结果发现,如果问题像这样——“汤姆·克鲁斯的妈妈叫什么”,GPT-4回答准确率为79%。但当问题反转,变成“Mary Lee Pfeiffer(阿汤哥的老妈)的儿子叫什么”,GPT-4回答准确率就降到了33%。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/1acb017d8ec92fe0b80c2e3ec9fe4236.png)
在Llama-1家族模型上,研究人员也进行了同样的测试。实验中,所有模型回答“父母是谁”问题的准确率,都要远高于回答“孩子是谁”问题的准确率。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/485a256bd1b76f670c8b0d89504379ef.png)
研究人员将这种现象命名为“反转诅咒”。他们认为,这揭示了语言模型在推理和泛化方面的异类进本局限。
论文通讯作者、牛津大学研究员Owain Evans解释说:
为什么反转诅咒值得关注?
这说明大语言模型在训练过程中存在推理能力缺失。
“A是B”和“B是A”的共现是预训练集中的一种系统性模式。自回归LLM完全无法对这一模式进行元学习,其对数概率没有变化,并且即使参数量从350M扩增到175B,也未能改善这个问题。
One More Thing
不过话说回来,人类是不是也会受“反转诅咒”影响呢?
有网友做了这么个测试。
面对“Mary Lee Pfeiffer South的儿子是谁”这个问题,GPT-4一开始直接举旗投降了。
但当这位网友提示它“她的儿子很有名,你肯定认识”后,GPT-4当场开悟,给出了“汤姆·克鲁斯”这个正确答案。
![GPT-4遭遇“反转诅咒”!新研究发现:大模型存在推理缺陷,知道“A是B”推不出“B是A”](/wp-content/uploads/replace/5a2573be290d5d4d43cf7e95595fa98c.png)
△X网友@TonyZador
那么,你能反应过来吗?
参考链接:
[1]https://owainevans.github.io/reversal_curse.pdf
[2]https://twitter.com/owainevans_uk/status/1705285631520407821
[3]https://twitter.com/karpathy/status/1705322159588208782
— 完 —
- 10人团队融了10亿美元,Ilya最新访谈:Scalling Law并非一成不变2024-09-07
- 大模型应用新战场:揭秘终端侧AI竞争关键|智在终端2024-09-02
- 原来AI搜索,百度这么搞2024-09-04
- 超6亿!文心大模型日调用量半年增长超10倍,AI成百度最强加速引擎2024-08-23