LeCun：说LLM是随机鹦鹉侮辱鸟了啊，人家三个月就学会视频网聊了
来自东北大学&MIT&格拉斯哥大学的正经研究
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
现在，打个视频线上交友，不是人类的特权了。
“鸟中学神”鹦鹉，3个月就能火速get这一新技能。
打通电话后，它们之间能通过动作、叫声互动。
还能从同伴那里远程学一些新技能，比如新的叫声、飞行能力等。
有的鹦鹉之间已经保持联系一年多了。
哈？这不就人类社交翻版么？
这是由东北大学、MIT和格拉斯哥大学联合推进的一项正经研究。
他们让18只鹦鹉在3个月内共进行了147次通话，结果证明大多数鹦鹉都对这项社交活动表现出很强的意愿，它们的饲养员也表示这明显改善了它们的生活。
意外的是，这项研究意外引发了AI圈的讨论。
深度学习三巨头之一LeCun表示：
看来把大模型称为“随机鹦鹉”真是侮辱鹦鹉了。
自己选择连线好友
这项研究找来了18只身处各地的鹦鹉。
而且标注了每只鹦鹉的社交情况，比如因病隔离、独居、群居等；以及它们本身会什么技能，有的会已经会玩平板上的游戏了……
首先，研究人员通过为期两周的实验，确定鹦鹉可以学会表达通话意愿、选择通话对象等行为。
这些是通过一些基本的食物引导来完成的。比如当鹦鹉成功触摸到平板上的一张照片时，就给它一点食物作为奖励。
而在这一时期内，当鹦鹉拨通电话的时长被限制在5分钟、212次叫声以内，一旦发现它的注意力不在打视频电话这件事上，就会叫停通话。
研究人员表示，这么做是为了降低鹦鹉在实验过程中产生负面情绪，如果它们在实验过程中分心或不适应，就马上终止。
当确认鹦鹉们都能适应这些实验程序后，就能开始实验了。
研究规定，当鹦鹉摇一个铃铛时，就是表达自己想打视频电话的意愿。这时研究人员就会拿出他们的通讯设备，并给鹦鹉展示可以通话的同伴。
（当然这个过程也要确保鹦鹉确实是想打电话，而不是想听铃铛响……）
正式的实验进行了2个月左右，在鹦鹉主人们的帮助下，它们一共完成了147次呼叫，最后有15只鹦鹉完成了所有实验。
通过视频通话，鹦鹉之间的社交行为明显增加了，比如打招呼、唱歌、玩耍。
参加实验的大部分鹦鹉，都会在通话时尽可能发出声音。甚至有两只鹦鹉之间建立了深厚的友谊，一年多时间里它们都还在保持联系。
研究人员分析说，它们发出的声音是在模仿自己在野外的叫声，可以理解为“你好，我在这里！”
与此同时，研究人员还发现了一些非常有意思的现象。
比如在鹦鹉的社交中，也是话痨更受欢迎，这和人类社会有些相似。
它们似乎也能理解屏幕对面是自己的同类，还会通过视频通话学会一些新技能，包括新的叫声、觅食或者飞行能力等。
很多鹦鹉都爱上了打电话这个活动，倒不是因为喜欢通话，而是整个活动需要他们的主人参与进来。
它们希望通过这一活动来获得主人的更多关注，甚至有鹦鹉对屏幕另一边的鹦鹉主人产生了依恋。
研究表明，视频通话可以改善鹦鹉的身心健康。
毕竟当鹦鹉成为一种宠物之后，它们很多都过上了独居生活，和同伴之间的联系减少了。
这种封闭无聊的生活可能会导致一些鹦鹉出现自残行为，比如过度踱步、拔掉自己羽毛。
当然，鹦鹉之间不能社交还有一个大家想不到的原因——
在鹦鹉世界里，也有大流行病存在的。
比如一种名为禽类神经节炎（avian ganglioneuritis）的传染病就影响了美国40%的鹦鹉，所以它们也会为了健康考虑不能自由见面。
研究人员表示，就像人类能通过视频通话让隔离生活好过一些一样，鹦鹉也可以这么做。
不过他们也提醒说，这并不意味着任何一个饲养员现在都可以让自己的鹦鹉来一场视频通话。
因为如上实验都是经验丰富的饲养员经过长期训练后实现的，而且过程中也认真观察了鹦鹉们的反应。
实际上，鹦鹉在进行社交时是比较敏感的。如果没有任何准备就进行实验，可能会导致鹦鹉出现恐惧情绪、暴力行为。
当然也可能给您造成财产损失——大型鹦鹉的喙足以把iPad啄烂。
LeCun：LLM还真不能叫“随机鹦鹉”
要说为啥这项研究会被AI圈关注，这还得从2021年的一篇论文说起。
艾米丽·本德等人发明了“随机鹦鹉”这个词汇，他们在论文中提出了一个观点：
语言模型是一个系统，它可以随意地把大量训练数据中观察到的语言序列拼接在一起，这些拼接主要根据它们各种组合出现的概率，这就导致LLM像一只随机（学舌）的鹦鹉。
如今ChatGPT、GPT-4引发了新一轮对大语言模型的激烈讨论，“随机鹦鹉”最近也是高频被提及。
但这项最新对鹦鹉的研究似乎证明，哈这么说似乎是侮辱鹦鹉了。
LeCun还进一步对比了鹦鹉大脑容量和当下LLM规模，有人提问，这是暗示LLM还得朝大规模发展下去？
还有人补充说，尽管LLM可以通过律师考试，但是它无法像鹦鹉那样开拓自己的能力。
嗯，推演来看，让鹦鹉和AI的智力做对比，而AI又经常被拿来和人类能力做比较，那么下一步是不是要让鹦鹉和人类下象棋了？（doge）
论文地址：
https://dl.acm.org/doi/10.1145/3544548.3581166
参考链接：
https://twitter.com/ylecun/status/1649670485498822656?s=20
- Ilya宣判后GPT-5被曝屡训屡败，一次训数月，数据要人工从头构建2024-12-22
- Sora开服被挤爆！支持中文/编剧模式/作品分享，145块就能玩2024-12-10
- 华为云又一数据中心开服:让算力像水电一样通用,青岛这步棋走对了2024-12-07
- 第一个国产中文o1来了，直接数学竞赛题伺候！2024-11-27
相关阅读
