多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界
可无限创造AI智能体
一个投稿飞向 凹非寺
量子位 | 公众号 QbitAI
觉得爆火斯坦福「AI小镇」25个角色不够热闹?
一个可以自己创建无限AI智能体的像素风小镇来了,还是国产的!
用户创建AI后,可以让它们根据用户设置的任务或计划,在虚拟城镇中购物、上班、吵架,以评估大模型们的各项能力。
要是急了,还可以以第三方身份作为镇长介入,干涉任务情况(doge)。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/7109d89a43c75cadd9a9d944c9ecef4b.gif)
这个国产「AI小镇」叫AgentSims,是一个开放式、自定义的沙盒评估基建设施。
并且它还贴心地设置了专业开发者模式和普通用户模式,对那些不那么精通大模型和代码的研究人员还挺友好。
具体操作中,研究人员可以通过GUI(交互式图形用户界面)添加AI角色、建筑物来设置不同的评估任务。
此外,也可以通过少量代码来部署和测试新的支持机制,比如规划和记忆系统。
并且可以设置角色的长期记忆,以及规划能力:
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/46f50a6f8efa7715daf718c6387f2dd6.gif)
这项工作来自北航、中山大学、浙大和华东师范的小伙伴们,目前已经在GitHub上开源。
而且量子位还眼尖发现,AgentSims这个项目开源时间还早于斯坦福的「AI小镇」(虽然只早了2天吧)。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/917fb4088718f43ea995502ebc99452f.png)
能评估大模型能力的国产《西部世界》
从演示Demo来看,AgentSims建了一个虚拟的城镇环境,包含各种虚拟居民和建筑。
这些都由用户自定义创建,最终组成沙盒,完成关于大模型能力的评估测试。
比如语言理解能力、语言生成能力、推理能力、计划和规划能力、多轮对话能力、数据记忆与检索能力、自我调整能力什么的。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/e9877cddaa85566f089c829919f836c2.jpeg)
So,AgentSims到底要怎么玩儿呢?
首先来说创建AI角色。
这个环节的自由度比较高,能给AI起名,设置性格、喜好人生任务等。
图示中名叫John的AI角色,背后就依靠GPT-4来完成行动决策。
根据性格设定,John还是非常乐于助人。
再加上Demo给它设置的人生目标是“在小镇上勤奋工作”——于是,它就成为了小镇上的善良、勤恳打工人,
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/3e3cb27fb18747ab2addcaa519749afc.gif)
创建每个AI角色时,都需要选择提供行为决策支持的大模型,可以是ChatGPT、GPT-4、LLaMA等等。
研究团队在论文中提到,AgentSims可以用来重复测试同一模型,也可以在类似设置下,比较不同模型的表现。
创建好角色后,这个AI几点几分干了什么事情,和谁说了话……每天的所有行为会被记录在档案中。
它们彼此之间还会发生交互,甚至产生对话:
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/0277cce6b79a9c91d96c531d1e92468d.gif)
评测过程中,不仅是AI和AI之间能够产生交互。
如果有需要,研究人员自己还可以以“小镇镇长”等用户身份进入小镇,和智能体对话、互动,干预任务完成的过程。
其次,构成沙箱环境虚拟城镇建筑和社区设置,也由用户自己创建。
建筑物中的设备是预先设定好的,但可以在开发者版本中进行修改编辑,甚至调用外部API。
从demo里可以看到,AgentSims提供的是GUI(交互式图形界面)。
也就是说,用户不需要写代码,只需要关注任务设计的合理性。
(这里提一句,为了像现实世界一样拥有咖啡厅、商店、餐厅,用户还需要花费一定金额。)
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/018529677b5b993d5bdcd801f8c16d78.gif)
值得一提的是,无论何时创建的AI角色和建筑,都处于同等地位,也就是说AI角色们可以对新加个体产生探索与交互。
高度自定义,戳戳就能编辑
从国内超参数科技做出的GAEA,到斯坦福AI小镇,再到国产AI小镇AgentSims,这几项研究都是利用AI打造了NPC系统,并依靠(各种各样的)大模型来帮助AI角色做行动决策。
走“小镇”这条相似路径,原因不外乎虚拟城镇能够模拟真实世界中的社会环境和人际交互,从而方便考察大模型处理复杂社交场景的能力。
但是要让AI们模拟人类水平的社交能力,比如记忆、行为长期连贯性,仅靠大模型能力是不够的——
众所周知,大模型对对话的上下文窗口有限制性。
在AgentSims这里,团队用了一种辅助系统,让AI角色直追人类水平。
具体抽象为三个部分:
- 计划系统,用来将目标分解为子任务,并记录当前状态,生成下一步行动。
- 记忆系统,将每日经历编码为向量,存储在数据库中,用于维持行为一致性。
- 工具使用系统,存储了使用设备的反馈,可以推断设备的操作方法。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/c6b9c505f0967497b8d63b1cd755d664.png)
因为这个机制的存在,AgentSims的灵活度更高,用户可以自己“排列组合”不同的计划、记忆和学习系统。
那么,AgentSims相比斯坦福小镇,还有哪些不一样的地方?
最大的不同之处在于——可以像玩游戏一样搞研究!
斯坦福的AI小镇在设置人物名字、运转次数和运行定制文件时,需要在终端里手动输入内容:
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/cfdef43a679a372f511581a137a23442.png)
AgentSims则降低了使用门槛,自定义和模块化程度都更自由。
如果用户不想用命令行输入,可以直接选择使用可交互界面,只需要戳戳就能更改设置。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/be5f64ea1be2bc96b2e09665341c14cc.png)
具体来说,研究团队提供了两个模式:普通用户模式和开发者模式。
普通用户模式,就是利用GUI,点点鼠标进行属性和位置选择,就能构建出一个用来评估大模型能力的社区/城镇。
至于开发者模式,那就可以直接上代码了,能更改一些设置细节。
但相对应的,门槛也更高。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/c66e29b2d196ce1226f8402464b09099.gif)
当然,相比AgentSims,斯坦福小镇会注重于生成“更逼真”的人类行为,换而言之,AI案例会更加丰富一些。
例如AI角色们可以在小镇里自发组织情人节派对,策划详实,包括时间地点和到场人物等:
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/aabc8bf23266198a67cf74928dea2031.png)
不过,所有的类似AI小镇都有同样的通病:
虚拟城镇只能“模拟”,无论怎样逼真,也无法完全反映现实世界的复杂性。
而且任务性能还决定了用户可能无法深入了解模型成功/失败的原因。
不过这仍然不妨碍冲浪在一线的英伟达科学家Jim Fan狂呼,这类工作未来“有无限可能”。
![多校联合开源国产AI小镇,戳戳交互界面就能编辑的虚拟世界](/wp-content/uploads/replace/5e6c8a8d7959ba109ff1738f748e3766.png)
团队介绍
林家驹(Jiaju Lin), 硕士毕业于华东师范大学,宾州州立大学博士在读, 研究方向为LLM领域适配,价值对齐。
赵浩然(Haoran Zhao),BHU博士在读,研究方向为Multi-Agent System,LLM Agent及AIgame。
张傲弛(Aochi Zhang), PTA Studio,Deep Learning coder, 服务器架构师。
吴旖婷(Yiting Wu),PTA Studio,游戏&HMI方向交互设计师。
平胡秋月(Huqiuyue Ping),浙江大学硕士在读,研究方向为Multi-Agent System与强化学习。
Website: AgentSims.com
Paper: arxiv.org/pdf/2308.04026.pdf
Code: github.com/py499372727/AgentSims
- AI落地新战场,云厂商开卷MaaS:大模型即服务,华为给所有人发船票了2024-09-05
- 阿里通义上新PPT创作!PC端“效率”功能三合一,听读写一站搞定2024-09-01
- 为产业数字化注入“智”能量 看腾讯全球实践2024-09-01
- 纯数学方法证明量子纠缠会突然消失!MIT科学家无心插柳提供论证2024-09-01