Sora背后团队:应届博士带队,00后入列,还专门招了艺术生
视频生成规则改写,OpenAI的下一步又会是什么?
克雷西 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
现在世界上最受关注的技术团队是哪一支?
Sora团队,已经来到聚光灯中心。
不仅项目负责人评论区被挤爆,成了X最火“景点”。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/37ee7a60bd6643163837470ae4c83c94.png)
天才成员们的履历,也正在持续引爆关注。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/d7879bf5d891cb164ab8e229fc4a34a7.png)
△来自微博博主@木遥
大家伙发现,这支团队挺年轻:两位负责人都是在去年(2023年)刚刚博士毕业,团队里甚至还有00后选手……
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/0d872cd721a3de3b3577d38c5555270a.png)
但牛啤也是真的牛:
Tim Brooks,DALL-E 3作者之一,GitHub 5.7k星项目InstructPix2Pix作者,2021-2022年在英伟达实习时,就是视频生成研究的项目负责人。
William (Bill) Peebles,和谢赛宁合作,搞出了Sora的技术基础之一DiT(扩散Transformer)。论文还曾入围CVPR 2022最佳论文候选。
……
这支团队到底什么来头,咱们今天一起仔细聊聊。
应届博士带队
包括Tim和Bill在内,Sora的主要负责人一共有三名(以下排名不分先后)。
Tim Brooks,也是DALL-E 3的作者,去年1月刚从加州大学伯克利分校博士毕业。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/10d03f72f34c0aa55fc010a462f8c935.png)
Tim本科就读于卡内基梅隆大学,主修逻辑与计算,辅修计算机科学,其间在Facebook软件工程部门实习了四个月。
2017年,本科毕业的Tim先到Google工作了近两年,在Pixel手机部门中研究AI相机,之后到了伯克利AI实验室攻读博士。
在伯克利读博期间,Tim的主要研究方向就是图片与视频生成,他还在英伟达实习并主导了一项关于视频生成的研究。
回到校园后,Tim与导师Alexei Efros教授和同组博士后Aleksander Holynski(现在谷歌)一起研制了AI图片编辑工具InstructPix2Pix,并入选CVPR 2023 Highlight。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/d576914a266b71c72b8076f728834972.png)
去年一月,Tim顺利毕业并取得了博士学位,转而加入OpenAI,并相继参与了DALL-E 3和Sora的工作。
值得一提的是,Tim不仅在专业领域拥有高超的技术水平,还是个多才多艺的人。
据Tim自己介绍,他还喜欢摄影和音乐,高中时他拍摄的照片获得过National Geographic颁发的奖项,本人到过百老汇演出,还获得过B-box国际奖项……
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/89c4fd965610e282138a23675c240fea.png)
而与Tim师出同门、晚毕业4个月的William Peebles,也是Sora的另一名负责人。
(Peebles在X上用昵称Bill,在Linkedin上及论文署名时用大名William,下文一律用Bill指代。)
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/1f12c724aa18264f11c8cc12ae9cc005.png)
Bill本科就读于MIT,主修计算机科学,参加了GAN和text2video的研究,还在英伟达深度学习与自动驾驶团队实习,研究计算机视觉。
毕业后正式开始读博之前,他还参加了Adobe的暑期实习,研究的依然是GAN,该项目和(时任)卡内基梅隆大学华人学者朱俊彦(也是Efros教授学生,现在在MIT)组有合作,并成为CVPR 2022最佳论文候选。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/10ef0ce30fbc0ac17d2b97ce3fa1c9df.png)
之后,学期开始,Bill到了伯克利Efros教授课题组攻读博士,研究成果多次入选SIGGRAPH、ICCV、CVPR等学术会议。
2022年5月,Bill到Meta进行了为期半年的实习,和谢赛宁(Bill开始实习时还未离开Meta)合作发表了DiT模型,首次将Transformer与扩散模型结合到了一起。
该成果被ICCV 2023录用为Oral论文。值得一提的是,OpenAI此次发布的Sora,被认为正是基于DiT构建的。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/d818ae1652aa819f38f7cb191eb1fb64.png)
去年5月,Bill也从伯克利毕业,并入职OpenAI。
除了这两位去年加入的研究者,Sora团队的另一位负责人Aditya Ramesh则是OpenAI的“老人”。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/1468bca2687afd6f6d9f5f5c6ffb2428.png)
Aditya是DALL-E的创造者,主导了三代DALL-E的研究,三个版本的论文当中他都是共同一作。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/0cadc070673d2799a78f962d9e91de2e.png)
而这样一位主导三代DALL-E,如今又领导Sora团队的大神,却只有本科学历。
据LeCun介绍,Aditya本科就读于纽约大学,并在他的实验室参与过一些项目。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/5494d8ac24f52a13afe7b640809c9810.png)
其间,Aditya就已经在研究生成式模型,并和LeCun共同发表论文。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/c516ed50c5773a82ec5e3bf50a9f28f3.png)
毕业之后,Aditya本想继续深造,但在OpenAI的暑期实习中被留了下来,成为了正式研究人员。
00后已加入
Sora团队的本科生,还不止Aditya Ramesh一位。
前文提到,这支团队中有一位“00后”Will DePue,就是2022年才刚从密西根大学计算机系本科毕业的。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/b7bb6f399b9072a8efeb06d54af7cbcb.jpeg)
这位小哥大四的时候创业搞了个市场咨询公司DeepResearch,这家公司后来被Commsor收购。
2023年7月,小哥加入OpenAI。根据他的领英信息,他是在今年1月才刚刚加入Sora项目组的。
另外,David Schnurr和Joe Taylor也都没有博士学位。前者毕业于加州大学圣塔芭芭拉分校,后者毕业于美国旧金山艺术大学。
而正如Aditya Ramesh自己所说,Sora团队的不少成员都是DALL-E 3的作者。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/746f3670acdf906121153545e8b2c57b.png)
包括两位华人Li Jing和Yufei Guo。
Li Jing是DALL-E 3的共同一作,2014年本科毕业于北京大学物理系,2019年获得MIT物理学博士学位。在Meta做了2年多博士后之后,Li Jing于2022年加入OpenAI。
华人作者中还有Ricky Wang,今年一月刚刚从Meta/Instagram跳槽到OpenAI,另外两位Yufei Guo、Clarence Ng没有太多公开资料。
新跳槽来的还有Conner Holmes,他在微软工作时以外援形式参与了DALL·E 3的推理优化工作,后来干脆加入OpenAI了。
最后,来看一眼完整作者名单:
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/4c5be0cdacda53024bf393572eeb9012.jpeg)
从团队的组建情况和研究基础来看,Sora应该是OpenAI近半年来的最新成果,而非网传“早已有之但憋着不发”。
不过,Sora炸场,顶级人才又持续星聚,还是惊得众人开始重新考量OpenAI的技术领先性。
就在今天,作者释出的Sora新作,连“同一场景”下的多机位视频都整出来了。
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/874f803530c507e428eade50e9954962.gif)
网友们的心情be like:
![Sora背后团队:应届博士带队,00后入列,还专门招了艺术生](/wp-content/uploads/replace/5b1536021c8746ff1f01ee24cd1e2926.png)
现在,是视频生成,下一个又会是什么?
参考链接:
[1]https://www.wpeebles.com/
[2]https://www.timothybrooks.com/about/
[3]http://adityaramesh.com/about.html
- 谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题2024-09-04
- 《黑神话》动捕供应商展示新算法:华科校友创办,华为云合作,亮相数博会2024-09-03
- 又有AI创始人卖身大厂!带走25%员工留下空壳,为吴恩达第一位博士生2024-09-02
- 逼真到被打假!OpenAI投的机器人身穿衣服做家务,被怀疑人类套壳拍视频2024-09-01