Transformer出逃八子最后一人正式创业！坐标日本搞AI“群”模型，本人：在谷歌有被困住的感觉

萧箫 2023-08-18 13:13:07 来源：量子位

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

谷歌经典Transformer论文8位作者的最后一位，创业去向已定！

新公司base东京，目标是做一家“世界级人工智能研究室”，目前已知的创始成员有两位，Transformer作者Llion Jones和另一位谷歌前同事。

Llion Jones表示，虽然对谷歌没有恶意，但这家公司确实让他有“被困住的感觉”：

谷歌已经发展到了一种规模，让我觉得在里面我什么都做不了。

我发现自己总在找各种软件出bug的原因，以及这个bug是谁写的……这极大地分散了我研究的注意力。

此次出来创业，AI圈全是祝福声，从英伟达高级AI科学家Jim Fan到也从谷歌离职创业的高产研究员Yi Tay，都在线表示了自己的祝福。

有网友羡慕称：这正是我想做的那种研究！

所以，Llion Jones创办的新公司究竟要做什么，在创办新公司之前他又有哪些值得一提的研究？

Transformer八子最后一人出走

创业之前，Llion Jones在谷歌已经干了8年。

他本硕毕业于伯明翰大学，在Delcam、油管、谷歌都工作过，谷歌是他待得最久的一家公司。

据FourWeekMBA介绍称，在他之前的工作经历中，“曾两度与谷歌的工作擦肩而过”。

第一次是他刚毕业找工作时，虽然投了谷歌伦敦软件工程师的简历，并通过了两轮电话面试，但最终相比谷歌，他选择了位于英国的CAD/CAM软件公司Delcam。

第二次是工作18个月后，他又接到了谷歌的招聘电话，询问他是否想重新申请，但他依旧没去谷歌，而是随后加入了YouTube。

在Youtube做三年软件工程师期间，他对人工智能产生兴趣，自学了Coursera的机器学习课程，并终于在2015年的时候加入谷歌研究院，担任里面的高级软件工程师。

也正是在此期间，他与其他七名作者一起发表了那篇著名的Transformer论文Attention Is All You Need。

这篇论文如今已经成为大部分大模型的“奠基研究”，引用次数达到8.5w+。

随后，Llion Jones还与其他研究人员一起，发表了名为Natural Questions: A Benchmark for Question Answering Research的一篇论文。

这篇论文提出了第一个公开可用的自然语言问答数据集，这些语料由谷歌搜索引擎收到的查询问题构成，一共有30多万个样本。

目前，这篇论文的引用已经达到1300+次。

除此之外，Llion Jones也在谷歌参与了不少研究，包括ProtTrans、Tensor2Tensor等。

之所以选择离开谷歌，是因为公司目前已经发展到一种规模，使得他无法继续进行自己想做的工作。

除了每天都在浪费精力排查其他人的bug，他还需要花时间从这家公司中找资源，试图获得访问某些数据的权限。据彭博社采访Llion Jones称：

遗憾的是，我确实感到自己在谷歌之外（的事情中）干活效率更高。

因此，在这家互联网巨头工作多年后，他意识到自己还是想做一家初创公司，而不是离职加入OpenAI等其他AI公司。

毕竟在Llion Jones眼中，OpenAI从微软和其他投资者那里筹集了数十亿美元后，现在正在靠近谷歌这样的互联网巨头，其创新力同样正在减弱。

目前Llion Jones在东京已有一段时间，在领英上可以看见，他还给自己起了个日文名ライオン（狮子），也和英文名发音有所对应。

所以，这个在日本的新公司究竟要做什么？

新公司要做“AI集群”

这个新公司名叫sakana.ai，其中sakana是日语“魚”（さかな）的罗马读音。

顾名思义，sakana.ai在做的事情也像“鱼群”一样：

大自然中的鱼会基于某种简单的规则成群活动。因此，AI们也能借鉴它们的思想，无需更大的体积就能完成很复杂的任务。

具体来说，公司计划开发一种基于自然启发智能（nature-inspired intelligence）的基础模型，借鉴自然领域中的“进化”和“集体智慧”思想，让一群AI协作，类似于当前AI领域的生物启发计算方向。

据《金融时报》介绍称，Llion Jones认为，当前的AI模型之所以存在局限性，是因为它们被设计成无法改变的结构，这种结构往往是脆弱的。

相比之下，发挥“集体智慧”的自然系统，对于周围的变化非常敏感。基于此原理搭建的AI也会具有更好的安全性、更低的搭建成本。

虽然目前模型还没有搭建起来，不过或许可以从两位前谷歌研究员在2021年的共同研究找到一点参考信息：

这篇研究提出了一种叫做AttentionNeuron的网络层，可以将每个输入通道连接到一个独立的神经网络模块，通过注意力机制交流信息。

这样即使输入顺序被随机打乱，网络输出也是已知的，具有良好的鲁棒性。

在自动驾驶环境CarRacing中测试表明，AttentionNeuron即使没学习过环境内容，也可以实现一定程度上的自动驾驶，表现出一定的泛化能力。

这种AI具体如何落地应用？

一方面，这类AI也能像大模型一样，用于生成文本、图像、代码等多个模态的内容；

另一方面，它也能给ChatGPT这样的产品提供支持、协同更多大模型产品工作，实现能力上的“无缝衔接”。

目前，sakana.ai已经建立了官网，上面有一小段话的介绍，表示新公司将位于日本东京，“要做一个世界级的AI研究实验室”。

之所以选择东京，是因为北美那边的生成式AI研究人员竞争非常激烈（手动狗头），但在日本这边也能找到一些高质量AI人才。

公司融资情况目前尚未透露，毕竟办公室还没搭起来。

不过据CNBC透露，sakana.ai目前已经从学术圈聘请了一名兼职研究员，未来还将招揽更多人才。

One More Thing

其实，“Transformer八子”全部离职，今年7月已有征兆。

虽然Llion Jones的领英显示，他在谷歌干到了今年8月：

不过就在7月份，论文Attention Is All You Need悄悄更新过一版arXiv，8名作者的邮箱（包括Llion Jones的谷歌邮箱）已经全部被划掉了：

（8月份这篇论文又更新了一版，所有邮箱都被加了回来）

至少在一个月前，8人全部离职创业的念头就已经尘埃落定了。

参考链接：
[1]https://sakana.ai/
[2]https://arxiv.org/pdf/1706.03762v6.pdf
[3]https://www.cnbc.com/2023/08/17/transformer-co-author-llion-jones-leaves-google-for-startup-sakana-ai.html
[4]https://www.ft.com/content/1f0cee71-2a44-4080-8c79-b037243ac6f5
[5]https://twitter.com/YesThisIsLion