抢先OpenAI发布Her，马斯克围观的端到端实时音频模型，前FAIR团队创业打造

一水 2024-07-05 14:20:11 来源：量子位

就在刚刚，法国创业团队抢先OpenAI发布端到端实时音频模型——Moshi。

官方直接秀了段现场演示：

好家伙，感觉语速比真人还快！甚至还学会了抢答：

很多时候我甚至还没问完它就回答了我的问题！

Moshi主打发布即公开（免费），PyTorch之父也来祝贺，并透露团队成员来自他在FAIR的前同事。

是的，Moshi也将走开源路线，网友们齐聚一堂呐喊：

终于有了能直接上手的东西，网友们自然也是火速开启试玩。

这不，有网友就发现打工人Moshi竟主动抱怨：

工作太忙了，我累了

看来天下的打工人都一样。[doge]

所以，喊累的Moshi究竟都会干啥？干的咋样？

Moshi技能拉满

首先，Moshi能够带着70种情绪和风格讲话。

比如，用浓重的法国口音朗诵诗歌、假扮船长冒险，或者凉飕飕地讲鬼故事……

而且谷歌DeepMind研究员、ViT作者Lucas Beyer还观察到：

Moshi基本没有延迟，甚至还打断了演讲者几次

不过Beyer也指出，在苹果电脑（MacBook）上的模型偶尔会错误地拒绝一些实时请求。

也许Kyutai对安全调整有点太急切了。
然而，这也证实了演示确实是实时的，甚至可能是自由发挥的。

另外，Moshi作为一款完全端到端的音频模型，能在普通笔记本上使用。

Hugging Face联合创始人Thomas Wolf点出了其中关键：

模型训练流程和架构设计简单且极具可扩展性，像Kyutai这样只有8人以上的小团队也能在4个月内建成。合成数据在这里起到了巨大的推动作用。

专注于本地设备，Moshi将无处不在。前沿模型构建者没有动机让你在本地运行较小的模型（按令牌计价……），但像Kyutai这样的非营利组织有着非常不同的动机。

在保持Llama 8B或以上答案质量的同时，将延迟降至300毫秒以下，是提升交互性的关键因素，这是颠覆性的。

Kyutai的CEO Patrick Pérez也提到：

Moshi可以“边说话边思考”。
我们相信Moshi具有巨大潜力，可以改变我们与机器交流的方式。

不过也有网友试过后“质疑”发布会是否造假：

在他的演示中，Moshi已处于“精神崩溃”边缘，一直在向小哥抱怨压力大，导致小哥完全插不进话。

这一抱怨也引来马斯克的围观：

在小哥的评论区，网友竟纷纷对Moshi表示同情。

好的，只有小哥受伤的世界达成了。

谁发布了Moshi？

Moshi背后的团队是Kyutai，一家位于巴黎的人工智能研究实验室（非营利）。

Kyutai成立于2023年11月，致力于研究通用AI，投资主要来自欧洲实业资本。

公开资料显示，Kyutai由Xavier Niel（法国亿万富翁、法国电信集团Iliad首席执行官）、Rodolphe Saadé （法国物流巨头达飞集团CEO）和Eric Schmidt （前谷歌CEO）各出资1亿欧元共同创立。

关于Moshi，官方介绍它由该实验室的8人研究团队耗时6个月从零开发。

在Kyutai官网，其团队显示有6位成员。

首席执行官Patrick Pérez，曾在微软担任研究员，谷歌学术主页显示其文章被引用4w+，研究领域包括计算机视觉、图像处理、机器学习和人工智能。

Edouard Grave，职位名称为Chief Scaling Officer（CSO），可能是一个专为大模型时代设置的职位了。谷歌学术显示，他的主要研究领域包括机器学习、自然语言处理和人工智能。

首席科学家Hervé Jégou，加入Kyutai前先后在Facebook AI（8年3个月）和Meta（4年）担任研究科学家，其研究领域涉及机器学习、人工智能、计算机视觉等。

首席技术官Laurent Mazaré，GitHub收获了1.9K关注者，曾在DeepMind工作过1年，研究领域涉及深度学习、金融数学、理论计算机科学、密码学和安全等。

Neil Zeghidour，职位名称为Chief Modelling Officer（CMO），这也不是一个常见的企业高层管理职位。加入Kyutai前，他先后在Facebook（3年5个月，语音识别方向）和谷歌（4年9个月，一开始是Google Brain团队的研究科学家）工作，研究领域包括机器学习、语音识别和音频理解等。

Alexandre Défossez，职位名称为Founding Scientist，加入Kyutai前是巴黎FAIR的一名研究科学家。研究重点是多模态LLMs，领导了音乐生成研究，并共同领导了AudioCraft框架（涉及Meta开源的一系列音频模型和训练方法）开发。他还与Jean Rémi King博士合作，研究非侵入性脑成像的脑活动解码。

One More Thing

当Moshi已经飞入百姓家时，鸽王OpenAI再次推迟上线ChatGPT语音助手。

OpenAI表示，需要确保它能安全有效地处理来自数百万用户的请求，还需要一个月才能达到公司的发布标准。

嗯，估计要到7月底了！对此网友打趣道：

Kyutai推出Moshi基本上等于，把OpenAI还没公开发布的客户产品开源了，向Kyutai致敬。

愣着干啥，玩起来吧~