阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅
妈妈再也不用担心我上课走神(手动狗头)
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
又一个接入大模型能力的组会神器实用工具,开启免费公测啦!
背后大模型,是阿里的通义千问。至于为什么说是组会神器嘛——
注意看,这是我的B站导师李沐老师,他正在带同学们精读一篇大模型论文。
不巧就在这时,老板催我抓紧搬砖。我只好默默摘下耳机,点开名为“通义听悟”的插件,然后切换页面。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/6b0452cfb910324f172114f7f1ad4454.gif)
你猜怎么着?虽然我人不在“组会”现场,但听悟已经帮我完整记录下了组会内容。
甚至还帮我一键总结出了关键词、全文摘要和学习要点。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/4fb39f9179cb00e1349ab76298941313.png)
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/ac49e724e002bd417cc1390f88ac4de1.png)
简单来说,这个刚刚接入大模型能力的“通义听悟”,是一个大模型版的聚焦音视频内容的工作学习AI助手。
跟以往的录音转写工具不同,它不只是能把录音、视频转成文字这么简单。能一键总结全文不说,总结不同发言人观点也能做到:
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/a694ab2edb4c004316d0d2619488da45.gif)
甚至还能当实时字幕翻译来用:
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/3d9a4bd5502a994a6c82a7046143dc7e.gif)
看上去,不仅开组会好使,对于经常要处理一大堆录音、熬夜跟各种国外发布会的量子位来说,也实属日常工作新神器。
我们赶紧第一时间深入测试了一波。
通义听悟上手实测
音频内容的整理和分析,最基础也是最重要的,就是转写的准确性。
Round 1,我们先上传一个时长在10分钟左右的中文视频,看看听悟与同类工具相比,在准确性方面表现如何。
基本上,AI处理这种中等长度音视频的速度很快,大概不到2分钟就能转写完成。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/6e1dcbc9fff6fde95b106b8ede8377a7.png)
先来看看听悟的表现:
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/f342b392f89b4c8bc43649bbe9f7ad74.png)
在这个200字左右的段落中,听悟只出现了两处错误:强 → 墙,都好处 → 恰到好处。像原子核、电荷、斥力这些物理名词,听悟都能弄明白。
我们用同一段视频在飞书妙记上也进行了测试。基本问题也不大,但相比听悟,飞书多了两处错误,把其中一处“原子”写成了“园子”,把“斥力”听成了“势力”。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/f6cf327ae8ec3cb54876a4ee3bf8171e.png)
有意思的是,听悟犯的错,飞书也一比一复刻了。看来这口锅还得量子位某说话吞字的up主来背(手动狗头)。
讯飞听见,倒是分辨出了前两位选手没有识别出来的“恰到好处”。但讯飞听见基本上把“墙”全部都转写成了“强”,还出现了“强的糖粒”这种神奇的搭配。另外,三位选手中,只有讯飞听见把“电磁力”听成了“电子力”。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/e9d9477fe74ca2c924cd6f0008d031bc.png)
总体来说,中文的识别对这些AI工具来说难度不大。那么在英文材料面前,它们又会表现如何?
我们上传了一段马斯克的最新访谈,内容是他与OpenAI过去的恩怨纠葛。
还是先来看听悟给出的结果。在马斯克的这一段回答中,听悟没有分辨出拉里·佩奇的名字,除此之外基本都能识别正确。
值得一提的是,听悟能够直接将英文转写结果翻译成中文,并将双语对照显示,翻译质量也相当不错。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/6d102846ca570902d226568e533ce2e1.png)
飞书妙记则成功听出了拉里·佩奇的名字,不过和听悟一样,由于马斯克整体语速较快并且有一些口语化的表达,存在一些小错误,比如把“stay at his house”写成了“say this house”。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/64f52b4e7da9c8397b099d1c2a8c954d.png)
讯飞听见这边,人名、连读细节处理得都不错,不过同样存在被马斯克的口语化表达误导的情况,比如把“long into the evening”当成了“longing to the evening”。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/9bf78a4d2f3a25ee4e0aef21470104cf.png)
如此看来,在基础能力语音识别方面,AI工具们都已经达到了很高的准确率,在极高的效率面前,一些小问题已经瑕不掩瑜。
那么,我们将难度再升一级,Round 2,来测试测试它们对1小时左右长视频的总结能力。
测试视频是一段40分钟的圆桌讨论,主题是中国AIGC新机遇。参与圆桌讨论的共有5人。
听悟这边,从转写完成到AI提取关键词、给出全文摘要,一共花了不到5分钟的时间。
结果是酱婶的:
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/17581b0f408e05806a9090c786f65833.png)
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/2155d52c9bfefc57fc0acffa32169915.png)
不仅给出了关键词,圆桌讨论的内容也总结得很到位,并且还给视频划分了关键点。
对比人类编辑摘录的话题要点,我嗅到了一丝危机……
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/f2c239c778be76537c6dcf937d701e05.png)
值得一提的是,针对不同嘉宾的发言,听悟都能给出对应的发言总结。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/76849bffcf1ce9f1fd24f5b0a14fa72f.gif)
同样的题目抛给飞书妙记。目前,在内容总结方面,飞书妙记还只能给出关键词。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/2f91efe797b24655aa51140c3c2dbcfb.png)
会议纪要需要手动在转写文字上标注。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/a4d27b24f5ba0ad7a82dfc80d905ce3f.png)
讯飞听见基于星火认知大模型,也有能够分析文件内容的产品正在内测,不过需要填写申请,排队等待。(有内测资格的小伙伴欢迎分享体验~)
在基础的讯飞听见中,目前没有类似的总结功能。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/30c2e0edfd82f5da56e3a2f4ac44fd58.png)
看来这一轮测试:
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/3d5ad240c125bddbda81ceca6baa4d45.jpeg)
不过要说在本次实测中,通义听悟最令人感觉惊喜的,其实是一个“小”设计:
Chrome插件功能。
无论是看英文视频,看直播,还是上课开会,点开听悟插件,就能实现音视频的实时转录和翻译。
就像开头所展示的那样,拿来当实时字幕用,延迟低,翻译快,还有双语对照功能,同时,录音和转写文字都能一键保存下来,方便后续使用。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/cd151c0f420310eb57a75100dc105b1c.gif)
妈妈再也不用担心我啃不下来英文视频资料了。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/18fe278da5c3d5ea15da633dcb089a20.gif)
另外,我还有个大胆的想法……
开组会的时候打开听悟,开会儿小差再也不用怕被导师突然抽查了。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/8ff530c9541ef59982c46450994c7cd0.jpeg)
目前,听悟已经和阿里云盘打通,存放在云盘中的音视频内容可以一键转写,在线播放云盘视频时还能自动显示字幕。并且在企业版本中,AI整理后的音视频文件将来还可以在内部快速分享。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/0b700505508317836fd97b7fa4c3e9e6.gif)
听悟官方还透露,接下来,听悟还会持续上新大模型能力,比如直接抽取视频内的PPT截图、针对音视频内容可以直接向AI提问……
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/17ba2cd02f706a37e3933ac8862c0712.gif)
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/ed2685c1cc51b0bc6e13703a02086060.gif)
关键是,公测福利现在人人可薅,每天登陆即可自动获得2小时转写时长,阿里云官方微博、微信及各大平台社区还会发放大量20小时转写口令码,并且时长均可叠加,一年内有效。
勤快点的羊毛大师,攒出100小时以上的免费时长不是梦(手动狗头)。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/96ebd0a2a4f925b602720343ffd7f903.png)
背后技术:大语言模型+语音SOTA
其实,在公测之前,通义听悟就已经在阿里内部精心打磨过了。
去年年底,也有量子位读者拿到了听悟内测体验卡,当时版本中,已经有离线语音/视频转写和实时转写的功能。
这次公测,听悟主要是接入了通义千问大模型的摘要及对话能力。具体而言,是以通义千问大模型为基座,融合了研发团队在推理、对齐和对话问答等方面的研究成果。
首先,如何准确抽取关键信息,是这类神器提升工作效率的关键。这就需要借助大模型的推理能力。
阿里AI团队在2022年提出了基于大语言模型的知识探测与推理利用框架Proton(Probing Turning from Large Language Models)。相关论文发表在KDD2022和SIGIR2023等国际顶会上。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/4ff5f9617fbb6d6a82762f3948ffdd69.png)
该框架的核心思路在于,探测大模型的内部知识,以思维链为载体进行知识流动和利用。
在通用常识推理CommonsenseQA2.0、物理常识推理PIQA、数值常识推理Numbersense三大榜单上,Proton曾先后取得第一。
在TabFact(事实验证)榜单上,Proton凭借知识分解和可信思维链技术,首次实现了超越人类的效果。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/80b0878b9ae9aac1340eb0b93f0540e1.png)
其次,为了确保摘要内容和格式符合用户预期,在对齐方面,听悟还用上了ELHF,即基于人类反馈的高效对齐方法。
该方法仅需少量高质量人工反馈样本,就能实现对齐。在模型效果主观评测中,ELHF能使模型胜率提高20%。
在此之外,听悟背后的研发团队,还发布了首个中文超大规模文档对话数据集Doc2Bot。该团队提升模型问答能力的Re3G方法,已经入选ICASSP 2023:该方法通过Retrieve(检索)、Rerank(重排序)、Refine(精调)和Generate(生成)四个阶段,能提升模型对用户问题的理解、知识检索和回复生成能力,在Doc2Dial和Multi Doc2Dial两大文档对话榜单中取得第一。
除了大模型能力,听悟还是阿里语音技术的集大成者。
其背后的语音识别模型Paraformer,来自阿里达摩院,首次在工业级应用层面解决了端到端识别效果与效率兼顾的难题:
不仅在推理效率上较传统模型提升10倍,刚推出时还“屠榜”多个权威数据集,刷新语音识别准确率SOTA。在专业第三方全网公共云中文语音识别评测SpeechIO TIOBE白盒测试中,目前,Paraformer-large仍是准确率最高的中文语音识别模型。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/0b54b4726ba7b2b6f2a831f45d3441a4.png)
Paraformer是单轮非自回归模型,由编码器、预测器、采样器、解码器和损失函数这五个部分组成。
通过对预测器的创新设计,Paraformer实现了对目标文字个数及对应声学隐变量的精准预测。
另外,研究人员还引入了机器翻译领域中浏览语言模型(GLM)的思路,设计了基于GLM的采样器,增强了模型对上下文语义的建模。
同时,Paraformer还使用了数万小时、覆盖丰富场景的超大规模工业数据集进行训练,进一步提升了识别准确率。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/1440a3e9ed9c0f5311ee3e52c58a0695.png)
而准确的多人讨论发言人区分,则得益于达摩院的CAM++说话人识别基础模型。该模型采用基于密集型连接的时延网络D-TDNN,每一层的输入均由前面所有层的输出拼接而成,这种层级特征复用和时延网络的一维卷积,可以显著提高网络的计算效率。
在行业主流的中英文测试集VoxCeleb和CN-Celeb上,CAM++均刷新了最优准确率。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/3e21bf70198afa700cabdf9150e9bac6.jpeg)
大模型开卷,用户受益
据中国科学技术信息研究所报告,据不完全统计,目前国内已经发布了79个大模型。
这种大模型开卷的趋势下,AI应用进化的速度再次进入到一个冲刺阶段。
站在用户的角度来说,喜闻乐见的局面正逐步形成:
大模型的“统筹”之下,各种AI技术开始在应用侧百花齐放,使得工具越来越高效,越来越智能。
从一个斜杠就能帮你自动写完工作计划的智能文档,到快速帮你总结要素的音视频记录和分析工具,生成式大模型这朵AGI的火花,正在让越来越多的人感受到AI的魔力。
![阿里云大模型上新!AI神器「通义听悟」公测中:长视频一秒总结,还能自动做笔记、翻字幕 | 羊毛可薅](/wp-content/uploads/replace/f06c3250c626e71b57885113208e2a6d.png)
与此同时,对于科技企业来说,新的挑战和新的机会,无疑也已经出现。
挑战是,所有产品都将被大模型的风暴席卷,技术创新已经成为了无可回避的关键问题。
机会是,对于新的杀手级应用而言,重写市场格局的时间点已经到来。而谁能拔得头筹,就要看谁的技术准备更充分,谁的技术进化速度更快了。
无论如何,技术开卷,终将是用户受益。
文章的最后,我们也来送上一份羊毛,注册通义听悟,输入专属口令“量子位”,即可领取免费转写时长~
官网地址:https://tingwu.aliyun.com
— 完 —
- 10人团队融了10亿美元,Ilya最新访谈:Scalling Law并非一成不变2024-09-07
- 大模型应用新战场:揭秘终端侧AI竞争关键|智在终端2024-09-02
- 原来AI搜索,百度这么搞2024-09-04
- 超6亿!文心大模型日调用量半年增长超10倍,AI成百度最强加速引擎2024-08-23