豆包版《Her》升级上新!随时打断,交流自然,还是开箱即用的那种

已在国内TOP级数字人聊天产品中应用落地

允中 发自 凹非寺

量子位 | 公众号 QbitAI

豆包大模型应用落地,又有新进展。

8月21日,火山引擎在AI创新巡展活动上发布了豆包大模型的一系列产品升级。

据活动现场披露,最新版豆包大语言模型的综合能力相比三个月前首次发布时提升了20.3%:

在六项关键能力评测中,角色扮演能力提升38.3%,具备了更强的上下文感知,让对话情境更连贯、角色更拟人化;语言理解提升33.3%,包括信息分类和抽取、总结摘要、阅读理解和问答等能力增强。此外,模型在长文任务、数学、专业知识、代码能力上也有不同程度提升。

豆包版《Her》升级上新!随时打断,交流自然,还是开箱即用的那种

值得关注的是,此次活动还发布了豆包大模型的一系列语音能力升级。豆包大模型团队的Seed-ASR、Seed-TTS研究成果(论文见文末),已成功应用于豆包语音识别模型和语音合成模型。在此基础上,火山引擎整合了RTC技术(实时音视频),全新发布对话式AI实时交互解决方案。

此方案让用户不仅能用语音与AI进行交谈,还能像平时说话一样、在对话过程中适时打断或插话,整体对话质量不受影响。经过升级后的AI声音相较以往而言更具表现力和感情色彩,对话也因此更自然、更真实、更流畅,让大模型交互体验更强。

豆包版《Her》升级上新!随时打断,交流自然,还是开箱即用的那种

现场,火山引擎还携手多点DMALL成立零售大模型生态联盟,基于豆包大模型打造零售AI解决方案。首批联盟成员包括物美集团、抖音电商、抖音生活服务、百胜、麦当劳、中国飞鹤、海底捞、居然之家、南7-11、重庆百货、百果园、波司登、天虹、三得利、绝味、名创优品、NielsenIQ、电通等。

自然流畅的AI实时语音应用,一站式搞定

搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的高效采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,火山引擎对话式AI实时交互解决方案,提供优秀的智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。

  • 豆包·语音识别模型:更高的准确率及灵敏度,更低的语音识别延迟,支持多语种的正确识别。
  • 豆包·语音合成模型:解锁「豆包」同款音色,提供自然生动的语音合成能力,善于表达多种情绪,演绎多种场景。
  • 火山方舟:提供模型精调、推理、评测等全方位功能与服务,提供丰富的插件生态和AI原生应用开发服务,全方位保障企业级AI应用落地。
豆包版《Her》升级上新!随时打断,交流自然,还是开箱即用的那种

△对话式AI实时交互服务方案架构

开箱即用快速搭建,只需调用标准的OpenAPI接口即可配置所需的语音识别(ASR)、大语言模型(LLM)、语音合成(TTS)类型和参数。而火山引擎AIGC RTC-Server负责边缘用户接入、云端资源调度、文本与语音转换处理以及数据订阅传输等环节。整体简化开发流程,让企业应用更专注在对大模型核心能力的训练及调试,加速AI实时语音场景创新。

随时打断,交流自然

要让与AI的交流像和朋友一样自然,随时打断甚至直接插话,关键在于:当用户和AI同时说话时,如何解决互相干扰的音频“双讲”现象。

火山引擎RTC基于成熟的音频3A处理技术,针对“双讲”通过传统回声消除算法和深度学习算法的结合,不仅有效去除回声,还能避免用户语音被过度处理,确保云端语音识别(ASR)能准确捕捉和识别用户的语音信息。

此外,火山引擎RTC通过简化算法提高处理速度,避免因算法复杂性带来的额外延时。

实时秒回,全球畅聊

火山引擎RTC依托于WebRTC传输网络(WTN),优选全球海量优质节点,实现全球用户智能接入和音视频数据超低延时传输,在复杂的网络环境下具有强大的抗弱网能力,即使在高达80%的数据包丢失率下,也能确保音频传输的稳定和质量。

同时,火山引擎RTC结合云端语音识别流式处理,优化链路延迟,端到端响应延时可低至1秒。此外,火山引擎实时信令RTS可提供稳定可靠、低延时、高并发的信令收发能力,可对文字信令高效传输。

不受限于AI服务部署区域,用户无论身处何地,是语音交流还是文字对话,都可以享受极低延迟、流畅的AI交互体验。

产品融合,高效架构

在方案中,客户端提供音频帧级别的语音活动性检测(VAD),可以精准检测出音频信号中何时有人正在说话,何时是静默状态。帮助整体语音系统更有效地处理语音输入,更准确地识别和理解用户的指令或话语,减少误识别。同时,避免对无意义的背景声进行处理,从而节省计算资源,提高系统的整体效率。

当前人工智能领域创新和突破正以前所未有的速度发生,几乎每周都有新的进展。AIGC交互形态和规模也在快速发展中,如从文字到语音再到视频等多模态,从1对1到多人多Agent互动。火山引擎对话式AI实时交互服务在支持实时语音基础上,也在探索拓展多模态视频对话和多人群聊等场景,帮助开发者能够快速迭代和创新,不断推出新的应用场景和玩法。

灵活、多样化的接入方案

对于追求快速部署AI实时语音功能的企业来说,火山引擎提供的一站式解决方案,让企业能够专注于打造核心功能和创新,而不必深陷底层技术的细节。此外,火山引擎也提供多样化的接入方案,以满足不同企业在开发应用时的具体需求。以下是另外两种接入方案:

  • 自集成方案:企业可以利用火山引擎RTC的音视频采集处理能力、云端媒体服务和音视频数据传输技术,结合ASR、LLM以及TTS等技术构建一个完整大模型语音处理流程,实现更自主、灵活的架构设计。
  • WebRTC传输网络(WTN)方案:对于在客户端拥有自主研发音视频技术的企业,火山引擎提供了基于WebRTC标准协议构建的传输网络(WTN)。通过接入WTN,企业能够轻松获得全球范围内的超低延迟、稳定可靠的实时音视频传输服务,提升端到端多模态大模型的响应效率。

通过这些方案,企业可以根据自己的技术栈和业务场景,选择最合适的接入方式,实现高质量的AI实时语音场景。目前,火山引擎提供的AI实时语音能力已在国内TOP级的AI虚拟人物聊天产品中应用落地,为众多用户带来全新的互动体验。

Seed-TTS及Seed-ASR技术详情:

Seed-TTS: A Family of High-Quality Versatile Speech Generation Models
论文链接:https://arxiv.org/pdf/2406.02430
Demo展示:https://bytedancespeech.github.io/seedtts_tech_report/

Seed-ASR: Understanding Diverse Speech and Contexts with LLM-based Speech Recognition
论文链接:https://team.doubao.com/zh/publication/seed-asr-understanding-diverse-speech-and-contexts-with-llm-based-speech-recognition?view_from=research
Demo展示:https://bytedancespeech.github.io/seedasr_tech_report/

*本文系量子位获授权刊载,观点仅为作者所有。

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读