揭秘腾讯混元大模型：400+场景落地，协作SaaS产品全面接入

梦晨 2024-04-25 17:53:09 来源：量子位

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

进入2024，大模型的风向变了。

当初“百模大战”时，只要简单粗暴拿个Demo搞MaaS（模型即服务），也就是让用户直接和大模型交互就足以上牌桌。

但现在，精耕细作搞应用，无论是原生AI应用，还是在已有产品上整合AI功能，成了最新潮流趋势。

就连一向低调神秘的腾讯混元大模型团队，也对外公布了应用落地进展：

腾讯混元大模型已经支持内部超过400个业务和场景接入，并通过腾讯云，面向企业和个人开发者全面开放。

这里面有很多为人熟知的“国民级”App，如企业微信、腾讯文档、腾讯会议，都已经被AI全副武装。

还有更多腾讯云SaaS产品，如企业知识学习平台腾讯乐享、电子合同管理工具腾讯电子签等，也都有了AI加持。

腾讯混元大模型去年9月才首次亮相，是否有意在加速赶进度？

面对这个问题，腾讯混元大模型应用负责人张锋的回答就有点“凡尔赛”了：

我们只是按照正常的节奏，而且不光是接入大模型这么简单，已经进入打磨用户体验阶段。

在国内大模型厂商中，腾讯为何走出这样一条独特的路线？我们与张锋深入聊了聊。

腾讯AI产品，已经在打磨用户体验了

腾讯这么多年来一直以产品见长，AI时代也延续了这种风格。

就拿大模型的门面腾讯混元助手来说，“已经在打磨用户体验了”还真不是一句空话。

比如让它做一道简单的数学题，就可以发现AI在分析思路时非常流畅，还判断出题目中缺少条件，但最后给出结果前却稍有停顿。

这并不符合大模型预测下一个token的运作原理，反倒像是真的在计算。

张锋揭秘，背后其实是AI先写了一段代码，在后端执行再返回结果。

不得不说，这是一种解决大模型计算不准确问题的巧妙思路。但为什么不像GPT-4代码解释器版一样，把代码在前台显示出来？

腾讯混元助手一个重要场景是在微信小程序里使用，移动端展示代码就会显得特别长。张锋认为，现在的策略更符合用户体验习惯。

产品策略有了，但实现起来并不是一件简单的事。首先需要大模型明白当前用户需求需要精准计算，接着要生成合适的代码，最后还要成功通过函数调用来执行代码。

像这样从细节出发，打磨用户体验的例子还有很多。

比如大家很熟悉的腾讯会议，比起简单的AI语音转写和会议纪要总结，也做了不少差异化功能。

人的口头表达免不了停顿磕绊，腾讯会议AI在转写时把“嗯嗯啊啊”这样的部分智能规整，让会后文字记录看起来更整洁。

腾讯会议正在思考的另一个问题是，AI 生成的会议总结格式应该根据会议类型做出适当调整。

有明确主题和议程的会议，与大家畅所欲言的头脑风暴会议，需要的总结的格式就截然不同。因此，除了按时间分章节生成会议纪要外，腾讯会议也将推出按发言人/主题生成会议纪要的功能。

腾讯乐享，作为企业知识协作平台，在AI问答功能中就做到了识别提问者身份，做到回答千人千面。

如果是企业HR问AI有关薪酬结构的问题，就可以得到正面回答，其他岗位问同样的问题AI会拒绝提供。做到在便利的同时还非常安全。

湖南的律师事务所旷真接入了乐享助手去做AI知识库， 员工调研显示，对典型问题的AI回答满意度高达93分，端到端问题准确率达91%。

腾讯电子签，利用AI智能文件审查系统，识别合同风险条款，便于企业把控合同风险。企业对合同的风险控制需求各不相同。腾讯电子签还利用大模型和few-shot技术训练适合客户行业的垂类小模型，实现低成本运行。同时，通过混合云的模式，支持数据、模型的私有化部署，解决效率问题的同时保证合规。

总计400+的应用场景中，像这样的例子还比比皆是，这里不再赘述。

值得探讨的下一个问题是，腾讯如何做到在短时间内把AI产品打磨成熟的。

应用落地完整流程已跑通

在腾讯，大模型研发和业务应用是“双向奔赴”的。

根据张锋介绍，腾讯混元大模型研发过程中迭代速度很快，基本一个月就有四到五个版本。

这种速度就来自于和业务应用团队的高效合作，业务团队提出需求并贡献微调数据，研发团队就能有针对性的加强大模型的能力。上线测试过程中不断发现Bad case，也能迅速为大模型补齐短板。

在这种研发时就考虑到实际应用需求的模式下，腾讯混元大模型定位成了“实用级通用大模型”。

在国内大模型中，腾讯混元率先完成MoE（Mix of Experts，专家混合）架构升级，也就是从单个稠密模型升级到多个专家组成的稀疏模型。

MoE架构在激活参数不变情况下，总参数量加大，可以吞吐更多的token，同时，得益于较小的实际激活量，可显著降低训推成本。

这种路线的快速转型，也得益于与早期就了解了业务应用一方需求。

在与业务应用相互打磨的过程中，腾讯混元着重提升了通用模型的三个能力：

指令跟随能力，提出各种各样复杂的结构化长指令，腾讯混元都能按要求执行。

网页及文档理解能力，满足用户经常需要AI来总结长文本内容、减轻认知负的需求。

函数调用能力，也是腾讯混元团队判断大模型下一阶段的趋势之一。

通用大模型只是一个开始。

张锋介绍，在实际应用中，除了MoE主模型，如果调用量很大，从性价比的角度，各业务可以考虑使用不同尺寸的小模型，或者采用根据业务数据微调后的垂直小模型。

微调（Fine-Tuning）是学术界通用叫法，在腾讯内部更愿意用“精调”。

从数据管理到自研AngelPTM训练框架、AngelHCF推理框架，再到模型评测、部署都有一股精耕细作的劲儿。

那么，面对如今 400+场景，以及未来更多业务都要上大模型的情况，研发团队显然无法分出精力逐个精调，如何解决这个问题呢？

答案是通过混元一站式平台，许多需求业务团队自己就能轻松搞定。

混元一站式平台不仅支持通过API接口直接调用混元大模型服务，还把大模型从训练到部署的很多流程都做到可视化，不用写代码只需鼠标点点就能快速完成。

有了混元一站式平台很多AI工程师都不怎么去折腾代码了，而不精通机器学习的业务工程师也能轻松上手操作。

接下来根据一个完整的模型精调到上线的过程，来了解混元一站式平台的能力。

首先是模型方面，平台提供了各种尺寸的基座模型矩阵。又分为通用模型、针对典型场景的优化模型、针对更垂直领域任务的子模型三个层次。

通用模型前面已经介绍过，场景优化模型可以举两个例子：开发Agent类应用，就可以用到强化了函数调用能力的模型来做；在知识密度高的场景，则可以选择优化摘要能力的模型。

如果不光有垂直的应用场景，还有垂直的数据集，混元一站式平台上就可以完成针对私有数据集的二次训练，让垂直子模型不仅有很好的通用理解能力，也很擅长专业领域的知识也很擅长。

接下来便要说到靠混元一站式平台的数据处理能力。

对于来自不同来源、质量参差的数据，从数据清洗流程如质检、去重，到统计调配不同主题数据的比例，再到更困难的数据价值观对齐，去除其中包含的偏见，都能靠自动化手段高效完成。

即使模型上线之后，再发现由于某类数据缺失造成模型某方面能力不强，也能迅速把补充数据投入到持续训练，支持模型的快速迭代。

有了基座模型和数据，就能通过精调来按需求打造专属模型。无论是速度快成本低的Lora精调，还是全参数深度精调都能在混元一站式平台完成。

精调后模型的评测、部署上线也都做到了自动化，特别是部署可以做到一键发布，是混元一站式平台的核心技术之一。

总结来看，相较于传统的机器学习平台，混元一站式平台的最大特点在于：提供预训练好的基座模型、自动化优化数据处理流程，以及精简高效的模型精调和应用集成工作流。该平台通过自动化和智能工具应对海量训练数据、模型定制和部署等挑战，极大地降低了业务接入大模型的门槛，实现了速度快、效果好、接入方式多样的目标。

一言以蔽之：已跑通从模型研发到应用落地的完整流程。

内部流程彻底跑通、并经过400+场景验证，外部开发者和企业可以通过腾讯云上API直接调用腾讯混元能力，接下来就要在助力合作伙伴业务智能化升级上发力了。

One More Thing

在这次交流的最后，量子位把在测试腾讯混元助手过程中发现的，模型仍无法很好解决的问题提交给了团队。

结束后已经是北京时间晚上6点多，比原定的结束时间推迟了近2个小时。

腾讯混元团队大部分成员都准备动身去往机场，要赶回深圳研发总部。

张锋没有与大家一同离开会议室。

简单告别后，他又一屁股坐回沙发上，一心沉醉到琢磨怎么改进Bad case的世界里了。