京东大模型交卷：天生离产业更近一步

杨净 梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

做大模型的公司不少，能明确给出产业落地时间线的还是头一次见。

刚刚，在2023京东全球科技探索者大会暨京东云峰会上，京东推出了言犀大模型+言犀大模型开放计算平台，并展示了零售、健康、物流、营销、金融、客服等多个产业场景的阶段性实践成果。

一开场，就欣赏了一段由大模型驱动的数字人歌舞表演。

电商场景下，支持AIGC商品内容生成。

还有AI增长营销平台，几句话构建出营销方案、推广网站。

医疗场景下，通过多轮对话即确定用户腰疼的的原因。

除了现场演示之外，三步走的落地路线图也格外引人关注——

今年下半年在京东内部高复杂场景中反复打磨锤炼，并针对重点场景的标杆客户进行对外服务，主要目的是发现那些看起来“不起眼”，但产业应用中又非常关键的问题。

2024年上半年，就能针对严肃商业场景将大模型能力全面对外开放 。

划重点了，这里的对外开放不只是提供API，而是连产业应用一起打包，让企业开箱即用的那种。

京东不会把没做好的菜端上餐桌。

而京东之所以有底气制定这样路线，也是颇有不少干货在里面的。

产业伙伴需要什么样的大模型？

通用大模型火过半年之后，整个产业已经把目光聚焦到下个阶段——产业大模型。

随着最早提出产业大模型的京东交出答卷，关于「产业伙伴需要什么样的大模型」的问题也可以得到阶段性解答。

大模型时代到来，C端应用层出不穷，普通大众有了直观感知，对其所存在的“胡说八道”等问题，也有了切身体会。

但对于B端企业而言，由于身处行业不同以及自身业务考虑，到底「用什么？如何用？」始终没有很好的答案，大多都“还是不知道怎么用”。

当大家谈到产业大模型，第一反应是聚焦某个行业做小模型。

但何晓冬告诉量子位，这可能是一个误解，做产业模型的时候还是需要一个通用域的数据，通用域数据对行业应用也非常关键，它提供了背景常识性的知识。否则如果用户突然提出一些跟这个领域不相关的询问的时候，话题的跳跃性比较大，原来领域小模型就会很茫然。

所以，企业所需要的产业大模型也必须建立在通用能力基础上。

大模型于企业而言，大都是降本增效之用。比如可以自动化处理数据和任务、分析大量数据给出更精准的决策、扩展到新的业务领域等等。

而要实现这些用处，大模型就必须满足两个原则：可信、可用。

• 可信，意味着模型的预测结果是可靠的，可以被企业信任；
• 可用，则表示模型可以在实际业务中发挥作用，为企业创造价值。

这两点，不仅是企业用什么大模型的选择基准；也是实现大模型产业化的两个基础特性。

首先来看可信。

针对性地解决大模型可信问题，市面上仍未形成完整的解决方案。

过去几个月大模型从亮相到应用以来，始终存在的幻觉问题。而早在2020年京东基于Transformer做的K-PLUG模型实体属性抽取准确率达到了95%，已经达到了商用的水平。

这各中原因，在于京东走出了自己一条路——知识注入。

当时放在业内，属于首创。

它大幅改善了此前AI生成长文本任务中文本多样性、篇章连贯性，以及在商品卖点文案的生成中尤其需要关注的卖点独特性、属性一致性，给予商品“真实的赞美”。

最终在一系列NLP任务中，比如实体属性抽取准确率、生成式多轮对话ROUGE-L、多轮问答知识检索率，其性能明显优于其他基线模型。

之所以能这么早地发现“幻觉”问题并解决，这与他们一直以来围绕产业实践有关。

市面上一般生成式语言模型生成的内容正确率是83%、85%左右。一般toC用户用起来觉得还可以，十个里面错一个，但是商用是不可接受的。

同样的思路，也集成到了可用的实践上。

从提供大模型企业的视角下，这个问题就转变成如何让大模型创造普惠价值。任何一项技术实现普惠，意味着技术门槛和使用成本的尽可能降低。

算法的泛化+向量数据库+SaaS，这是京东给出的一套组合拳。

前两者自不必多说，一方面算法泛化能力，可以让模型处理多种任务，解决行业中复杂长尾场景。

2022年，针对模型泛化性不足，京东提出百亿级Vega模型。并于2023年在通用语言理解基础模型方面对织女大模型进行再升级，提出规模更大、性能更强、迁移性更好的Vega v2模型。

向量数据库则可以实时更新知识库，补齐大模型的长期记忆，还能降低训练成本，可以说一举多得。

而向量数据库，2019年京东就在业内率先研发了Vearch。目前服务超100家大中型企业用户。数据显示，将京东的向量数据库用于大模型预训练，相比传统方式，通过优化模型推理效率，推理成本降低80%。

目前大模型在应用上的主流思路，就是调用API。何晓冬在接受采访时表示，这对于一些传统行业客户来说，这依旧有一定的技术门槛。

而客户唯一关心的就是服务效率，只要能将产品用起来就行。

于是团队决定直接将技术解耦形成“言犀AI开发计算平台”，并在内部实践中打磨产品模块。客户甚至不需要掌握深厚的AI知识，跳过中间步骤直接引入成熟的大模型能力。

之前需要10余人的科学家团队工作，现在只需要1-2个算法人员，通过平台即可完成从数据准备、模型训练到模型部署的全流程，训练效率提升2倍，推理提效6.2倍，成本节约近90%。

从可信、可用这两个角度来看，京东给出的解决方案，在整个行业中打了个样儿。

从语言大模型走向多模态数字人交互

这种围绕产业实践发现问题、解决问题的方法，不光体现在大语言模型上，也体现在京东产业AI发展的各个阶段。

前深度学习时代，还很少有人期望AI能像今天一样独立成为一个功能甚至产品，当时的目标主要集中在降本增效、体验优化上。

2012年京东开始应用智能客服中心，着力于用技术辅助客服提升人效，优化客户体验。回首看来，其中探索的三个具体任务方向：

ASR语音识别技术、NLP语义分析技术、数据挖掘技术。

时至今日，这三类技术对大模型的训练影响颇深。

进入深度学习时代，AI开始能在更综合、复杂的场景下发挥作用。

2015年，京东智能客服正式应用了深度神经网络技术。2018年，首度升级无人客服实现人机结合。在同样“深度”的实践过程中，言犀团队逐渐认识到了这样一个问题：

客服对话属于任务导向性对话，最终是要解决真实场景的问题，与一般闲聊有本质区别。而且不同的场景，用户对于对话的要求也不一样，仅售前和售后就差别很大。

于是，早在AlphaGo掀起上一轮人工智能热潮的那段时间，何晓冬就提出“对话的本质就是推理和决策”，后来他在各种场合常用“围棋也叫手谈”来解释这个观点。

在此思想指导下，何晓冬带领团队融合声学、语义、时间等多模态特征，开发出一系列人机交互场景的“话语权决策“（Turn taking）技术路线。

最近谷歌整合旗下谷歌大脑与DeepMind团队，提出要用AlphaGo技术与Transformer结合开发下一代大模型“双子星”Gemini，也标志着这条路线的价值终于被更多人认识到。

再后来就到了现在Transformer大模型时代，京东的布局也很早。

京东在AI工程化方面，每天服务数亿活跃用户。以智能客服领域为例，每年产生数百亿的动态交互数据，一是数据规模大，每天提供1000万智能客户服务，每月200万小时通话语音，今年京东618期间累计服务超7亿次，在各种高负载考验下，京东沉淀出了最佳实践。

加上京东其他领域的人机交互，数据量级达到了数百亿。

2022年，京东以言犀2.0——人工智能应用平台的方式将内部验证过的技术解耦出来，开始对外输出。

如今的言犀AI开发计算平台，也是延续着这个思路。

何晓冬介绍，今年起，言犀大模型正在强大工程化能力基础上于京东场景内深度落地，在健康、金融、物流等京东众多优势行业可复制性的场景中率先锤炼能力，打磨出成熟可靠的技术能力。

以健康领域为例，靠着言犀大模型的多轮交互、工具调用、总结摘要、图文多模态等能力，打造了健康助手及辅助诊疗应用。

目前，健康助手及辅助诊疗已积累超3千万高质量临患对话，构建起百万级规模医学知识图谱，涵盖超千种疾病专业性服务，20种评价标准保障医疗安全。

在物流领域，在言犀大模型的支撑下，京东物流超脑实现实时交互、根因分析和智能决策，并更新迭代至具备实时自动生成全局最优的供应链解决方案的能力。

在营销领域，京东科技市场和平台运营团队打造了AI增长营销增长平台，运用大模型解决了诸如关键性任务，动态适应性、用户体验等问题，大幅优化了营销运营流程，实现方案生产效率上百倍提高；将过去涉及产品/研发/算法/设计/分析师等5类以上职能才能完成的流程，压缩至1人；同时，一个入口的全新交互模式，让人机交互次数从2000次降低至少于50次，将操作效率提升了超过40倍。

接下来是正在加速到来的通用人工智能时代，何晓冬认为一定是往多模态方向走。

当AI的通用能力达到一定程度，就可以不只停留在幕后提供技术支持，而是形成产品直接面对人类用户，甚至像未来智能体一样更深层次与人类交互。

对此，京东云在言犀大模型的基础上整合了多项多模态数字人交互能力，也在数字人客服、直播等场景实践中找到出一些心得。

比如实现了语义驱动的肢体动作编辑，通过与大模型结合让数字人说话时的动作与语义匹配，交互更加自然。

又比如数字人动态局部高清技术，利用了人类视觉感知并不均匀的特点，对脸部特别是眼睛周围格外敏感。通过重点区域提高分辨率，其他区域适当降低分辨率，从而降低部署成本。

在JDD上他们表示，言犀会进一步降低操作门槛与操作难度，让更多中小商家与个人能够用得起、用得上数字人服务。

……

如此看来，言犀大模型落地路线图中强调要有“半年打磨期“的原因就呼之欲出了：

不能只提供API告诉外界有这么个AI能力，最终目标是为合作伙伴提供直接可用、有端到端价值的产品模块。

大模型时代下的京东路线

几个月前，企业们还在纷纷抢发大模型，到世界人工智能大会摇身一变“大模型主场”，各家纷纷给出自己的行业落地解决方案。

虽然看上去琳琅满目，但若进一步了解就会发现，这些方案不可避免存在业务场景趋同、落地进展仍处于起跑阶段等问题。

这与大模型技术产业化难点有关，尤其是最后一公里的问题，往往就是能用与否的边界。这牵涉到整个系统工程难题，并非传统AI三要素就可解决。

作为最早提出聚焦产业大模型的京东，早已感知到这种转变，并将其更新为全新“三要素”内涵：

• 场景，以往静态的数据无法适应动态的交互，只有活的在行业应用中的场景数据，才得以实现。
• 产品，单点算法不足以支撑起新的大模型。最终产品形态才具有核心竞争力，并能带动体系算法的创新和突破。
• 算力，单个AI芯片进步的速度慢于大模型算力需求的井喷，算力集群成为更好的解决方案。

至此大模型时代下的京东路线，也就此明晰：

产业原生。源于产业、服务产业。

于是在这场峰会上，京东将自身底层能力解耦，从基础层、模型层、到MaaS、SaaS一揽子技术产品和解决方案都给释出亮相给产业伙伴。

甚至于，已经给出了明确的“三步走”战略：

• 第一步，基于核心产业数据，内部构建基座大模型；
• 第二步，在零售、金融、健康、物流等京东内部核心业务应用；
• 第三步，针对金融、政务、健康等京东域外重点产业场景全面开放大模型能力，向产业输出可用可控可信可负担的定制化模型。

这样一条落地路径，也是京东再次向业内重申了自己的技术追求：

成本、效率、体验、可信、普惠、突破。

早在2017年，京东提出“技术、技术、技术”口号，这三个技术代表了三个层次：

第一个层次是服务自己业务的需要；第二层次是服务产业的技术；第三层是探索未来的技术。

这三者两两耦合，形成技术与产业的闭环——基于产业的前沿创新突破，随后在内部打磨沉淀实现“可信”，最终服务产业创造普惠价值。

也正是因为基于产业的思考，自今年2月业内首宣产业大模型之后，京东没再透露更多进展，直至现在才首次将自身技术积累首次亮相。

毕竟从现在发展情况来看，大模型落地的难点并不在于技术追赶，而在于产业突破。