中关村科金张杰：领域大模型给了科技公司在大模型市场上弯道超车的机会

量子位的朋友们 2023-07-07 22:27:32 来源：量子位

基于得助对话引擎中关村科金打造了三大产品矩阵，包括数字化洞察与营销、数字化服务与运营、数“智”底座，升级推出全新的云呼叫中心、全媒体智能客服、智能外呼机器人、智能质检、智能陪练、智能音视频等一系列产品和服务，覆盖了用户服务的全生命周期，包括售前、售中、售后等环节，被广泛应用于金融、政务、零售、大健康、制造等行业。

“通过新一代的得助对话引擎，我们正在从传统的对话引擎迈向大模型的对话引擎，用一套对话引擎支持多种业务系统，业务系统会基于行业线进行拆分，在不同的行业线还推出了私有化和SaaS化的版本。”中关村科金技术副总裁张杰介绍，通过一套技术体系对产品进行能力赋能具有很多优势，以前产品矩阵的底层有几百个定制化模型，运维起来非常麻烦，现在可以统一用一套大模型就搞定了。

为何执着于打造领域大模型？

自 2018 年开始，预训练模型逐渐兴起，起初用的比较多的是判别式模型，例如 BERT 模型。近几年，预训练模型几乎是以爆发式的速度增长，参数规模逐年上涨。尤其是去年 11 月底，ChatGPT 火爆出圈成为革命式的事件，基于 GPT 出色的生成效果，很多传统的 NLP 任务都规划到了生成模型中。

其实早在ChatGPT出现之前，中关村科金就已经认识到大模型是个大趋势，决定把公司已有产品的底层核心引擎全部转移到大模型上，这一路线与很多All in AI的公司是一样的，但不一样的是中关村科金聚焦的是领域大模型，而非通用大模型。

目前，虽然AI大模型在文学、医学、数学、计算机科学等领域表现了出前所未有的理解与创造能力，但现阶段大模型面临的挑战是巨大的。

首先，训练大大模型对算法和算力都有着极高的需求。据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》，训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day，成本约为460万美元，以此现状来看，目前市场上的大多数企业是无法承受如此高昂的算力及成本消耗的。

其次，除了算法和算力外，数据对于训练大模型也至关重要。而现在获取与管理数据的成本也在持续增加。还是以GPT为例，OpenAI公司在数据标注上已投入数千万美金，据悉，标注一个强化学习数据成本高达50美元。

第三，大模型所涉及的伦理、道德、安全等问题也在受到越来越多的关注。

张杰认为，从长远来看，通用大模型确实能给行业带来巨大的价值，但从目前来看，通用大模型在处理专业问题方面还不是很聪明，不能满足企业对专业性、合规性、规模化的需求。相反领域大模型不仅不需要依赖特别大的算力和参数，还能切实解决领域内某几类细分场景的问题。比如财富管理领域的大模型只需要50 亿参数规模就能很好地用于营销、客服等场景，那就没必要做成1000亿参数 ，避免用大炮打蚊子，节省算力消耗的资源。

与通用语言模型相比，领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。

在进行领域模型探索的同时，中关村科金也没有忽略应用层。2022 年，在中关村科金 AI 平台能力中心的主导下，公司的智能外呼、智能客服、智能质检、智能陪练等产品通过自研的对话引擎全面拥抱大模型，充分挖掘企业各类对话场景数据价值，帮助企业实现更加智能的沟通、成本更低的运营维护。

大模型高不可攀，领域模型却能弯道超车

自ChatGPT崛起后，人工智能才真正地走在了聚光灯下。

当前，仅国内号称投入大模型的厂商就多达30多家。按照参数量和应用领域的不同，大模型市场正迅速分化为通用大模型与领域大模型两种路径。虽然通用大模型在许多领域都有着卓越性能表现，但在专业和更加细分的垂直领域，通用大模型所表现出的能力却差强人意。

与“一本正经地胡说八道”的大模型相比，企业客户显然更倾向于针对某一特定领域或任务专门定制的领域大模型。与通用大模型相比，领域大模型对算力和算法的要求没有那么高，而对于数据的要求较为苛刻。

据张杰介绍，To B场景下，训练一个领域模型更要有一些高质量的、小规模的数据，但数据标注成本比较高，不是每家AI公司都有能力自建团队去做，这是中关村科金能做大模型应用的一个门槛和优势。

中关村科金新一代得助对话引擎的核心能力是：领域CoT + 领域大模型 + 领域知识库 + 领域能力套件。通过将领域的know-how转化为领域CoT，使大模型具有更复杂的业务问题解决能力；通过外挂知识库的形式，把事实性知识的流程性知识都放在领域知识中台内，大模型用来做抽取、调度和生成，然后下游业务系统通过API获取结果，以保证业务知识的实时性、可靠性；通过领域能力套件，打通大模型和企业已有系统的融合，建立模型和企业已有业务系统的无缝链接，将大模型的能力充分释放到各个业务系统中。

把某一特定领域高质量的领域常识数据灌到大模型里训练，就可以让模型具备更多的领域知识，学到领域的语言特色，对领域数据的理解能力和生成能力也会提升。得助对话引擎主要特点是以大模型为中心，传统对话引擎相关的意图识别、对话状态跟踪和话术生成等任务全部由大模型进行判别和自主执行。

除了将通用大模型这个“文科生”变成领域专家外，保证整个对话过程的可用、可信、无害和可靠，中关村科金还自主研发了领域prompt工程组件，可以有效将对话能力约束到领域边界内，使大模型可以在业务规范下，安全、可靠地完成对话任务。据张杰介绍，在新一代得助对话引擎的设计中，充分考虑到实际业务情况，轻量化部署本地化大模型是未来企业的强烈需求，中关村科金研发了本地化大模型的快速优化套件，主要包括领域知识的注入能力、领域prompt生成能力、领域指令自主生成能力、领域指令微调能力和领域规范行为对齐能力，可以帮助企业快速构建适合于自身业务场景的大模型，降低大模型在企业的落地门槛。

值得一提的是，通过“学、教、用”三步走路径，得助对话引擎可以帮助企业构建“超级员工”，助力企业提升服务价值。

第一步：学，大模型在领域数据上的无监督学习，这一步的重点是让大模型从散落在各处的数据源中萃取出领域事实性知识，如各种培训材料、行业通用知识等，让大模型能够理解领域知识，成为一个具备领域知识的“普通员工”。

第二步：教，从人类反馈中以小规模有监督学习的方式做微调。“普通员工”依托专业的产品设计，不断和人类专家进行闭环反馈。基于人类专家的反馈，它能够不断地获得提升，逐步成为“超级员工”。

第三步：用，在特定场景下以机器人或助手的方式应用。这一步的关键点是产品设计，如何合理的为人类员工和数字员工分配任务，实现能力互补，并且让数字员工从业绩反馈中持续学习。

张杰坦言，“使用大模型以后，已有的对话产品中定制化建模的成本降低了，而且之前技术达不到要求的对话场景现在也可以做数智化尝试，AI 落地的商业空间更大了。”

在企业的数字化转型进入深水区后，大模型之间的竞争也将进入白热化。想要训练一款性能卓越的通用大模型，无论是技术和资本上的投入都是巨大的，这对于普通的中小企业来说是无异于无底洞。在此情况下，创新型企业可以选择换条赛道，以领域大模型为切入口，与大厂形成错位竞争，根据市场定位和行业发展趋势，提供有差异化和有竞争力的定制化大模型，以此寻求弯道超车的机会，实现业务的更快增长。

领域大模型的未来趋势展望

我们看到，大模型的广泛落地带来了工作方式的革新，大模型正在重塑企业生产关系，重构商业格局。

大模型混战之际，业界也在讨论和预测大模型的终局。张杰的判断是，未来会呈现出基础大模型多家并存、领域模型百花齐放的状态。

“基础大模型，特别是多模态基础大模型，未来应该只有几家公司做，因为做基础大模型需要大量的数据、算力和人才，这些组合资源极少部分企业能够承担得起。因此，未来一定是有数据、有算力、有人才的公司，更可能去构建出基础大模型。基础大模型未来会聚焦在提升多模态能力、挖掘复杂推理能力，以及构建应用生态圈。”

基础大模型如果想用在实际业务中，还有很多方向需要适配，例如在法律、医疗、金融、政务等领域，很多工作流程逻辑复杂，且对数据敏感性、业务可解释性要求高，基础大模型在这些场景无法直接商用。

这就给未来其他企业留下了空间。如何根据实际的业务，将大模型转化成一种具有高效的计算方式的小模型，小模型再根据专业知识做注入、指令微调、思维链提升、对齐等，使其更适配某一领域的规范约束。

对此问题，中关村科金需要思考的是，如何发挥自身优势，在领域内如何积累数据，如何沉淀领域知识，如何将领域知识注入到大模型上，以此构建自己的技术护城河。

“可以畅想，未来大模型领域会是一个百花齐放的局面。个别头部企业会去做大模型，其他企业根据大模型的能力提升每个领域的中小模型，中小模型再结合领域的知识，变得更专业化，这是一个大趋势。”张杰如是展望。