华为云中文预训练模型发布：全球最大、千亿参数，逼近人类神经元

金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

还是熟悉的华为开发者大会 （HDC），还是熟悉的余承东。

也还是一贯地擅长宣布“世界第一”：

业界首个千亿级生成与理解中文NLP大模型。

业界最大的CV大模型。

这就是余承东刚刚发布的大模型，名曰华为云盘古大模型。

要知道，千亿级的参数规模，可是已经逼近人类神经元的数量了！

余承东激动地介绍道，“这是今天最重磅的产品”！

（随即，现场掌声如雷）

这届华为开发者大会在熟悉之余，也有所不同：

• 不一样的身份：这一次，余承东新增了一个身份，华为云CEO。

• 不再“硬”的产品：这一次，没有手机、电脑和芯片，而是偏“软”的开发者产品。

余承东在现场也表示：

云是ICT产业的未来，开发者是产业发展的灵魂。华为将继续开放技术创新能力，携手开发者、伙伴共同加速行业全面云化和智能升级。

云化，是不可阻挡的潮流；云，是21世纪的未来。

拿下“第一”的最大AI大模型，有多强？

如其名，盘古，煞有开天辟地之势。

怎么说？

先观其貌，横揽AI领域四大热门方向：

• 自然语言处理（NLP）大模型
• 计算机视觉（CV）大模型
• 多模态大模型
• 科学计算大模型

很明显，相比于现有的大模型，盘古并不是“单项”选手，而是全能型的那种。

再闻其详，纵达业界能力之最：

• 华为云盘古NLP大模型：是业界首个千亿参数中文语言预训练模型，预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型。
• 华为云盘古CV大模型：是目前业界最大的视觉预训练模型，包含超过30亿参数。

具体而言，盘古NLP大模型在权威的中文语言理解评测基准CLUE榜单中，总成绩及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录，总成绩得分83.046。

而盘古CV大模型，则在ImageNet 1%、10%数据集上的小样本分类精度上，达到了业界最高水平。

但最重要的，华为云盘古大模型的真·奥义，还真不是拿下各种“第一”秀肌肉。

一言蔽之，实则直击痛点，毕竟天下苦AI开发久矣。

即便到了现在，AI开发的过程，较为贴切的比喻应该是“作坊模式”，换言之，就是需要手动的工作太多、太频繁。

具体而言，常常困扰AI开发者的问题包括，从零开始、独立调优、艰难迭代、推倒重来……

若是再聚焦到“千亿参数”的规模，要训练这样的模型，还需要开发者手工编写大量的并行、切分和通讯代码。

（啊~多么痛的领悟）

讲真，明明从事AI的开发，但这样真的很不AI。

此局又该如何破解？

工厂模式，了解一下。

华为云盘古大模型的开发模式，是“预训练+下游微调”，这也是与目前全球主流大模型（如Bert）所匹配的一种模式。

简单来说，这种模式的一大优点，就是拥有极强的泛化能力。

也就是说这个模型可以做到“举一反三”：

同样的一个模型，可以在多个场景中适用，而且还是非常复杂的那种。

不仅如此，数据量少、小样本，也是困扰AI开发者的一大难题。

而华为云盘古大模型，却可以做到在少量样本的情况达到高精度，在这方面超越了GPT系列。

……

“功夫”已经展露，接下来的一个问题就是：

华为云盘古大模型，是如何炼成的？

左手CANN算子，右手MindSpore框架，主要依托的便是这两大“基本功”。

CANN是华为推出的异构计算架构，2018年推出1.0版本至今，已经迭代到了3.0版本。

目前不仅使用于推理、训练场景，还能够实现“端边云协同”。这就意味着不必在不同的终端，再去开发不同的算子，大大提高了效率。

例如基于CANN，就能让ResNet-50模型的训练时间降低到28s。

MindSpore则是华为于2019年推出的全场景AI计算框架，其中的一大特色，就是具有全自动混合并行方案。

而华为云盘古大模型，基于二者之外，还融合了三种并行技术：模型并行、数据并行和流水线并行。

如此一来，开发者就只需要编写单机算法代码、添加少量并行标签，就可以实现模型训练的自动切分。

举个实战例子，用盘古训练超大模型静态图，性能直接提升了40%之多！

以为余承东站台的活动，仅仅就“重磅推出”了个盘古？

No，No，No，事情定然没有这么简单。

同级别！同分量！还有五大产品和服务：

• 华为云CCE Turbo容器集群：从计算、网络和调度三方面，让容器更加强大。这也是业界唯一支持100%容器虚拟化的集群。
• 华为云GaussDB（for openGauss）数据库：让核心数据库上云，与传统分布式数据库相比，在性能、弹性、可用性方面更强，是金融领域安全级别的那种。
• 可信智能计算服务（TICS）：在安全保障的前提下，解决数据难开放、共享流通的问题，而且无须转换就能适配业界主流的大数据应用场景。
• 华为云CloudIDE智能编程助手：可以实现“让程序自己写程序”，还能随时随地、使用任何终端在线编程。
• 多样性计算基础软件：云的创新离不开操作系统、数据库、中间件等基础软件根技术的支撑。如果说处理器是计算产业的“芯”，基础软件就是计算产业的“魂”。华为将围绕鲲鹏、昇腾构建多样性计算产业，尤其是在计算基础软件上持续投入，构建了包括操作系统、数据库、AI计算框架等全套计算基础软件栈，使能多样性算力，支撑华为云的产品和服务创新。

而从华为云此次发布的新品中不难看出，所围绕的一个核心人群，就是开发者。

这也是华为云明确做智能世界“黑土地”定位以来，为开发者增添的又一笔宝贵的资源。

正如华为云所述：

为开发者提供技术支持，并提升开发效率和质量。

这是华为给开发者所带去的，反之，站在开发者角度，一个问题便由此浮现。

开发者们能从这块“黑土地”得到些什么？

要回答这个问题，首先要知道的是在华为云的“黑土地”中，有什么？

华为云最早在2015年提出了“沃土计划”，并在2019年发布了“沃土计划2.0”，目标非常明确且简洁：

坚持“硬件开放、软件开源、使能伙伴、发展人才”，推动产业繁荣发展，，5年发展500万开发者。

2020年，华为在沃土计划2.0计划上，总投入已经达到了2亿美元 （约13亿人民币）的规模。

长久以来所坚持，也让华为云的这片“黑土地”养分更足。

就在4天前（4月21日），在国际知名研究机构Gartner的报告中，便对当前的云市场做了最新解读：

云计算IaaS市场保持高速增长，全球市场规模达到643.9亿美元。

而针对华为云这一块，Gartner也给出了肯定的评价：

2020年，华为云全球IaaS市场排名上升至中国前二、全球前五，主流厂商增速最快，成为全球五朵云之一。

再具体一些的数据显示，华为云所保持的增速高达168%，而且已经连续四个季度位居中国公有云服务市场第二。

在现场，余承东介绍完如此成绩，激动地感谢道：

感谢有你，一路向前！

这些是华为云在市场的表现，那么回到开发者，目前又吸引了多少人呢？

超过240万。

其中，华为云开发者累计已达180万；鲲鹏和昇腾开发者累计超过60万。

而能够吸引如此庞大开发人群，原因还是在于华为云黑土地给他们提供的价值：

坚持云优先，优先选择用云方式为客户提供IT基础平台服务，具体来说就是云解决方案优先、云服务商业模式优先、云伙伴优先。

持续聚焦系统和架构创新，强化软件，让黑土地更肥沃。

全力支持开发者基于“黑土地”构建面向千行百业的应用。

而华为开发者大会也正是“黑土地”的具体展现形式之一：

在这场面向开发者的技术盛宴中，开发者不仅可以体验和分享最新的ICT技术在行业的深度创新和应用，还能与业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者直接交流，切磋技术。

深度参与openEuler、openGauss、MindSpore、KubeEdge、Volcano等热门开源项目；与Linux、Apache、CNCF、Rust等社区大牛探讨最新开源技术，了解异构计算、光计算、超现实与全息等前沿理论和未来技术。

值得一提的是，今年这届的华为开发者大会有一个非常鲜明的特色：第一次与全国各大高校联办。

不仅一改以往办会地址，将主会场放到了深圳大学城之中与此同时，还设置了超过20所中国985/211高校分会场。

这也不难从侧面反映出华为云对开发者（尤其高校）的重视。

而且从此次大会的议程设置方面，也能体现这一点：

1场Keynote、10场峰会、70+场扫地僧见面会、100+场专题演讲、40+场开发者训练营……

完完全全就是围绕“开发者”而展开。

毕竟，华为云认为“每一个开发者都了不起”：

在数字时代，开发者就是时代的弄潮儿，是改变世界的力量，更是企业创新的动力和产业的灵魂。

如何评价？

软，着实够软。

这或许是此次HDC最直观的感受之一。

华为云要做的是一块“智能世界的黑土地”，而众所周知，对于一块土地来说，越肥沃就会越软。

这也与华为云所要聚焦的点不谋而合：

聚焦系统创新、架构创新，强化软件。

然而细数过往经历，这不是华为第一次体现出“软”的一面。

早在去年的华为HAI大会上，作为与华为云能力密不可分的昇腾，便脱去了硬件实力的光环。

软件平台全面铺开，站上了C位。

当时，华为表示：

极致性能，让AI计算触手可及，极简易用，让AI计算无处不在。而这个过程中软件是必需品，也是发挥硬件性能的核心。

而更早的，在2018年10月的全联接大会上，华为在发布AI战略时便推出了异构计算架构CANN 1.0和一站式AI集成开发套件MindStudio，为现今的软件生态发展奠定了重要的基础。

今天华为云发布的六大产品，可谓是给这片黑土地注入了更加肥沃的“软实力”。

除了“软”的感官之外，这届华为开发者大会让人印象深刻的第二点，便是华为对云的重视。

一方面体现在了“云优先”的战略，以及在会中强调的华为云市场表现。

另一方面，华为云的组织架构有重大调整。

重视程度，可见一斑。

但如此布局背后的原因，细分析下来可以大致分为三点。

首先，从趋势角度来看，云是ICT产业的未来。

据Gartner预测，到2025年，企业传统数据中心将关闭90%；而与此相对的另一个预测则表示，届时全球企业云技术使用率将达100%。

如此可见，全面云化已经是一种未来趋势。

其次，数字化和智能化，需要云原生的能力。

据预测，到2023年，云原生应用占比将达80%。以华为为例，基于云原生的能力，研发系统部署和资源使用率提升10倍以上。生产系统部署从过去2小时缩短到10分钟，一次变更成功率提升10%。

最后，AI已经成为生产力，企业AI的开发也需要“工场模式”。

依旧是以华为为例，将AI引入到工程交付的各个环节后，一年节约成本超过60亿元！

……

这也就非常好的解释了，华为在云、软件生态和开发者上大力付诸行动的缘由。

最后的最后，基于此的下一步，又该怎么走？

对此，华为在此次开发者大会中也有所透露：

华为沃土计划2.0在2021年将围绕鲲鹏展翅、沃土云创、昇腾万里子计划持续投入，累计将投入2.2亿美金。

发布“沃土云创计划”：2021年将投入1亿美金资金扶持，聚焦6大技术领域（容器/微服务、SaaS化、大数据、AI、视频、智能边缘），与ISV和SaaS开发者伙伴，构建1000+创新应用。

整体来看，从过去，到现在，再未来，华为云所重视的，也正应了这届开发者大会主题：

每一个开发者都了不起。

更如余承东最后的总结：

最强的智，是众智；最大的力，是合力；每一个开发者，都在创造一往无前的奔腾时代。

世界有你，了不起