云计算：ChatGPT的“中枢神经”

量子位的朋友们 2023-03-17 15:57:48 来源：量子位

2023年2月17日，由中国信息通信研究院、CNCF、华为云联合主办的创原会·云原生技术创新峰会在四川成都圆满闭幕。会上，中国信息通信研究院云计算与大数据研究所副所长栗蔚分享了《云原生助力数字原生企业崛起》主题演讲，关于ChatGPT，关于云计算、关于数字原生新实体，栗蔚带来的思考和研究如下：

“OpenAI与云计算的联姻，就像大脑找到了中枢神经，不仅仅催生出ChatGPT这样的爆款产品，更是充分释放出以云计算为中枢神经构建的数字生命体的竞争力。”

“ChatGPT是同时拥有模型算法（脑区）和云计算（中枢神经）的系统化人工智能。云计算能够感知和调度巨量的分布式应用信息单元，促进多维脑区（模型算法）的进化，使ChatGPT越来越智慧。”

“云原生技术为ChatGPT超大规模的模型提供了大规模计算的统一分布式调度系统。云原生的每个节点就像数字世界的神经元，通过承载的不同类型模型参数，彼此调度链接通信，形成人工智能的不同机能。”

……

以下，便是栗蔚在主题演讲中分享的最新研究详情。

一、云计算是数字世界的中枢神经

数字化时代，云计算本质已经发生根本改变，实现了由最初的虚拟化技术向数字世界的中枢神经演升，从以服务化资源交付向云原生化价值赋能转变。云计算正在成为数字生命体的中枢神经，成为企业数字化转型的胎生力量。

只有脑区而没有中枢神经的智能是静止的智能。传统人工智能侧重模型算法创新，却忽略了智能是一个复杂的系统化工程，就像人的智慧是建立在完善的中枢神经之上的。模型算法实现的是机器学习能力，相当于人类大脑的认知脑区（脑力功能区的简称），人类有600多个脑区，但人类整体的智能应该包括脑区部分和中枢神经，中枢神经是由脑和脊髓组成（脑和脊髓是各种反射弧的中枢部分），比起早期腔体动物和节肢动物只能处理单维信息的中枢神经不同，人类的中枢神经可以同时、分布式传递和处理所有来自眼耳鼻舌身意的超高量信息至不同的认知脑区，并相互连接他们，促进脑区不断发育。

模型算法和云计算恰好分别扮演了脑区和中枢神经的角色。OpenAI与云计算的联姻，充分释放出以云计算为中枢构建的数字生命体的竞争力，大多企业和用户在聚焦模型算法优化改良时，不可忽略云计算作为中枢神经的作用。ChatGPT是构建在云上的人工智能，就像生物的进化一样，是脑区与中枢神经系统关系在数字世界的成功演绎。

ChatGPT的两个被津津乐道的创新是系统化工程的创新，这其中云计算功不可没，一是情景学习模式以及多模态（文本、代码、图片等多维度信息）输入；二是人类反馈强化学习（RLHF）的微调训练机制和提示导引模式。这两个创新中云计算的应用部署和离混部技术发挥了重要作用。

云计算作为中枢神经，作用有三：

一是数字世界脑区（应用）调度算力的系统。云计算分布式调度超高量异构高性能计算GPU和通用计算CPU资源，支持ChatGPT模型的1750亿参数，对于异构的计算资源，云计算屏蔽了复杂的部署框架，给大规模参数一个标准化计算环境，可以高效使用异构算力，降低了大量开发的开销和运行的成本，提高了效率。

二是数字世界多维脑区（多维应用）接入、部署和连接的基础环境。云计算实现了多维模型参数的标准化部署，使得ChatGPT可以围绕某个主题同时学习多维（图像、语音、文本等）信息，大部分传统人工智能就像早期腔体动物只有一个脑区，只能学习训练单一维度参数，云计算可以将不同应用参数通过云原生容器等技术标准化部署在不同节点，并相互连接处理，通过云原生数据库等实现多维数据的统一处理，就像人类的大脑中枢神经一样连接处理不同层级和不同维度的脑区。

三是数字世界实现存储记忆（离线训练）和各个脑区反馈（在线提示引导）的机制。通过云原生离线混部技术支持ChatGPT离线训练，在线提示引导的算法实现，就像人类中枢神经会不断传递经验和现实信息给大脑进行大脑信息修正，在用户看来ChatGPT可以根据交流调整答案，非常智能。

二、ChatGPT是“数字原生”人工智能，云原生理念和技术是其胜出的重要因素之一

ChatGPT是长在云计算上的“数字原生”人工智能，就像生物进化先进化中枢神经一样，ChatGPT天生拥有中枢神经、多维脑区、开放学习能力和智慧创新的四位一体的智慧能力。云原生是中枢神经整体实现的关键技术内核，容器在其中就像上千上亿的神经元承担了不同应用计算能力和信息传递能力，算法在计算时将前端后端的神经元部署在不同的容器上，去进行每一个计算、传递和通信。

一是云原生技术为ChatGPT提供超大规模并行计算的统一调度分发服务能力，显著降低ChatGPT训练成本。GPT走大规模训练路线，GPU只负责提供底层算力，而云原生则负责实现中间的分布式。GPT有1750亿个参数，这1750亿个参数在底层进行运算和计算时，使用Ray的训练框架。

底层基于云原生K8S服务将1750亿的参数模型根据不同的维度分布成超高量级节点的调度，进行分布式的节点计算，如果没有云原生，异构算力调度存在壁垒，GPU池化受阻，支撑千亿参数模型训练的多机多卡分布式训练环境无法高效打通，网络、存储、计算、通信能力下降，ChatGPT每次训练时间将被一再拉长。

另一方面，人工智能模型计算所需要消耗的计算资源每3~4个月就要翻一倍，资金也需要通过指数级增长获得匹配，而运用云计算后过去两年半，GPT-3等模型的训练成本下降了80%以上，从首次训练开销1200万美元降至140万美元。如果没有云原生发挥极致弹性能力，时间成本和经济成本双向上升。

二是云原生技术能够实现多维应用部署。云原生容器是数字生命体的神经元，承载着模型参数类型以及调度连接的容器节点，具有标准化部署多维应用的能力，对“眼耳鼻舌身意”多维信息部署处理，加速数字大脑，也就是人工智能算法的进化，使ChatGPT更具智慧。如果没有云原生，多元异构数据难以标准化接入，单一维度应用难以标准化统一部署，模型的信息集成、处理效率、计算精度、能力输出将大打折扣，缺乏组合能力的ChatGPT的成功概率会大幅下降。

三是云原生离混部技术实现离散训练，在线微调。ChatGPT基于大量优质的数据语料训练，实现对话意图识别和内容生成能力的突破，这主要由于ChatGPT具有强大的智能算法学习和记忆调用基础，通过云原生离线混部和极致弹性调用机制，离线训练千亿级别的超大规模参数，形成了ChatGPT的存储记忆资源池，通过在线补充完成人类反馈强化学习（RLHF）的微调训练机制和提示导引模式，模拟各个脑功能区的反馈，实现多任务单词、句子、图片之间关系的小规模反馈下的自我监督学习。ChatGPT模型训练需要消耗超大规模计算资源，基于K8s的资源隔离和资源调度实现的在离线混部技术，极大的提升资源利用率，节约模型训练成本。

四是云原生+AI原生开启全新商业模式形成良性生态循环。开发侧，ChatGPT 生长在云上， 依赖于云计算服务，多年来OpenAI共收到了上百亿的投资，这些资金帮助 OpenAI 在平台上运行和训练其模型；产品侧，OpenAI 基于Cloud Native进行应用开发，基于云计算提供的便捷高性能计算运算模型和打磨算法，并对外销售产品和 API；而投资方基于 AI Native 来提升搜索、绘画等产品，未来会在Office、Teams甚至操作系统等产品中用到 OpenAI 提供的能力。

以上关于ChatGPT与云计算的关系，也得到了ChatGPT本身回答的验证。“ChatGPT，你的底层有没有用到云原生技术？”ChatGPT的答案是肯定的，“底层基于离线混布技术，离线负责预训练，在线处理微调。”“云原生发挥了什么功能”？“分布式计算。”“分布式计算的节点是什么？”“规模太大了，无法告诉你，是一个超高量级的。”

三、云计算同样是数字经济时代企业的中枢神经，希望其意义被更广泛认知

根据信通院调研，当下企业上云率总体较低，在30%左右，行业上云用云呈现阶梯状特征，金融、电信、互联网等行业到达努力实现用好云、管好云的阶段，传统的制造业、农业、医疗卫生等行业还处在努力实现上好云的阶段。大部分企业对于云计算的认识仍停留在资源集约方面，没有认识到云计算中枢神经的作用。未来，企业对云计算的认知需要超越资源层面，云计算作为企业中枢神经的意义应该被更广泛认知。

就像云计算实现了ChatGPT多维信息综合处理，异构算力资源一体化调度，作为企业中枢神经的云计算，能够打通从上游采购到下游客户的全流程业务链条，打破烟囱式流程，实现采购、生产、销售、渠道、用户消费、人财物等全业务流程再造和创新，以及各环节数据统一汇聚和处理。云计算结合人工智能、大数据等技术，帮助企业成为拥有“中枢神经”和“大脑”的完整智能体，即转型升级为“数字原生新实体”。数字原生新实体是技术和思想的跨越，是企业数字原力的觉醒。

认知之上，需要针对不同行业、规模、类型的企业分类施策，以充分发挥云计算中枢神经的作用。对于中小企业，云厂商供给即插即用云计算中枢神经能力；对于大企业，建立自己的云计算中枢神经。第三方通过建立全方位标准体系指引，和供给方共同打造高质量有针对性的云原生产品生态，中国信通院已经建立定位企业数字化转型成熟度IOMM和云原生成熟度CNMM的评估体系，未来将同业界伙伴共同推进、持续完善。

*本刊获授权转载，观点仅为作者所有

— 完 —