明敏 发自 凹非寺
量子位 | 公众号 QbitAI
大模型时代一来,AI框架扮演的角色愈加重要。
行业深谙此理,于是人工智能框架生态峰会2023为此召开。
参会的成员都是产学研界耳熟能详的名字:上海人工智能研究院、中国科学院自动化研究所、上海白玉兰开源开放研究院、OpenI启智社区、华为、昇思MindSpore……
他们齐聚上海的目的只有一个,共建人工智能框架生态,将中国人工智能产业推向一个新阶段。
具体的动作有:
- 联合启动上海昇思AI框架&大模型创新中心,已入驻20+单位
- 发布“共建人工智能框架生态,繁荣中国人工智能产业”联合倡议
- 成立昇思MindSpore开源社区理事会
总之,是要以AI框架生态为中心,让产业“朋友圈”更牢固。
为什么以AI框架生态为核心?
想要回答这一问题,要从AI框架的定位和重要性说起。
一直以来,AI框架被视为AI发展中基建一般的存在。
纵向角度,AI框架在AI全栈体系中处于承上启下的位置,承担着AI技术生态中操作系统的角色,对于AI软件生态构建非常关键。
横向角度,AI框架是AI学术创新与产业商业化的重要基础软件,对人工智能从理论走向实践、快速进入场景化应用时代,有着非常重要的意义。
对于开发者而言,它能提升开发能效、简化开发流程,同时还提供丰富的功能和工具,加速AI应用创新和推广。
随着大模型趋势席卷而来,AI领域内的开发创新工作更加如火如荼,那么AI框架作为核心开发工具,就显得尤为重要。
它的底层能力、功能丰富度、生态完善度,都会影响开发效率,进而影响新技术和应用创新的速度。
在这几方面中,生态构建又显得格外重要。因为它将直接影响框架的能力、功能、以及产业化应用等。
而AI框架生态的发展,离不开政产学研用各界伙伴的大力支持。
一方面需要高校、科研机构合作,探索人工智能行业前沿方向,丰富算子和模型,培养AI人才的同时持续丰富技术生态。
另一方面也需要与商业伙伴合作,将人工智能技术广泛应用到千行百业,推进全球智能化的发展。
由此也就不难理解,为什么要召开人工智能框架生态峰会,并且围绕中国AI框架领军代表昇思MindSpore,开展一系列生态共建。
如成立昇思MindSpore开源社区理事会(下文简称昇思社区理事会),目标就是面向产业、商业、生态等各方向吸纳对社区有贡献、有潜力的企业,通过理事会加强核心伙伴粘性,助力伙伴商业生态成功。
启动上海昇思AI框架&大模型创新中心,则是抓住大模型趋势,快速拉起一个产业“朋友圈”,共同推动国内大模型趋势创新不断涌现。
当然,行业内会如此重视AI框架生态,除了其身位特殊之外,更直接的原因或许还是因为,多年来AI框架生态的建设已经为产业发展带来了切实好处。
昇思MindSpore正是代表之一。
昇思MindSpore为构建生态做了哪些事?
昇思MindSpore是华为在2020年开源的全场景AI框架。
昇思MindSpore在技术层面,基于当下产业的需求和挑战,提出了自动并行、动静态图结合、二阶优化、全场景部署、全栈协同加速几大关键特性。
比如自动并行可以降低切分数据、切分模型等技术问题门槛,提升开发能力和效率;全场景协同支持智能匹配端边云多样设备;面向系统软硬件co-design能让昇思MindSpore做到整图完整卸载,达到与通用GPU硬件对比的程度……
由此,昇思MindSpore即便没有老牌AI框架的先发优势,但在解决超大规模模型训练、AI for Science等产业实际问题上,已经占据领先身位。
具体技术架构上,昇思MindSpore共分为四层,分别是:
- 模型层:提供开箱即用的功能,主要包含预置的模型和开发套件,以及图神经网络、深度概率编程、科学计算库等拓展库;
- 表达层(MindExpression):提供模型开发、训练、推理的API接口,支持用原生Python语法开发和调试神经网络,特有的动静态图统一能力可以兼顾开发效率和执行性能两方面需求,同时在生产和部署阶段提供全场景统一的C++/Python接口;
- 编译优化(MindCompiler):这部分是AI框架的核心,以全场景统一中间表达(MindIR)为媒介,将前端表达编译成执行效率更高的底层语言,同时进行全局性能优化,包括自动微分、代数化简等硬件无关优化,以及图算融合、算子生成等硬件相关优化;
- 运行时,按照上层编译优化的结果对接并调用底层硬件算子,同时通过“端-边-云”统一的运行时架构,支持包括联邦学习在内的“端-边-云”AI协同。
如今,基于昇思MindSpore的技术成果也相继涌现。
比如今天刚刚正式对外发布的紫东.太初2.0。
它由中科院自动化所牵头,基于AI框架昇思MindSpore打造。
作为业界领先的全模态大模型,紫东.太初2.0可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习。其3.8B模型已经在昇思MindSpore社区开源。
此外还有武汉.LuoJia、鹏程.神农等产学研界成果,都是以昇思MindSpore为底座。据悉,共有400+模型、900+顶会论文基于昇思MindSpore技术生态实现。
由此可以看到,昇思MindSpore作为AI框架,不仅链接南北向生态,同时也已构建出一个贯穿产学研的生态圈。
通过不断完善、繁荣自身生态圈,昇思MindSpore不仅成长为国内最活跃的开源社区之一,还更进一步助推产业技术创新、人才培养、应用落地。
具体可以从技术生态、开源生态和行业生态几个方面看起。
技术生态方面,除了如上提到的算法模型方面的成绩,昇思打造了大模型开源生态。
昇思大模型平台,向全球百万开发者提供了包括紫东.太初、鹏程.神农、武汉.LuoJia等大模型能力。
该平台集大模型在线推理、算法选型、创意分享、产学研专区为一体,提供免费课程资源、经典样例代码、企业落地案例、垂直行业专区和多层级挑战赛。
开源生态方面,2022年,中国信息通信研究院发布《AI框架发展白皮书》,指出昇思MindSpore作为国内优质AI框架代表,在Gitee千万个开源项目中综合排名第一,已是国内开源社区最活跃的AI框架。
目前共计有13000+名核心开发者在昇思MindSpore社区做出贡献。
昇思在海内外30个地区成立本地研究小组MindSpore Study Group(简称MSG),开展MSG企业行、MSG高校行、MSG行研会等线上线下活动。
同时,昇思还加入Hugging Face社区,赋能全球开发者;每半年举办一次MindCon极客周,目前已引导3万+开发者参与社区贡献;开展从入门到精通的全场景AI实战线上课程,与290+所高校展开昇思MindSpore教学合作,设置初、中、高级别课程,转型全新开源创新实践课程。
并且已经形成清晰明确的高效开发者成长路径图,转化核心技术贡献者。现已走进290+所高校。
最后在行业生态建设上,昇思MindSpore目前已服务5500家企业,涵盖数字政府、金融、制造、交通、能源、终端等端边云全场景行业。
总之,参考昇思MindSpore三年以来的发展可以感受到,在当下发展阶段内,一个AI框架能带来的影响早已不局限于提升开发者的效率和能力,通过构建完善的生态圈,AI框架可以作为中心枢纽将人才、技术、资源、应用场景等紧密联结,加速行业内整体的开发效率和能力,以此推动产业向前发展。
AI框架生态该怎么做?
那么,昇思MindSpore的发展,同样也为AI开源框架生态构建提供一定思考。
简单总结有这样2点:
- 产业导向
- 开源开放
首先是AI框架的自身定位上,昇思遵循了产业导向原则。
在TensorFlow、PyTorch凭借先发优势占据市场主导位置的情况下,新兴的AI框架想要在全球市场中占据一席之地,差异化竞争是关键。
脱胎于产业界的昇思,自然从产业界入手,在工业化能力上形成差异化,尽可能满足产业内对开发门槛、运行效率、部署灵活的要求。
同时深入行业洞察趋势,在一些热门领域内形成竞争优势。比如在大模型训练上,昇思已经支持了业界最多的并行模式。
第二,开源开放。
昇思MindSpore开源后,提出“立足中国、放眼世界”的目标,基于开放、融合、共享的理念,持续推动构建“南向多芯和北向应用生态”。
“南向”为AI芯片算力提供标准化技术生态接口和开发工具,构建自主开源AI框架生态和人工智能算力多芯生态;
“北向”为开发者和算法厂商开展技术联创,围绕场景创新重大需求开展联合攻关。
以昇思社区理事会为抓手,在大模型、科学智能等前沿技术领域持续推动创新,构筑面向未来的核心竞争力,提取共性能力,沉淀框架和数据资产。昇思积极支持与南向芯片厂商的适配,目前已经与20+芯片厂商开展适配工作。
此外,他们也是国内第一个采用开放治理架构的AI框架开源社区。
在昇思MindSpore社区,有来自全球18名技术专家组成的技术委员会,他们通过公开的讨论,公开的会议,把控整个社区的技术发展方向。
在技术委员会的指导之下,设立了特殊兴趣小组(Special Interest Group),来负责各个模块的开发;如果需要跨模块协作,则成立对应的工作组。
昇思还基于自身生态内的力量,尽可能协同上下游、联动产学研力量,快速推动社区规模发展。
据公开数据,昇思MindSpore首年下载量就突破了10万,第二年时这一数字已经提升到了102万,现在总下载量已经超过474万。
结合当下趋势来看,ChatGPT引爆大模型趋势后,未来一段时间内行业内将保持高速发展,谁跑得更快、谁就更有优势。
而这种竞速并不只是单纯地拼人才、拼资源,更大程度上还是拼基础设施和生态。
AI框架始终被视为AI领域的根技术,是模型的“土壤”。
如何让这个“土壤”更加肥沃?开源、开放、共建。
《经济日报》发文中也强调了算法开源生态的重要性:要抢占人工智能大模型产业发展制高点,必须加强战略规划和深度治理,推进新型算力生态基础设施建设,打造稳定可靠的算法开源生态。
这也是为什么人工智能框架生态峰会2023要在此时此刻召开,核心目的就是为了吸引、呼吁更多人,一同共建中国AI框架生态。
而在新一轮技术周期的影响和带动下,中国AI框架生态会怎样发展,也值得我们期待。