这,才是普通玩家入局AIGC的正确姿势
来自云计算一哥的行业洞察
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
The future is here, it’s just not evenly distributed yet.
这是“赛博朋克之父”威廉·吉布森的一句经典名言,也是亚马逊云科技全球产品副总裁Matt Wood对时下生成式AI技术的现状总结。
对于后半句,我们可以更直白地理解为“尚未平均分布”。
为什么这么说?
时至今日,生成式AI在创意输出(如写作、编程、设计)、功能增强(如写摘要、搜索)、交互式体验(Q&A、聊天)和决策支持(各类助理)这四个领域已展现出惊人潜力。
我们看到,一大波全新应用喷涌而出,学界、产业界人士更是争先恐后开启创业潮。
然而,它带来的福利并非均匀分布,因为全面拥抱这项技术是有门槛的。
如Matt Wood所说,先进技术的使用权通常只在大型科技公司、政府和大学的“职权范围”之内。
直到现在,不少初创企业、组织或个人,以及非专业AI公司,由于要么缺基础设施、缺资源,要么缺正确的打开方法……只能先看着别人在当下的风口起飞。
怎么办?如何破局?
这也是行业巨头亚马逊云科技一直关心的问题。
在刚刚举办的亚马逊云科技中国峰会上,它终于给出了一份参考答案:针对基础模型构建、私有定制、开发效率和算力成本,一一给予解决方案。
想要在这场变革之中抓住机会、全面利用生成式AI价值的普通玩家,不容错过。
解锁生成式AI的4个必备姿势
废话不多说,我们先直奔Matt Wood博士的精彩演讲。
开门见山,Matt Wood博士表示,普通企业要想抓住这次机遇,全面解锁生成式AI的价值,需要做好四方面的准备:
一流的基础模型、安全且私有的定制化环境、低成本/低延迟的基础设施保障,以及能提速的专业开发工具。
怎么理解这四个点?它们各自对应的解决方案是什么?
首先,Matt Wood表示,要想缩小“分布不均匀”的差距,我们首要考虑的应该是那个能最大限度弥补鸿沟的方法。
那就是一个“best-in-class(最佳)”的基础模型。
所谓“工欲善其事必先利其器”,有了这样的模型,我们才能搭建能力范围内最好的AI应用。
那么如何获得最好的基础模型?
这就不得不搬出亚马逊云科技才发布不久的Amazon Bedrock平台了。
作为一个“基岩”平台,它支持来自AI21 Labs、Anthropic、Stability AI的基础模型,包括“ChatGPT最强竞品”Claude、能支持多种小语种的Jurassic-2、以及不用咱过多介绍的Stable Difussion等。
除此之外,它还包括两个亚马逊云科技独家自研的先进大语言模型Amazon Titan:
一个叫Amazon Titan text,专注于生成式NLP任务,另一个叫Amazon Titan Embeddings,用于搜索和个性化推荐等,可将文本输入翻译成包含语义的嵌入编码,从而让搜索结果更相关、更符合上下文语境。
在Amazon Bedrock平台之上,你可以获得最简单的使用这些模型的体验:
只需通过API访问,不用操心任何基础设施,就能快速将它们用于你的应用开发;
如果你想对这些基础模型进行定制改造,只需提供少量(低至20个)带标签的示例即可。
说到定制模型,就来到了咱们的第二点:安全且私有的定制环境。
所谓定制化,就是用相对来说“数量少但质量精”的数据来将预训练好的基础模型转变成一个尤其擅长某类特定任务的“垂直”模型,也就是咱平常说的微调。
在Matt Wood看来,这个过程称得上“game-change”,因为相比直接开发特定任务模型,微调/定制新模型所需数据量更少,导致计算时间也减少,从而能够更快地完成构建。
毋庸置疑,定制模型的关键是专有数据,它们基本都是客户宝贵的私有财产。
因此,要完成这一过程,一个安全且私有、保证数据不会用于平台基础模型和其他客户训练的环境就尤为重要。
Amazon Bedrock从一开始就主打安全和隐私,以及面向更专业开发者的Amazon SageMaker JumpStar平台,也引入了如上这些先进基础模型,并同样提供安全的微调环境。
接着,当环境和平台都准确就绪,就可以提速开发,思考如何快一点、再快一点地完成目标。
答案其实藏在同一处——同样利用生成式AI技术开发的代码AI助手,比如Amazon CodeWhisperer,将显著提升我们的开发速度。
它经过数十亿行代码训练,支持十余种常见编程语言和编程环境,同时:
- 具备上下文感知能力,不局限于当前文档提供代码建议;
- 内置安全扫描功能,可迅速检查代码是否存在漏洞并提供修复建议;
- 可以进行来源检查和标注,让你的每一行代码都有迹可循(尤其针对开源项目);
- 以及专门加了一个企业级控制功能,可设置公司内部的开发规范、方针等。
最最重要的是,此等“尤物”,个人开发者可以完全免费使用!
只需打开你的IDE搜索插件并安装,然后用一个邮箱完成注册即可,连亚马逊云科技账号都不需要。
据统计,亚马逊内部的开发人员使用Amazon CodeWhisperer后,开发速度直接比以往快了57%,完成项目的成功率也提高了27%。
最后,代码开发完成以后,训练和推理的成本和性能就成了我们要考虑的头等大事。
在此,亚马逊云科技已专门针对大模型(包括LLM和扩散模型)开发了训练和推理芯片:Amazon Inferentia、Amazon Trainium和Amazon Inferentia2。
它们有多强大?
单说其中的Amazon Inferentia芯片,依赖于它开发的Amazon EC2 Inf1实例,就能直接将模型每次的推理成本较普通GPU降低70%。
有了它们,普通玩家也能轻松实现算力上的高性价比了。
看完这些,我们能够发现,亚马逊在基础模型构建、私有定制、开发效率和算力成本上的解决方案,实属早有准备(都是此前就已经发布的产品),在如今“尚未平均分布”的技术现状之下,直接就能打包成成熟方案,立刻惠及每一个人。
好消息不止如此,除了以上四部分,亚马逊云科技在最基础的数据方面同样能提供全面的支持。
如Matt Wood博士所说:
数据是生成式Al的起源(Data is the genesis of generative Al)。
如何充分挖掘其中的价值?这是一个从业者都绕不开的问题。
在Matt Wood博士看来,我们需要的不仅仅是变革性的技术和基础设施,还包括一个端到端的数据战略,用三个关键词概括就是:全面、集成和治理。
对此,亚马逊云科技亦早有准备:
- Amazon Aurora和Amazon RDS,可以提供全面和完整的关系数据库服务;
- Amazon Athena和Amazon EMR等7项工具,可以包揽交互查询、大数据处理、仓储、一体化等你能想到的所有分析任务;
- Amazon Aurora和Amazon Redshift,已打通连接无缝集成,进一步实现“零ETL”的愿景,减少用户在不同服务间手动迁移或转换数据的工作;
- 最后,还有全新产品Amazon DataZone,帮你实现透明的数据跨部门共享(现在已开启预览),数据治理的“度”如何拿捏,也不必操心了。
已经有人帮你体验过了
Talk is cheap, show me the code。
在这场峰会上,亚马逊云科技大中华区产品部总经理陈晓建也带来两类实际案例,向我们展示了它是如何帮助企业解决在如今的生成式AI大背景下进行创新时,遇到的算力资源和全球化问题。
先看第一个。
由于生成式AI技术的爆发,行业整体算力需求井喷,并由此带来三大挑战:
算力资源本身的紧缺、计算资源的弹性化供给困惑(不知道什么时候需要多少计算资源)以及云上运维的门槛和复杂度还不够低。
亚马逊云科技如何解决这些问题?
首先,它们推出各类自研芯片,如可以帮CPU减负的云计算专用芯片Amazon Nitro、基于ARM架构的通用处理器芯片Amazon Graviton以及专为机器学习训练和推理开发的Amazon Inferentia和Amazon Traininum系列芯片,来帮助企业实现超高的算力性价比。
以F1赛车为例,主办方通过使用亚马逊云科技的Amazon Graviton 3E芯片进行空气动力学模拟,才得以用比以往快70%的速度来开发新一代赛车,并将赛车压力损失从50%降低到15%。
这就意味着车主在驾驶时可以更容易地进行超车,给车迷带来更精彩的赛场缠斗。
其次,亚马逊云科技通过各种丰富的计算网络存储(可按需选择或者直接帮你智能分级)以及产品组合(超600种不同计算实例)来帮助用户应对突发的算力需求,实现高度弹性化的计算资源供给。
以维塔数码云上工作室为例,它曾获得6次奥斯卡最佳特效奖,作品包括《阿凡达》《指环王》《猩球崛起》等。
由于亚马逊云科技提供的基础架构算力资源、云上制作堆栈和机器学习堆栈等一系列服务,该工作室只用了8个月就完成了高达33亿渲染线程小时的《阿凡达2》云上特效制作;反观《阿凡达1》,“当初用了整整14个月才看到了第一帧”。
最后,亚马逊云科技还通过Serverless技术来简化云上运维管理,帮助游戏公司朝夕光年专注于游戏《Marvel Snap》本身的开发,而不用担心访问量剧烈增加时的系统升级和扩容工作。
陈晓建介绍,该游戏最终启动后没有发生一个后端错误事件,在游戏行业闻所未闻。
除了算力资源,许多企业在如今的全球化大趋势下也有三大诉求:
所有业务实现云上统一管理并保证高可靠和低延迟、搭建组网的过程要既快速且高效、以及能否符合当地的法规要求,保障业务顺利出海。
对此,亚马逊云科技也一一接招应对。
以OPPO为例,他们的手机业务遍布全球,存在上百的云上VPC和本地资源需要连接,非常考验全球组网难度。
而依托亚马逊云科技的Amazon Cloud WAN服务,只需分分钟便快速搭建好了一个全球网络,它既能保持OPPO的全球业务独立运作、区域合规自治,同时又能进行统一管理。
其次,对于网络可靠性、延迟性要求非常高的资本交易市场纳斯达克,亚马逊云科技则凭借Amazon Outpost服务帮它建成了资本市场行业有史以来的第一个私有本地区域,并实现超低延迟的边缘计算功能。
最后,全球电子支付终端供应商Pax,也依靠亚马逊云科技的Amazon CloudHSM、Amazon Security Hub等一系列服务,满足了多个供应商提供的安全服务标准,保障用户支付安全,并使交付周期缩短了40%,成本降低20%,实现国际业务顺利拓展。
……
以上这些成功的合作案例,都很好地说明了亚马逊云科技在帮助企业摆脱基础架构限制、专注于创新上的成效。
坚持“给底座造底座”
事实上,对于这波生成式AI浪潮,早在4月份,亚马逊云科技就向公众表明了自己的定位:
人人都去卷大模型本身,我们要给底座造底座。
如今两位高管在亚马逊云科技中国峰会上的演讲,再一次释放了同样的信息:
为大众开发生成式AI应用做基础支持、做底座支撑。
怎么理解“底座”这个概念?
可以快速获得世界最先进基础模型能力的全托管平台Amazon Bedrock,是底座;
用于训练和运行自家模型的高性能基础设施,如Amazon Inferentia芯片支持的Amazon EC2 Inf1实例、Amazon Trainium支持的Amazon EC2 Trn1实例以及英伟达H100 Tensor Core GPU支持的Amazon EC2 P5实例,是底座;
从头构建、训练和部署自己的模型的Amazon SageMaker,是底座;
支持一键式部署和150多种流行开源模型微调的Amazon SageMaker Jumpstart,更是底座;
……
它们都是服务于我们的大模型、服务于生成式AI应用开发的基础工具,作为底座,目的就是降低使用门槛,把大模型和生成式AI技术变成一种即取即用的资源,让更多企业、组织和个人触及。
而在如今这个全面拥抱生成式AI的时代,市场确实需要有企业提供这样的服务。
据Grand View Research估计,光是到2030年,生成式AI的市场规模可能接近1100亿美元。
而如今距离这一技术大爆发才不过数月时间,市场远谈不上饱和。
在这片蓝海之中,各类公司都对生成式AI变革其产品和业务运营的潜力充满期待,无数人都想要抓住机遇占领高地,却不是人人都有资源、有方法、有足够的成本。
于是自己从头摸索显然不是明智之举,普通玩家都在渴望一个能够快速上车、不耗费太多功夫建筑底层支撑的方法。
当然,对于大部分玩家来说,成本必然越低越好。
另外,随着技术的发展,社会分工越来越明细,我们讲究高效和便捷,不需要人人都重复造轮子,只需要看谁能利用轮子跑起来、更快速地达到各自的目的地。
因此,推出这些底座服务也是顺应大趋势。
其次,亚马逊云科技有能力满足这一急迫的市场需求和趋势。
这一点不用多说,作为妥妥的科技巨头,亚马逊云科技拥有超过25年的AI经验,并有超过10万名客户使用亚马逊云科技的AI和机器学习服务助力自己的业务。
在上一部分,大家也跟着陈晓建一起见证了它在帮助各行各业的大小企业摆脱基础架构限制方面的成绩。
那么,市场有需求,亚马逊云科技有能力,如此的“双向奔赴”才能够让大众把大多数精力都放在真正的创新之上,从而加速整个人类社会的技术进步历程——
说到创新,还有一个好消息。
最近,亚马逊云科技宣布:
投资1亿美元成立生成式AI创新中心。
此举意味着它将进一步提供灵活且经济高效的生成式AI服务,帮助每个企业或组织利用AI、释放生成式AI的巨大潜力。
可以期待,随着这一重大举措的实施和深入,我们将更快、更多地看到创新想法和产品变为现实。
One More Thing
值得一提的是,在本场峰会Matt Wood博士演讲的最后,官方以鲍勃·迪伦的一首《The Times They Are A-Changin》作为了结尾。
正如歌名,时代变了,属于生成式AI的未来已至。
而在这场洪流之中,得益于亚马逊云科技这样的底座服务的存在,让每个企业、每个人都有机会去获得、利用和享受新技术带来的福利。
我们认为,没有人会在这场变革之中被主动落下,尚不均匀的分布终将得到改善、若隐若现的未来也会变得异常清晰。
- 北大开源最强aiXcoder-7B代码大模型!聚焦真实开发场景,专为企业私有部署设计2024-04-09
- 刚刚,图灵奖揭晓!史上首位数学和计算机最高奖“双料王”出现了2024-04-10
- 8.3K Stars!《多模态大语言模型综述》重大升级2024-04-10
- 谷歌最强大模型免费开放了!长音频理解功能独一份,100万上下文敞开用2024-04-10