生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色
启动“天玑AI先锋计划”,促进产业共创实现生态共赢
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
从PC到手机,甚至是智能穿戴……这些端侧设备正与AI进行着一场“双向奔赴”。
一方面,端侧设备的性能提升,给AI提供了新的土壤;
另一方面,AI正在改变端侧设备的使用方式和体验。
除了设备对AI的原生支持之外,第三方的AI应用,特别是生成式AI应用,也开始在端侧生根发芽。
在这背后,无论是应用还是设备本身,都不可避免地涉及一个问题——算力。
而芯片又是算力的重要载体,因此在端侧AI生态中,芯片厂商扮演了不可或缺的角色,在竞争之中的表现也尤为积极。
近期,联发科举办了首届天玑开发者大会2024(MDDC 2024),从产品、技术、市场、生态等多维度激发并引领了移动生态的积极性与活力。会上,联发科推出了全新的旗舰5G生成式AI移动芯片9300+;联合Counterpoint并携手多个生态伙伴共同发布《生成式AI手机产业白皮书》;分享了生成式AI端侧部署解决方案“天玑AI开发套件”;并启动“天玑AI先锋计划”,促进产业共创实现生态共赢。
算力,一切AI的基石
要研究AI的端侧化,首先要解答的一个问题是,有了表现遥遥领先的云端模型,还需要在端侧也部署AI?
首先,安全是其中最大的考量——无论是企业还是个人,显然都不希望自己的机密或隐私在云上到处流传。
而端侧模型则解决了这一担忧,所有数据都在本地处理,无需担心泄露问题。
其次,考虑性能因素,虽然云端模型表现更强,服务的用户数量也更多,但如果超出并发能力,就会出现延时排队的现象。
不仅是云端自身的吞吐量,网络的稳定性也会造成影响。
而本地模型只为单一用户服务,且无需联网,这一优势特性与云端AI有着明显的产品差异。
此外,端侧设备庞大的用户体量与黏着度,以及相对完整的应用生态,也说明了端侧部署AI的可行性,而手机则成为了部署端侧生成式AI的最佳载体。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/561676e3472a6d22b9c568d5dddb9638.png)
解决了AI对端侧设备的需求问题,那么站在端侧设备的角度,又为什么需要AI功能呢?
在AI时代,用户对更智能、更个性化的服务当然会有更高的期待,现有的操作方式,会随着期待的升高显得越来越“不够智能”。
以手机为例,从按键到触屏可以说是操作方式的重大革新。
而在当前以APP为主的移动应用生态下,即使用触控代替了按键,也需要先选择好并点击具体的应用,才能实现自己的意图。
如果有了端侧AI,具备多模态信息的输入与输出能力,能够直接根据用户意图调用功能,将是手机操控方式的又一次飞跃。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/fabe328ff597d80255a12059a32f6e10.png)
这样的功能,无疑有利于厂商提升旗舰机型实力,实现差异化竞争。
相互依存,各取所需,结果自然是AI和端侧设备的双向奔赴。
当然只谈需求也是不够的,之所以AI能够端侧化,算力是不可或缺的。
实际上,哪怕是云端,算力的地位同样举足轻重。
此次天玑开发者大会上全新发布的天玑9300+旗舰5G生成式AI移动芯片,就包含了先进的APU 790,提供了强劲的端侧AI算力。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/d0e7067bc297aeaa7bc0a08699c759c2.png)
当然,要讨论算力,不能只看硬件所能提供的FLOPS(每秒浮点运算次数),还要看设备上运行的应用能不能将其充分调度、充分利用。
为此,联发科不仅推出了全新的天玑生成式AI移动芯片,还提供了天玑AI开发套件,包括快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境等四大模块。
该套件将为广大开发者提供“快、全、强、易”的专业开发体验,赋能终端生成式AI应用开发全流程。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/b9d53639176ec9722e2afaf763556fae.png)
应用,AI与用户的接口
除了算力,生态协作在端侧AI领域也是绕不开的话题,其中应用开发者是不可缺少的一环。
无论芯片还是设备,无论纸面上或实验室中的性能有多强,最终被用户感知的,依旧是运行应用时的能力。
所以,应用作为整个端侧生态中最接近用户的一环,其实际效果往往比参数量或其他技术指标,对普通消费者的选择影响更为直观。
意识到这一点之后,在同行还在参数量上卷的不可开交的时候,联发科已经在布局全场景AI应用了。
在天玑开发者大会上,联发科技携手阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米多家生态伙伴共同启动“天玑AI先锋计划”,为全球开发者提供资源、技术支持和商业机会,帮助开发者在搭载天玑芯片的终端设备上打造创新的生成式AI体验,以加速推动AI应用落地。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/6d62bf92d8908b8138c004fa431057ac.png)
目前,联发科已经携手阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴完成生成式AI应用落地体验,让用户在使用过程中直接感知到AI的存在。
以手机为例,在生成式AI应用中,被讨论最多的就是大模型,在天玑AI应用生态中,就有阿里云通义千问打造的端侧大模型应用。
离线状态下,利用天玑芯片的本地算力,基于通义千问模型的智能体也能像真人一样和用户对话,同时还支持根据用户需求唤起应用,比如通过对话启动地图导航。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/a23fa2ceb56b2b656d8a92aa0ff1791f.gif)
当然除了语音,生成图片等视觉类内容,同样是生成式AI的重要能力,这样的能力在先锋应用中同样有所体现。
比如我们再熟悉不过的抖音,在搭载天玑芯片的设备上,就可以通过抖音运行先进的文生图模型SDXL-Lightning,仅需两秒就能绘制一张1024*1024的AI图片。
同时,天玑芯片中的APU单元还为抖音提供了AI实时特效功能,在直播中利用端侧算力就能流畅地实现人脸特效的添加。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/cf3c4eda5f0a71350b3b561ae563c875.gif)
尽管在热度上略低于文本和视觉信息,但声音也是不可否认的重要模态,作为一个完备的应用体系,相关产品同样不能落下。
总想当歌唱家一展歌喉,现实却是别人唱歌要钱你要命,没关系,全民K歌就把SVC模型放到了端侧,只需录制30秒的样本,模型就会用你的声音一键演唱任何歌曲,让你分分钟变身歌王。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/30f3cc4b50588b1cc277d059f9dacce8.gif)
此外还有小红书的头像生成工具InstantID、虎牙的实时直播换脸、RMKV的音乐创作……一系列效果震撼的AI应用,都被从云端搬到了端侧,搬进了联发科天玑的AI应用生态。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/bde6641a418a1f5868f22e6c4fc37144.png)
以上这些案例,用户在与之交互的过程中,能直接感受到AI的存在,但其实在一些“看不见的地方”,同样也有AI在为用户默默付出。
当然,手机也并非是端侧设备的全部,还有智能穿戴、智能家居、智能座舱等多种终端。
联发科此次推出的天玑AI开发套件,就实现了全场景的终端覆盖,将生成式AI带到了各式各样的端侧设备当中。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/8ebbc3f3d34a713e9468c712022ba2d7.png)
比如在汽车上,只需要一张草图,再加上简单的提示词指令,就能利用车载终端的AI能力实现绘画创作,让AI的运行载体不再局限于电脑和手机。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/8fd2d44c5fb5b562885f406305ade8dd.png)
在芯片厂商、设备厂商和应用开发者组成的端侧AI生态当中,联发科作为芯片厂商,架起了设备和应用之间的一座桥梁,扮演着端侧AI应用落地的最大推动者。
联发科,端侧AI领先布局人
推动整个端侧AI生态的发展,是一项宏大的议题,那么为什么联发科能够担此重任?
联发科技无线通信事业部副总经理李彦辑讲述了背后的故事。
李彦辑介绍,在近十年前,也就是2015、2016年前后, 联发科就已经开始了AI芯片的研发。
当时AI在互联网上成为了一个热门话题,铺天的热度让联发科开始思考,能不能让端侧设备搭上AI的洪流。
该芯片的真正诞生则是在2018年,不过主要用途和拍照相关,而不是提供生成式AI的能力。
不过从开始思考到首款AI芯片落地这段时间当中,AI领域内有一篇重量级论文出现了——
这篇论文就是谷歌发布的Attention is all you need,也就是它宣告了Transformer的诞生。
后来的事情想必大家已经很清楚了,Transformer取代了RNN,成为了NLP新的主流技术路线,直到OpenAI发布ChatGPT,宣告了进入生成式AI的时代。
![生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色](/wp-content/uploads/replace/879c33dced36b26559062c3029c3318f.jpeg)
回到联发科这一边,在Transformer出现后,团队立刻注意到,生成式模型可能带来重大变革,应该着手开始探索新的算子了。
尽管当时还没有看到明确的应用,但联发科还是基于对生成式AI未来的笃信,开始了早期布局。
我们不禁要问,敢在生成式AI刚刚起步的时候就投入研究,联发科的底气是什么?
一方面,是对未来技术的判断和决心,坚信Transformer会成为AI的分水岭;
另一方面,则是多年的技术积淀,给联发科探索生成式AI算子带来的便利条件。
联发科技无线通信事业部技术规划总监李俊男这样介绍:
Transformer一定不是突然出现的,背后一定有技术积累,联发科也是如此。
在之前以影像为主要应用的AI研发中,涉及到了ViT网络,其中就有很多算子,都是可以积累到生成式AI当中的。
对于技术积累,李俊男表示,持续投资技术,是科技公司必须做的事情。
当然,布局生成式AI的过程,一定不是一帆风顺的,比如解释为什么要在端侧部署AI,就成了一个棘手的问题。
不过,凭借着深厚的技术积淀和对行业的敏锐观察,最终联发科给出了充分的总结,也获得了认可。
关于天玑AI的下一步计划,李彦辑介绍,是实现端侧化运行的多模态模型,以及端侧的专家系统。
不难看到,联发科正凭借其领先的技术实力和生态布局优势,将引领端侧芯片继续向AI方向深入发展,并不断推动端侧AI生态建设的优化与升级。
- 谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题2024-09-04
- 《黑神话》动捕供应商展示新算法:华科校友创办,华为云合作,亮相数博会2024-09-03
- 又有AI创始人卖身大厂!带走25%员工留下空壳,为吴恩达第一位博士生2024-09-02
- 逼真到被打假!OpenAI投的机器人身穿衣服做家务,被怀疑人类套壳拍视频2024-09-01