生成式AI终端和应用 “双向奔赴”，联发科扮演关键角色

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

从PC到手机，甚至是智能穿戴……这些端侧设备正与AI进行着一场“双向奔赴”。

一方面，端侧设备的性能提升，给AI提供了新的土壤；

另一方面，AI正在改变端侧设备的使用方式和体验。

除了设备对AI的原生支持之外，第三方的AI应用，特别是生成式AI应用，也开始在端侧生根发芽。

在这背后，无论是应用还是设备本身，都不可避免地涉及一个问题——算力。

而芯片又是算力的重要载体，因此在端侧AI生态中，芯片厂商扮演了不可或缺的角色，在竞争之中的表现也尤为积极。

近期，联发科举办了首届天玑开发者大会2024(MDDC 2024)，从产品、技术、市场、生态等多维度激发并引领了移动生态的积极性与活力。会上，联发科推出了全新的旗舰5G生成式AI移动芯片9300+；联合Counterpoint并携手多个生态伙伴共同发布《生成式AI手机产业白皮书》；分享了生成式AI端侧部署解决方案“天玑AI开发套件”；并启动“天玑AI先锋计划”，促进产业共创实现生态共赢。

算力，一切AI的基石

要研究AI的端侧化，首先要解答的一个问题是，有了表现遥遥领先的云端模型，还需要在端侧也部署AI？

首先，安全是其中最大的考量——无论是企业还是个人，显然都不希望自己的机密或隐私在云上到处流传。

而端侧模型则解决了这一担忧，所有数据都在本地处理，无需担心泄漏问题。

其次，考虑性能因素，虽然云端模型表现更强，服务的用户数量也更多，但如果超出并发能力，就会出现延时排队的现象。

不仅是云端自身的吞吐量，网络的稳定性也会造成影响。

而本地模型只为单一用户服务，且无需联网，这一优势特性与云端AI有着明显的产品差异。

此外，端侧设备庞大的用户体量与黏着度，以及相对完整的应用生态，也说明了端侧部署AI的可行性，而手机则成为了部署端侧生成式AI的最佳载体。

解决了AI对端侧设备的需求问题，那么站在端侧设备的角度，又为什么需要AI功能呢？

在AI时代，用户对更智能、更个性化的服务当然会有更高的期待，现有的操作方式，会随着期待的升高显得越来越“不够智能”。

以手机为例，从按键到触屏可以说是操作方式的重大革新。

而在当前以APP为主的移动应用生态下，即使用触控代替了按键，也需要先选择好并点击具体的应用，才能实现自己的意图。

如果有了端侧AI，具备多模态信息的输入与输出能力，能够直接根据用户意图调用功能，将是手机操控方式的又一次飞跃。

这样的功能，无疑有利于厂商提升旗舰机型实力，实现差异化竞争。

相互依存，各取所需，结果自然是AI和端侧设备的双向奔赴。

当然只谈需求也是不够的，之所以AI能够端侧化，算力是不可或缺的。

实际上，哪怕是云端，算力的地位同样举足轻重。

此次天玑开发者大会上全新发布的天玑9300+旗舰5G生成式AI移动芯片，就包含了先进的APU 790，提供了强劲的端侧AI算力。

当然，要讨论算力，不能只看硬件所能提供的FLOPS（每秒浮点运算次数），还要看设备上运行的应用能不能将其充分调度、充分利用。

为此，联发科不仅推出了全新的天玑生成式AI移动芯片，还提供了天玑AI开发套件，包括快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境等四大模块。

该套件将为广大开发者提供“快、全、强、易”的专业开发体验，赋能终端生成式AI应用开发全流程。

应用，AI与用户的接口

除了算力，生态协作在端侧AI领域也是绕不开的话题，其中应用开发者是不可缺少的一环。

无论芯片还是设备，无论纸面上或实验室中的性能有多强，最终被用户感知的，依旧是运行应用时的能力。

所以，应用作为整个端侧生态中最接近用户的一环，其实际效果往往比参数量或其他技术指标，对普通消费者的选择影响更为直观。

意识到这一点之后，在同行还在参数量上卷的不可开交的时候，联发科已经在布局全场景AI应用了。

在天玑开发者大会上，联发科技携手阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米多家生态伙伴共同启动“天玑AI先锋计划”，为全球开发者提供资源、技术支持和商业机会，帮助开发者在搭载天玑芯片的终端设备上打造创新的生成式AI体验，以加速推动AI应用落地。

目前，联发科已经携手阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴完成生成式AI应用落地体验，让用户在使用过程中直接感知到AI的存在。

以手机为例，在生成式AI应用中，被讨论最多的就是大模型，在天玑AI应用生态中，就有阿里云通义千问打造的端侧大模型应用。

离线状态下，利用天玑芯片的本地算力，基于通义千问模型的智能体也能像真人一样和用户对话，同时还支持根据用户需求唤起应用，比如通过对话启动地图导航。

当然除了语音，生成图片等视觉类内容，同样是生成式AI的重要能力，这样的能力在先锋应用中同样有所体现。

比如我们再熟悉不过的抖音，在搭载天玑芯片的设备上，就可以通过抖音运行先进的文生图模型SDXL-Lightning，仅需两秒就能绘制一张1024*1024的AI图片。

同时，天玑芯片中的APU单元还为抖音提供了AI实时特效功能，在直播中利用端侧算力就能流畅地实现人脸特效的添加。

尽管在热度上略低于文本和视觉信息，但声音也是不可否认的重要模态，作为一个完备的应用体系，相关产品同样不能落下。

总想当歌唱家一展歌喉，现实却是别人唱歌要钱你要命，没关系，全民K歌就把SVC模型放到了端侧，只需录制30秒的样本，模型就会用你的声音一键演唱任何歌曲，让你分分钟变身歌王。

此外还有小红书的头像生成工具InstantID、虎牙的实时直播换脸、RMKV的音乐创作……一系列效果震撼的AI应用，都被从云端搬到了端侧，搬进了联发科天玑的AI应用生态。

以上这些案例，用户在与之交互的过程中，能直接感受到AI的存在，但其实在一些“看不见的地方”，同样也有AI在为用户默默付出。

当然，手机也并非是端侧设备的全部，还有智能穿戴、智能家居、智能座舱等多种终端。

联发科此次推出的天玑AI开发套件，就实现了全场景的终端覆盖，将生成式AI带到了各式各样的端侧设备当中。

比如在汽车上，只需要一张草图，再加上简单的提示词指令，就能利用车载终端的AI能力实现绘画创作，让AI的运行载体不再局限于电脑和手机。

在芯片厂商、设备厂商和应用开发者组成的端侧AI生态当中，联发科作为芯片厂商，架起了设备和应用之间的一座桥梁，扮演着端侧AI应用落地的最大推动者。

联发科，端侧AI领先布局人

推动整个端侧AI生态的发展，是一项宏大的议题，那么为什么联发科能够担此重任？

联发科技无线通信事业部副总经理李彦辑讲述了背后的故事。

李彦辑介绍，在近十年前，也就是2015、2016年前后, 联发科就已经开始了AI芯片的研发。

当时AI在互联网上成为了一个热门话题，铺天的热度让联发科开始思考，能不能让端侧设备搭上AI的洪流。

该芯片的真正诞生则是在2018年，不过主要用途和拍照相关，而不是提供生成式AI的能力。

不过从开始思考到首款AI芯片落地这段时间当中，AI领域内有一篇重量级论文出现了——

这篇论文就是谷歌发布的Attention is all you need，也就是它宣告了Transformer的诞生。

后来的事情想必大家已经很清楚了，Transformer取代了RNN，成为了NLP新的主流技术路线，直到OpenAI发布ChatGPT，宣告了进入生成式AI的时代。

回到联发科这一边，在Transformer出现后，团队立刻注意到，生成式模型可能带来重大变革，应该着手开始探索新的算子了。

尽管当时还没有看到明确的应用，但联发科还是基于对生成式AI未来的笃信，开始了早期布局。

我们不禁要问，敢在生成式AI刚刚起步的时候就投入研究，联发科的底气是什么？

一方面，是对未来技术的判断和决心，坚信Transformer会成为AI的分水岭；

另一方面，则是多年的技术积淀，给联发科探索生成式AI算子带来的便利条件。

联发科技无线通信事业部技术规划总监李俊男这样介绍：

• Transformer一定不是突然出现的，背后一定有技术积累，联发科也是如此。
• 在之前以影像为主要应用的AI研发中，涉及到了ViT网络，其中就有很多算子，都是可以积累到生成式AI当中的。

对于技术积累，李俊男表示，持续投资技术，是科技公司必须做的事情。

当然，布局生成式AI的过程，一定不是一帆风顺的，比如解释为什么要在端侧部署AI，就成了一个棘手的问题。

不过，凭借着深厚的技术积淀和对行业的敏锐观察，最终联发科给出了充分的总结，也获得了认可。

关于天玑AI的下一步计划，李彦辑介绍，是实现端侧化运行的多模态模型，以及端侧的专家系统。

不难看到，联发科正凭借其领先的技术实力和生态布局优势，将引领端侧芯片继续向AI方向深入发展，并不断推动端侧AI生态建设的优化与升级。