![]()
发哥,你怎么也“下海养虾”了?
就在今天早上,托尼我来参加了一场特别的大会,一场开发者大会。
![]()
先别紧张,不是苹果的 WWDC 开发者大会提前开了,也不是华为的 HDC 开发者大会,而是联发科的开发者大会 MDDC。
![]()
估计差友们会比较迷惑,怎么联发科也有自己的开发者大会了 —— 但其实,人家今年已经是第三年搞开发者大会了,前两年都在深圳,大会主题分别是 “ AI 予万物 ”,“AI 随心,应用无解”,听着都战未来、很有前途的内容哇。
而今年,发哥给我们掏出来的居然是 —— 联发科自己的龙虾,Sensing Claw。。。。
![]()
这几个月来有关注 AI 动态的差友们都知道,龙虾是出了名的算力开销大户,真正养虾的人要么哐哐砸钱买tokens,要么鼠标点冒烟疯狂抢购 MacBook 、MacMini 或者英伟达显卡。
![]()
联发科难不成要把龙虾养在手机上?真这么干了,手机芯片的算力真的够用吗。。。
结果我仔细听完之后才发现,发哥这不是要在手机上养龙虾,他们的目标其实是让用了天玑平台的开发者还有设备厂商,能借助天玑 SensingClaw 技术,给 AI 解锁低功耗的全时感知能力。
![]()
至于什么是低功耗的全时感知能力,联发科在大会现场也给咱讲清楚了,就是要让龙虾这样的 AI 应用能跟手机上的摄像头、麦克风这些硬件结合,让龙虾能更好地感知真实的世界,给咱干活的时候手脚能更麻利一点。
换句话说并不是把整个龙虾都放到联发科的手机芯片上,而是用端云结合的办法。
手机这边只负责处理信息采集工作。也就是利用摄像头、麦克风、还有GPS 和陀螺仪等等硬件配置,收集视觉、听觉还有方位这些多模态的信息,再转换成云端大模型能看懂的信息传上去。
图片由NANO Banana生成
![]()
真正生成式的任务都是云端能力更强的大模型在执行,包括判断任务下一步要怎么执行,执行的具体内容是什么等等。
![]()
现场联发科也举了几个在手机上养龙虾的好处,比方说购物的时候可以让龙虾自己去各个平台比价。
![]()
又比方说,在外面吃饭排队的时候,可以让龙虾帮忙听叫号,免得在王者峡谷里跑太久了错过叫号。
听起来都是很有用的功能,这还只是联发科自己的demo。
![]()
大会现场,联发科还给大家介绍了它的好兄弟OPPO、小米、传音基于联发科天玑平台整出来的龙虾,不敢想后面这帮手机厂能搞出什么样的花式应用场景。
![]()
不过,先别急着高兴,要让各家的龙虾在手机上跑起来,可没那么简单。
在前面我们列举的这些场景里,手机端的 AI 任务都不复杂,都是屏幕内容的识别、指令识别和声音的识别这些基本任务,然而就是这么点事儿,对手机硬件来说也是个不小的挑战。
其中一个很重要的问题就是功耗。
跟现在手机上那种拍一张照发给豆包的玩法不一样,联发科搞得这个持续多模态采集是耗电大户。
就拿让龙虾帮忙听叫号的这个功能来说,需要手机的麦克风一直开着,更让人头疼的是要实时处理这些麦克风收集到的声音信息,也需要芯片不停地算,非常耗电。
与此同时还要考虑用户在AI处理任务的时候会用手机干别的事情,两头的功耗一加,就更吓人了。
图片由NANO Banana生成
![]()
所以包括联发科在内的一众处理器厂商,还有米、O、V 这些终端设备厂商,一直都在探索让处理器高效处理这些 AI 任务的办法。
一个常见的方向就是把一些需要长时间跑的任务从 CPU 和 GPU 这边拎出来,扔给另外一个叫 NPU 的模块。
![]()
NPU 我们之前也给大家单独介绍过很多次啦,还不知道的差友可以回去翻翻我们之前的文章。
NPU 有多好用,不少研究团队都试过了,一句话总结就是跑 AI 性能好、还省电,这就是大伙儿想把 AI 扔到 NPU上跑的一个重要原因。
而且巧的是,联发科去年发布的天玑 9500 处理器是双NPU的架构。
![]()
芯片发布的时候龙虾还没大火,双 NPU 一开始应该也不是专门为龙虾准备的,但从结果来看,双 NPU 这样的硬件实力确实让手机养龙虾又或者别的AI应用能有更大的可能性。
不过前段时间我们一篇文章里也跟大家提到了,NPU 虽好,但实际跑起来的时候却没什么软件应用调用。。。
这也不能怪软件应用,毕竟现在手机处理器上既有 CPU 又有 GPU,光是处理这两个大哥的任务分配和调度,就够让应用开发者们头疼了。
![]()
现在又来一个 NPU,就更复杂了。
让我们没想到的是,这个问题发哥也考虑到了 —— 他们这次开发者大会发布了一个新的AI开发套件,里头就有一个天玑 eNPU 的开发工具,能帮开发者充分发挥天玑芯片中超能效 NPU 的优势。
![]()
好嘛,铲子都给准备好了,让我们不得不怀疑发哥的工程师们平时是不是也看差评,看到了我们之前的吐槽(bushi
按照发哥的说法,这个 eNPU 的工具,能让常驻轻载AI模型的功耗节省42%,感觉用来处理持续声音感知、方位感知这种任务很香的。
除了开发 eNPU 这个 NPU “ 金铲铲 ” 以外,联发科这次发的这套 AI 开发套件还有很多对开发者友好的工具。
比方说LVM 模型可视化部署,能帮助开发者从命令行开发升级至GUI 模块化,原本需要对着黑乎乎的窗口敲代码的工作就可以变成图形化操作了,连连线拖拖滑块就能完成很多复杂的调试。
![]()
虽说可视化编程其实已经喊了很多年了,但大模型部署这种细分的应用还是很有用的,毕竟这波 AI 浪潮之后不少新的开发者涌入了AI应用这条赛道,能有更好用的工具对他们来说也是好事。
类似的工具还有天玑 AI Partner,据说它可以低门槛全自动移植模型到联发科的天玑平台,发哥声称用上这个工具之后,端侧 LLM模型部署这一环能节省 90%的时间,可以说对开发者的头发相当友好啦。
![]()
另外这次的 AI 开发套件里还有一个对我们每一个人都好的工具, 就是 这个 Low Bit 压缩工具包。
这个工具,跟前段时间让内存市场大动荡的谷歌TurboQuant 有点像,它最大的用处就是降低模型压缩过程中对设备内存的占用率。
按照发哥的说法,用上 Low Bit 之后,相同质量模型的压缩率能提升 58%。
而对我们消费者来说,这个 Low Bit 就是给手机上的 AI 模型"瘦身不减脑",让本来只有旗舰机才配拥有的 AI 功能,也能在中低端手机上跑得顺畅。
![]()
总之,能感觉到发哥搞这一整套 AI 工具套件的目的,就是降低开发者门槛、省电省空间,让各种 AI 应用能真正在手机上活起来。
![]()
除了 AI 以外,联发科这场开发者大会也探讨了很多别的议题,比方说天玑智能座舱平台。
![]()
但这些就涉及到很多跟汽车相关的事情了,时间关系我就先不展开了,去年我们汽车部的同事就做过这方面的视频,感兴趣的差友可以先移步B站先复习一下,今年内容我们找个时间拉上脖子哥再给大家聊一聊。
整个开发者大会逛下来,托尼最大的感觉就是发哥还是那个浓眉大眼的发哥,真要干一件事儿就哐哐猛砸资源干。
但也能看出这种撸起袖子就是干的做法背后,发哥的焦虑 —— 联发科早年芯片性能一直不太过关,以至于很长一段时间品牌的口碑都不是很好。
这几年虽然芯片产品有了惊人的长进,甚至一度干翻高通,但在高端市场仍然缺乏一定的号召力。
而做生态,不管是AI生态还是游戏生态,最需要的就是号召力,一个最简单的道理:东西再好也得让人愿意用。
所以我们能看到这几年联发科搞的这个开发者大会,端上来的这些东西都在尽可能地向开发者展示自己的诚意,不管是去年的游戏开发套件,今年的 AI 开发套件,都挺实在的,不画饼,就想着给开发者创造便利。
![]()
至于能收到多好的效果,开发者们买不买账,联发科能不能获得高端市场的认可,这些问题可能还得等待时间的考验。
![]()
总之加油吧联发科,总得给隔壁两家上点压力的。
你说是吧高通,还有苹果
撰文: 施昂
编辑: 米罗&面线
美编: 焕妍
图片、资料来源:
O que é NPU (unidade de processamento neural)?
智能手机的最佳 GPU:选择合适 GPU 的完整指南 -PcHardwarePro
![]()
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.