只要千元级，人人可用百亿级多模态大模型！国产「AI模盒」秒级训练推理

新智元报道

编辑：编辑部

【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！

就在昨天，大模型落地的最后一公里，被打通了！

这款重磅发布的训推一体盒子——「深目」AI模盒，不仅搭载了国产自研大模型推理芯片DeepEdge10，以及多模态大模型「云天天书」，还具备边缘AI在线学习能力。

更值得一提的是，它的售价只有千元级，轻到单手就能托起。

可以说，大参数、大算力、大参数，和十年团队的核心技术，全被装在了这个小小的边缘计算设备之中。

而有了这个AI模盒，每个企业都能同时拥有专属于自己的大模型和训练设备，并基于此轻松地实现：

- 覆盖场景超90%

- 算法精度超90%

- 使用成本降低90%

那么问题来了，性价比如此之高的「盒子」，是如何破解大模型最后一公里难题的呢？

千元级解锁专属大模型，加量不加价

ChatGPT、Sora让全世界科技企业都变了天。

最近来自a16z企业人工智能报告指出，2024年企业在大模型上的平均预算，要增加2-5倍。

然而，专属大模型这条路，却不是人人都能走的。

首先，需要企业提供大算力、大数据。

目前，训一次大模型，成本至少千万元，而主流的训推一体机，价格普遍在百万元。如此高昂的成本，是绝大多数企业都无法承受的。

其次，通用大模型也还需要经过专有数据的深度微调，才能适配实际中的碎片化、长尾场景。

这样算下来，要拥有专属大模型，企业的花费至少是在「亿级」。

能否打造一款能够在边缘设备中，让大模型解决长尾场景难题呢？

云天励飞给出的答案，就是「深目」这个边缘训推一体AI模盒。

红色飞跃线代表着云天励飞二次创业第一款具有划时代意义的产品

别看小瞧这款「巴掌大」的小盒子，它可是实现了三个90%——90%场景全覆盖，90%算法精度、使用成本降低90%。

最重要的是，「深目」AI模盒的小小身材，不仅「装下」了大模型，还得到了最强推理芯片加持。

首先大模型的能力，是来源于多次霸榜C-Eval、CMMLU等权威测试的，云天励飞自研多模态大模型「云天天书」。

它不仅是国内为数不多通过网信办备案的可商用大模型，而且自2023年年初正式发布1.0版本以来，已经经过3次迭代，预计还将在今年6月发布全新4.0版本。

大模型是有了，云天励飞如何将其装进AI模盒中？

研究团队对大模型进行了优化，包括对多模态大模型的分层结耦、量化，让其能够高效运行在一个边缘算力设备上。

甚至，他们在模型架构上做了诸多创新，帮助多模态大模型完成推理，以及微调等一系列任务。

其次，「深目」AI模盒的算力基础，来源于云天励飞推出的第一颗基于纯国产工艺、可承载百亿级多模态大模型边缘推理计算的芯片——DeepEdge10。

具体来说，基于14nm成熟工艺节点的DeepEdge10，采用了自主可控的SoC和国产RISC-V核心，算力在INT8精度下可达48TOPS。

而且，在Chiplet架构的加持下，DeepEdge10更是实现了四颗Die的封装。

最重要的是，这颗边缘芯片不仅能实现百亿级大模型的高效推理，还能够做微调训练。

综上，经过一年多的时间打磨，云天励飞团队分别从大模型和处理器两个维度，进行了联合优化设计。

通过算法和芯片一体化设计，在用更小的内存、更便宜的INT8和FP16替代掉传统、高昂的服务器设计的同时，维持了模型的尺寸和性能。

由此，才有了我们现在所看到的「深目」AI模盒——一个成本可接受，又能运行大模型的盒子。

「深目」AI模盒正是云天励飞的算法演进和芯片演进技术，在十年后又一个全新交叉的产品，也是团队二次创业推出的第一款产品。

云天励飞希望看到的是，深目2.0可以给AI行业带来全新的体验，让大模型唾手可得。

如今，在海量业务场景需求，和高昂算法生产成本面前，我们正处于「技术找场景」和「场景反哺技术」转换的关键期，有人称之为冰山之下的「死亡之谷」。

值此之际，「深目」AI模盒的诞生，可谓众望所归。

秒级生产长尾算法

那么，这个只卖千元级的AI模盒到底怎用？好不好用？

发布会现场，云天励飞副总裁罗忆用实际场景演示了「深目」AI模盒是如何在数据少、无数据等极端情况下，快速完成算法训练。

场景演示一：只需5张照片，算法精度即可提升10%以上

在算法训练初始阶段，面对仅有少量样本，却又希望得到高精度算法的难题该怎么办？

在传统模式下，对算法精度要求越高，就需要大量的样本。

但问题在于，数据收集的难度非常大。

如果能够在边缘侧，针对场景化的算法进行微调，所需数据就会减少，迭代周期就会变短，就会节省大量效率。

也就是说，通过少量样本，即可实现场景的自适应。

以城市治理中最常见的问题之一——店外经营举例。

当用户需要训练识别算法时，可以利用云天励飞训练平台的基础数据集完成算法的初步训练。

得益于多年的积累，目前云天励飞能够提供覆盖14 个大类、100+个小类、千余种算法，可直接调用的算法。

与此同时，云天励飞在城市治理深耕多年，也拥有该领域的丰富数据积累。

完成初步训练后，用户再将自己拍下5张场景示例图片上传，在平台上完成简单标注，即可将初步的算法迭代升级。

通过测试，迭代后的算法精度从过去的76%，直接飙升至95%。

场景演示二：零数据样本，用AIGC数据训AI

那要是没有数据怎么办？

当面对自然灾害、安全隐患等这样的极端场景，训练数据几乎空白，难以通过模拟收集，但偏偏对对数据质量要求极高，容错率低。

这就是低频事件面临的算法困境。

就拿「加油站吸烟识别场景」为例，这类行为的数据极难获取。因为这类危险行为的发生，往往伴随着不可挽回的后果。

现在，真正有效的策略便是，通过AIGC自动生成模拟数据。

云天励飞训练平台能够利用大模型能力，以加油站为背景，生成在该环境抽烟行为的人物，并将数据用于算法训练中，填补训练数据的空白。

目前，云天励飞已经通过AI生成数据训练和测试算法。

通过自有的城市治理算法进行测试，不同算法在加入微调数据之后，精度发生了变化。

可以看出，城管算法识别准确率随着样本数量增加，精度也大大提升。同时交付场景比例扩大。

另外，还有非常重要的一点是，使用AI合成数据来训练算法，不仅能够填补数据空白，还能够规避隐私安全等问题。

显然，AI自动生成数据逐渐成为大模型时代下，训练新算法和提升算法精度的一条重要路径。

场景演示三：识别对象标准不统一，大模型泛化能力解决问题

还有一种场景是遇到对象不统一，如何去解决算法训练难题？

举个栗子，大型购物中心一般没有统一的结算中心，因此难以掌握逛街顾客是否消费，也难以评估营销活动对实际消费转化的效果。

而顾客是否提购物袋，是大型商场判断顾客是否消费的重要标准之一。

但是，各种品牌购物袋的大小、颜色、款式均不统一，而且难以与顾客的背包区分，导致算法难以精准识别。

面对这样的场景，很难仅用一个算法去解决。

但是基于云天励飞训练平台，可以借助大模型的「泛化」能力，实现「千店千袋」的识别。

简单来说，首先需要调用「拎手提袋识别」的算法，对所有手提袋进行识别。

然后，再基于识别结果，进行特定手提袋的识别训练，最终得到特定手提袋的识别算法，就可以实现对各种类型手提袋精准识别。

十年深耕，只做物理世界「解码者」

作为国内领先的AI企业，成立于2014年的云天励飞，便一直秉持着将AI技术与物理世界相结合理念。

这也是这家公司自成立之初，自研芯片的重要原因。

因为芯片是AI物理世界的连接器，AI通过芯片赋能现实，与此同时，物理世界的数据又通过芯片反哺AI，推动AI进步发展。

就这样，通过算法芯片化，无形的技术和有形的世界构建出了一座通道。

从此，AI不仅是虚拟世界的工具，而切实地转化为物理世界的生产力。

ChatGPT引爆生成式AI革命后，百模大战，甚至是大模型开源战愈演愈烈，导致当下最不缺的就是LLM。

显然，现在的重点不仅是卷参数，而更重要的是大模型的应用落地如何破局？

陈宁博士表示，「AI商业化发展有三个阶段：AI方案化、AI运营化、AI产品化」。

在第一阶段，当然就在项目中满足不同垂直领域客户的需求。

如今，云天励飞已经在公安、城市治理、智慧交通、人居生活等领域打造了多个标杆项目，还在低空经济、智慧教育等领域持续探索中。在深圳、成都、青岛，都已打造了城市级的样板工程。

正是因为有大量行业的落地经验，云天励飞已经形成了数据运营、新能源运营平台，走向了AI运营化。

大模型的火爆，预示着AI将快速进入标准化产品的时代。因此，云天励飞还逐步走向了AI产品化。

去年，云天励飞与华为异腾联合推出基于天舟大模型训推一体机，如今又推出面向边缘训推场景的「深目」AI模盒。

此外，云天励飞还通过资本纽带，进军智能穿戴市场，形成日益完善的大模型产品体系。

而在这三个阶段中，云天励飞始终践行的，就是做物理世界的「解码者」。

真实场景演示

具体来说，云天大模型基于真实场景算法，可以应用到各类场景——

交通拥堵识别和违章驾驶识别：

城市CT巡检：

海洋污染识别：

产品视觉检测：

燃气灶未关识别：

老年人跌倒识别：

夜间可疑人员识别：

而且，只要使用简单的提示词，就能高效地秒级生产算法、解锁更多场景了。

如今，针对各类场景应用，云天励飞已经有了千余种成熟算法。

比如最近大热的低空经济

「深目」背后的故事

其实，「深目」这个名字，10年前就已经存在了。

2014年，云天励飞凭借对深度学习的深刻理解，就推出了一款基于CV小模型的AI产品「深目」，为「AI+公共安全」市场开启了新纪元。

如今，进入大模型时代的云天励飞，在奇点时刻选择了二次创业。

这次推出的AI边缘训推一体产品，依然选择了「深目」的名字。

虽然名字未变，但「深目」已经从最初的AI方案化构想，变身为如今成熟的产品化现实。

带着焕然一新的技术底座，「深目」将赋能更广阔的长尾场景，为云天励飞开启二次创业的征程。

One More Thing

最后来个小彩蛋，「云天天书」从今天起限时免费开放了，限额50名。

想要免费体验的伙伴们，赶快扫码申请吧。

参考资料：

https://www.intellif.com/