云天励飞发布深目AI模盒 推动大模型应用成本降至千元级

3月28日，云天励飞-U(688343)举办AI大模型产品发布会，正式发布“深目”AI模盒。据介绍，该产品能够覆盖30%的场景，同时算法精度超过90%，使用成本降低90%，帮助大模型在场景应用落地。

同时，云天励飞与鹏城实验室、之江实验室、中国电子、华为、华润数科等单位成立“深目2.0”生态联盟，共同探索更多大模型落地应用路径。此外，云天励飞宣布“云天天书-2.0-68B”版本免费向合作伙伴开放；即日起预订“深目”AI模盒，即有机会获得邀约测试的机会。

算法芯片化助力成本降低

云天励飞董事长兼CEO陈宁博士在发布会上表示，未来3年全球80%的企业都将使用大模型。但是训练专属大模型需要耗费大算力、大数据以及顶尖人才，单次训练成本高达千万级，主流训推一体机价格普遍在百万元，绝大多数企业都无法承担这样高昂的成本。

为了能够让大模型“平民化”，降低成本，本次云天励飞推出的“深目”AI模盒产品售价在千元级，搭载了云天励飞的自研大模型边缘训推芯片DeepEdge10 Max以及自研多模态大模型“云天天书”，具备算法边缘侧在线学习能力，可实现算法场景覆盖超过90%、算法精度超过90%，使用成本降低90%，降低大模型的训练使用门槛。

而降本的关键在云天励飞算法芯片化的核心能力。

陈宁博士指出，“深目”AI模盒的算力基础，来源于去年云天励飞推出的14nm Chiplet大模型训推芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺，内含国产RISC-V核，支持大模型训练推理部署。依托自研芯片DeepEdge10 Max创新的D2D chiplet架构打造的X5000推理卡，已适配并可承载10亿级SAM、百亿级Llama2等大模型运算，可广泛应用于AIoT边缘视频、移动机器人等场景。

另外，“深目”AI模盒的大模型能力，来源于云天励飞自主研发的多模态大模型“云天天书”。云天天书大模型包含语言大模型、多模态大模型等不同系列，在C-Eval、CMMLU等权威测试中多次获得第一，并于去年正式通过中央网信办备案。云天天书1.0版本于2023年初正式推出，至今已完成3个版本的迭代，预计今年6月将迭代4.0 V版本。

快速训练高精度算法

由于大模型具备泛化和学习的能力，客户部署算法后，大模型还能够不断根据现实应用场景情况，在线学习、优化算法，不断提升算法精度。

整体来看，“深目”AI模盒不仅仅是“压缩”了大模型和芯片能力的一款全新产品，更是把云天励飞大模型通过算法芯片化能力平台“硬件化”的一次重要尝试。把复杂的技术通过简单的产品提供给用户，让用户可以零学习成本，快速训练出自己需要的算法。

云天励飞副总裁罗忆介绍，云天励飞为客户提供的算法训练平台上，有大量与生态合作伙伴共同打造的算法商城，能够提供覆盖14个大类、100+个小类、千余种算法，用户可以直接调用预训练算法，并上传自身场景图片完成算法的微调和升级，快速训练出高精度算法。

围绕AI方案化、AI运营化、AI产品化，云天励飞业务逐步开展布局。

在AI方案化方面，云天励飞在警务、城市治理、智慧交通、人居生活等领域打造诸多标杆项目，并且在低空经济、智慧教育等创新领域持续展开探索。基于在大量行业的落地经验，云天励飞已形成数据运营、新能源运营平台，走向AI运营化。

AI产品化方面，去年，云天励飞与华为昇腾联合推出天舟大模型训推一体机；本次推出面向边缘训推场景的“深目”AI模盒。此外，近期云天励飞还通过资本运作，布局智能穿戴和机器人等硬件领域，形成日益完善的大模型产品体系。