央视网消息:词元,也就是token,是人工智能大模型处理信息的最小单元。国家数据局8月29日表示,当前,大模型加速向千行百业深度落地,带动我国词元调用量快速攀升,市场需求呈现爆发式增长,实践中已演化出不同类型的“词元工厂”形态。新的“词元工厂”到底有何不同,又是如何运行的?
在北京这个新落成的“词元工厂”里,上万平方米的机房是车间,消耗的原料是电力,源源不断生产出的产品就是词元。
“词元工厂”总负责人颜敏介绍,国产大模型主要走的技术路线是开源路线,研发团队把大模型的“智能大脑”完整文件对外公开,供大家来使用。他们做的事情就是把几十种国产大模型,部署到这个国产算力上,给大家提供AI服务。大家可以向AI提问题,算力就开始生产词元,给大家相应的答案和任务结果。
![]()
工作人员表示,和一般的工厂不同,“词元工厂”没有库存管理,用户请求到达的瞬间,词元生产就立刻启动。因此,“词元工厂”也是24小时运转的工厂。
“词元工厂”运营负责人朱璐璐介绍,这是“词元工厂”一天24小时的产量变化。整个白天词元调用量处于比较高的水平上。大家一般上午会进行方案设计和讨论,到了下午会利用智能体进行代码的生成和迭代。这个时候,整个词元的消耗量会有一个非常明显的攀升,每个小时最高峰能够有超过10亿词元的产出。
记者在采访时发现,还有一个词元消耗波峰竟然出现在凌晨0时到4时之间。这又是为什么?
朱璐璐表示,一类是互联网平台的智能客服,到了夜间他们通常会利用AI回应客户的一些咨询、问题。还有一类是夜间的一些自动化作业,比如说一些软件的测试,一些数据的批量加工。最近还有一类业务起得特别快,就是AI漫剧,很多的漫剧在夜间被大量地生成、渲染、导出。
最新数据显示,随着人工智能应用的爆发式增长,我国日均词元调用量已突破500万亿,两年时间增长超5000倍。
新需求催生新职业 算力优化师应运而生
人工智能在生产和生活中应用越来越广泛,算力资源的重要性就更加凸显。如何用更少的算力支撑更多高质量词元的产出,从而实现降本增效?一类新职业应运而生。
在北京海淀的这个“一人公司”社区里,工程师袁黎江每天到办公室的第一件事,就是打开电脑查看自己的智能体,但常常也会出现小插曲。
研发工程师袁黎江表示,智能体可能做到第五步、六步之后,到第七步报告说“资源紧张 请求失败”。底层还是因为现在算力比较紧张,现在为了抢词元套餐他得定个闹钟。
![]()
就在工程师袁黎江为争取更多算力资源费心劳神的时候,在屏幕另一端,一个新职业算力优化师开始琢磨,如何为用户提供更好的算力服务。
算力优化师师天麾 表示,他们在各个地方“批发”一些零散的国产算力,比如这边有广东、北京、上海。不同型号的国产算力就像是不同的发电机组,它生产出来的词元就像大家所使用的电。他们所做的就是把不同国产算力生产出来的不一样的比如火电、水电、风电,形成一套统一的电输送给用户,用户按用量来付电费就可以。
在这样一个界面中,用户输入一个开发任务,算力优化师通过算法进行监测和调度,平台自动匹配最优模型组合和算力供给后,给出多个方案。
算力优化师刘东升介绍,和导航非常像,导航可能会问你通勤的路上,你想要最快的路线,还是说最省油的路线。平台也是这样,你想要你的AI任务跑得越快越好,还是说消耗的词元越少越好,这些平台都可以通过对应的算法满足这些对应的需求。
在算力优化服务的支持下,用户使用人工智能的时间和花费有望降低。
研发工程师袁黎江表示,原来可能AI生成一个15秒的视频,需要等七八分钟,现在只需要等两三分钟它就出来了。
人工智能服务加快实现集中供应 按需取用
业内专家也指出,随着“词元工厂”新模式、算力优化师等新职业陆续产生,人工智能服务正在加快实现集中供应、按需取用。
国家数据发展研究院院长胡坚波表示,企业应用AI的门槛从“建电站”降到了“插电卡”,不再需要自建算力中心,只需要按照词元消耗量付费,从“为算力买单”变为“为效果付费”。
专家表示,词元的应用领域目前正处于快速拓展阶段,但不同行业的发展程度存在一定差异。
![]()
胡坚波表示,音视频的编辑,还有编程这样一些服务类的场景中间的应用是比较活跃的,也是目前词元消耗量的一个主要场景。金融机构用词元计量风控的成本,作为结算工具。医疗机构把词元用于核算人工智能辅助诊断的费用。按照词元计费,正在成为专业服务领域的一种值得我们关注的新型计价探索方向。在制造业、农业这样一些实体经济领域,词元的规模渗透率仍然比较低,相关的商业模式也比较单一。推动词元有效赋能实体经济发展还有待进一步探索和实践。
(央视)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.