北京
来源：证券日报
9月3日，中国信通院正式公布第三批“词元（Token）服务能力攀登计划”结果。网宿科技凭借边缘AI网关在模型服务性能、稳定性及词元输出效率等方面的综合表现，达到企业级词元服务性能攀登基线，成功入选该计划，跻身高质量词元服务梯队。
“词元（Token）服务能力攀登计划”是中国信通院面向词元服务工程化能力推出的评价体系，重点考察性能、稳定性与成本等核心指标，为企业选择词元服务提供参考标准。此次入选，意味着网宿科技在模型推理服务能力和企业级词元服务质量方面获得了权威认可。
当前，随着大模型在企业业务场景中的应用持续深化，企业对词元服务的要求正从“可用”转向“稳定、快速、可靠”。在词元调用规模持续增长背景下，行业对统一、客观的性能评价体系需求愈发迫切。
中国信通院围绕词元服务工程化落地中的关键问题，启动“词元（Token）服务能力攀登计划”，并通过“大模型Token服务性能监测平台”开展测试，按季度动态更新行业统一性能基准，推动词元服务能力标准化、规范化发展。
根据该计划，企业级通用场景性能攀登主要考察三项核心指标：每秒输出词元数（TPS）≥55个/秒，首词元时延（TTFT）≤0.9秒，调用成功率≥99.9%。
据悉，TPS、TTFT和调用成功率分别对应模型推理效率、用户体验响应速度和服务持续稳定性，是衡量企业级词元服务能力的基础门槛。其中，TPS直接关系到长文本生成、代码生成等任务效率；TTFT则影响用户对模型“反应速度”的感知；调用成功率则决定高频调用场景下任务链能否稳定执行。
在中国信通院实测中，网宿科技三项核心指标均优于基线要求：TPS较基线要求高出95%，首词元时延（TTFT）较极限要求优化65%，调用成功率达到100%。
据介绍，这一表现背后，一方面得益于网宿覆盖全球的3000+节点资源和边缘基础设施能力，能够显著降低模型调用时延，并提高稳定性，同时，网宿依托自有GPU（图形处理器）算力，对模型进行深度定向调优，在更低算力成本下实现更快推理、更高精度，为企业提供更具竞争力的AI引擎。
据悉，网宿边缘AI网关已聚合200余个主流模型能力，覆盖文本、代码、视频、图像、语音等多个模型类型，企业可通过统一接口完成模型调用。近年来，网宿持续强化多模型接入、智能调度、精细化运营及生产级保障能力，已面向办公辅助、软件编程、广告设计、电商营销、游戏创作等场景提供AI应用支撑。
网宿科技表示，此次入选，是对公司词元服务性能与工程化能力的高度认可。未来，公司将继续完善AI词元服务体系，提升大模型调用的稳定性、效率与易用性，推动AI应用加速规模化落地。
（文章来源：证券日报）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
