上海
6月29日，在2026“众智”大模型开放智算生态协同高级别研讨会上，中国信通院副院长魏亮正式发布AISHPerf人工智能软硬件基准体系3.0版本。该版本首次推出两项面向AI基础设施（AI Infra）的评测基准——AISHPerf-智算运维智能体评测基准以及AISHPerf-算子生成智能体评测基准。国内AI基础设施服务商无问芯穹与清华大学团队作为重点技术支持方参与了建设。
AISHPerf（人工智能软硬件性能基准）是中国信通院与人工智能大模型及软硬件评测工业和信息化部重点实验室，依托位于国家信创园的人工智能软硬件协同创新与适配验证中心联合构建的基准体系，旨在多维度考察端到端方案对模型和应用场景的真实承载能力，系统评估软硬件各层级的协同优化与兼容适配水平。3.0版本将测评维度拓展至智能体在运维和算子生成上的工程实用性。
AISHPerf-算子生成智能体评测基准跳出了“模型能否生成可运行的GPU算子”这一基础问题，将评测重心锚定在工程可部署性上——重点考核生成的算子能否在真实量化推理部署中替代现有算子。与以往侧重检验生成能力的做法不同，该基准直接关注算子在真实部署环境中能否稳定替代已有算子，弥补了从算法研究到工程落地的评价断层，更直接地回应产业实际需求。
AISHPerf-智算运维智能体评测基准是本次发布最受关注的组成部分，也是国内首个面向智算集群运维智能体的权威评测体系，填补了国产智算运维智能体评测领域的空白。与此前业界多以语言问答能力评估运维智能体的方式不同，该基准聚焦真实生产场景中的实际操作能力，构建了一套高度仿真的实战评测体系。
该基准以无问芯穹在实际运营中沉淀的近百亿条真实运维数据为底座，经资深运维专家脱敏、精细标注和严格筛选，最终提炼出103条高保真、高质量的典型评测用例。这些用例打通了从底层硬件故障到上层软件缺陷的全链路问题，覆盖5大技术栈、44种问题现象、22个细分故障领域，并设置3种难度层级；涉及的芯片涵盖6种国内外产品，其中5种为国产芯片，具体包括天数、壁仞、沐曦、摩尔、昇腾。评测时，系统不提前告知故障根因，仅提供真实的集群环境和有限的问题描述，要求运维智能体自主完成探索、排查与修复，最终输出时延、Token消耗、工具调用效率等量化指标，全面客观地评估智能体端到端解决实际问题的能力。
率先将国产芯片集群运维场景纳入评测是该基准的一个显著特点。随着国产AI芯片规模落地，硬件架构、驱动体系、通信协议等方面的差异使运维复杂度明显高于成熟的通用GPU生态，直接影响算力利用率和投产效益。AISHPerf-智算运维智能体评测基准将国产芯片集群运维的特定场景和典型问题纳入标准化测评，覆盖硬件故障、驱动适配、框架兼容、通信协议等痛点，首次为国产智算运维智能体建立起可量化、可比较的统一评估标尺。
在实践层面，无问芯穹此前已在其自有AI基础设施中部署运维智能体，数据显示工单平均处理时间缩短50%，关键故障处理效率提升约6倍，综合运维成本下降约30%，在算力和电力投入不变的情况下提升了Token产出效率，为基准设计提供了扎实的工程依据。
中国信通院表示，未来将持续围绕标准研制、测试验证、生态培育推进基准体系的产业应用，联合无问芯穹等伙伴，基于海量运维数据进一步丰富国产芯片评测用例，精准定位国产芯片集群运维的共性痛点，牵引产业链上下游协同攻关；同时以标准化评测推动运维智能化升级，助力国产算力从“能用”向“好用、高效、稳产”转变，为智算产业自主可控筑牢标准支撑。AISHPerf-智算运维智能体评测基准与AISHPerf-算子生成智能体评测基准从底层算力优化延伸到上层集群运维，共同为智算产业的标准化升级与高质量发展提供了统一的能力参照框架，推动基础设施向自主自治演进。
据悉，研讨会由中国信通院人工智能软硬件协同创新与适配验证中心、中国人工智能产业发展联盟、工信部人工智能标准化技术委员会联合主办。
原标题：《中国信通院牵头，首个智算运维智能体评测基准来了，覆盖5款主流国产芯片！》
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
