北京
一
背景与目的
为推进大模型在各行业场景下的应用，推动大模型技术生态健康发展，中国软件评测中心正式启动MaaS（模型即服务）平台服务性能评测工作。本评测旨在通过标准化测试流程，验证大模型的功能完备性、性能效率、安全合规性及用户体验性，为行业用户提供可量化的选型依据，确保商业化部署的可靠性与合规性。
二
评测内容
本次评测从以下四个维度开展全面评估：
（1）功能完备性测试
代码功能：生成代码的语法正确性、多语言支持能力。
数学能力：基础运算、方程求解、高阶数学问题解决能力。
翻译能力：多语种互译准确性、专业术语适配性。
多轮对话：上下文连贯性、意图理解准确性。
（2）性能效率测试
首Token延迟（TTFT）：用户请求至首个响应Token的时间。
完整回复率：完整回答用户问题的输出占比。
截断率：因超长截断导致回答不完整的比例。
推理速度：每秒生成思考内容的字数。
（3）安全合规性测试
生成内容安全：符合《生成式AI服务管理暂行办法》。
等级保护认证：通过等保3.0合规性审查。
有害内容拦截：暴力、歧视、违法信息过滤效率。
（4）用户体验性测试
支持文件/语音/图片上传、联网控制、上下文清除功能。
提供Token数量显示、思考时间可视化等辅助功能。
三
评测流程
合同签订：双方确认评测需求并签署服务协议。
评测实施：
阶段一：功能与性能基线测试。
阶段二：安全合规性测试与用户体验场景模拟。
结果交付：
提供《技术评测报告》，包含分项得分、风险项清单及优化建议。
通过评测的产品颁发《第三方平台大模型性能认证证书》。
四
评级标准
A级（卓越）：综合得分区间在(80,100]；
B级（达标）：综合得分区间在(60,80]；
C级（受限）：综合得分区间在(50,60]；
D级（未通过）：综合得分区间在[0,50]或单项得分低于50分；
五
评测安排
报名时间：即日起开启。
首批评测：2025年2月-3月（结果公示：2025年3月中旬）。
第二批评测：2025年5月起（滚动受理，按季度发布结果）。
六
业务咨询
曹老师 18518203633（微信同号）
孙老师 18500410430（微信同号）
媒体联络：
张老师 13521794353（微信同号）
来源：中国软件评测中心
编辑：晓燕
指导：辛文
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
