上海
分享至
1月14日，MiniMax宣布开源面向Coding Agent的新评测集OctoCodingBench。MiniMax表示，基于该评测集，其针对现有的开源闭源模型进行了广泛的评估，并发现一些很有启发性的实验结果：所有模型的Check-level 准确率（CSR）可以达到80%+，但Instance-level成功率（ISR）只有10%-30%；绝大模型模型的指令遵循能力会随着轮次的变多逐渐下降；现阶段模型表现普遍未能达到生产级要求，过程合规仍是盲区；开源模型正在快速追赶闭源模型。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
