1月14日,MiniMax宣布开源面向Coding Agent的新评测集OctoCodingBench。MiniMax表示,基于该评测集,其针对现有的开源闭源模型进行了广泛的评估,并发现一些很有启发性的实验结果:所有模型的Check-level 准确率(CSR)可以达到80%+,但Instance-level成功率(ISR)只有10%-30%;绝大模型模型的指令遵循能力会随着轮次的变多逐渐下降;现阶段模型表现普遍未能达到生产级要求,过程合规仍是盲区;开源模型正在快速追赶闭源模型。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.