北京
分享至
大模型数学题能做对，不代表它真懂数学。一项新研究用知识空间理论检验了八款开源与闭源模型，发现它们的数学知识缺乏连贯结构，只是准确率看起来漂亮。
准确率掩盖了什么
研究指出，这些模型经常违反知识依赖关系。比如一个模型能解高阶方程，却搞不定它本应依赖的基础运算。这种断裂在只看最终答案对错的评估里完全看不见。
模型之间也各说各话
更麻烦的是，八款模型彼此的知识分布重叠度很低。同一道题，A模型和B模型掌握的知识点几乎不重合，说明它们学到的东西没有形成共识性的数学体系。
研究强调，基于准确率或让大模型当评判的评估方式，都测不出这些缺陷。数学能力评估需要换一套能检查知识结构的方法，而不是继续盯着分数。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
