北京
分享至
TypeSafe AI 在社交平台上发了一条动态，开头就把话说得很直白：这不会是第一次，也不会是最后一次，有人挥着拳头对公开基准测试表达不满。但他们想换个做法。
他们决定公开自己内部的一套评测思路——不是标准答案，而是"最好的猜测"，用来衡量一种对开发者来说最重要的智能形态。
为什么绕开公开榜单
公开基准测试一直是行业里争论不断的对象。TypeSafe AI 没有展开说具体是哪些榜单、哪些争议，只表明了一件事：与其继续对着公开榜单发火，不如把自己内部怎么测的拿出来给人看。
这种做法在评测领域并不常见。多数团队对外只报公开榜单成绩，内部怎么判断模型好不好用，往往不对外说。
他们想测的是什么
按这条动态的说法，他们要衡量的是"对开发者最重要的那种智能形态"。这句话没有给出具体指标，也没有列出测试项目，但把目标人群点得很清楚——开发者。
换句话说，他们关心的不是模型在通用题目上能拿多少分，而是这套东西放到开发者手里好不好用。至于具体怎么测、测哪些维度，动态里没有展开。
这条动态发布于 10 月 15 日，截至抓取时获得 6,680 次浏览。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
