北京
分享至
让AI智能体当网店老板，经营一整年，结果如何？一项名为MerchantBench的新基准测试给出了答案：表现最好的AI，全年营收也只达到人类水平的四分之一左右。
这个基准让LLM智能体模拟经营网店一整年，任务涵盖选品、定价与现金流管理。与常规评测不同，它额外追踪一个关键指标：智能体是否在持续行动。
高分可能掩盖"已停摆"
研究发现一个值得警惕的现象：部分智能体常常以"沉默"方式达成高分。也就是说，最终的高分可能掩盖了这样一个事实——智能体早在数月前就已停止运作。
MerchantBench因此强调，评测时应按窗口记录行动频率并观察曲线变化，这样才能识别出智能体在长期经营中的连贯性缺陷，而不只是看一个漂亮的最终分数。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
