北京
7月8日下午，阿里研究团队的一名成员把HSCodeComp基准的测试结果投到大屏上。画面停在一行对比数字上：表现最好的Agent系统准确率45%左右，人类专家95%。会议室里安静了几秒。就在同一天，ACL 2026将最佳资源论文奖颁给了这项研究，它从12148篇投稿中脱颖而出，成为国内唯一获此奖项的中国公司论文。
这一下戳中了一个很多人不愿面对的问题：当行业都在把Agent看作大模型落地的核心路径时，它在真实世界的复杂规则推理上可能远没我们想的那么可靠。该论文首次系统揭示了当前Agent在层级化规则遵循上的巨大缺陷，并提出了一个全新的专家Agent评测基准HSCodeComp。
正方的声音一直很清晰。过去一年多，不少团队相信只要把推理时的算力堆上去，让Agent多跑几轮思考，复杂任务的成功率就会稳步逼近人类水平。毕竟inference-time scaling在数学、编程等场景中带来了肉眼可见的提升，似乎只需更长的推理链，就能撞开专业决策的大门。
反方拿出的正是这份获奖论文的评测数据。研究团队用商品出口必须精准匹配的10位海关编码（HS Code）作为考题，要求Agent像资深关务专家一样，把模糊的商品属性对齐到严格的关税归类规则上。他们对14个主流大模型和9个先进Agent框架做了全面测试，结果最好的系统准确率也只有约45%，与人类专家的95%之间横着一条难以跨越的鸿沟。更关键的是，单纯增加推理时长几乎无法缩小这个差距。这直接把问题从“算力不够”扭转为“架构本身存在结构性瓶颈”。
论文进一步拆解了缺陷背后的三层原因。一是推理链过长后，Agent容易中偏离正确路径，就像一个人在冗长的流程中忘了最初的分支条件。二是领域知识不足导致规则误用，碰到相近但细节不同的归类条目时判断失准。三是推理幻觉让Agent生成缺乏事实依据的分类，表面上逻辑自洽，实际却踩中了规则红线。这三类问题环环相扣，指向一个结论：想让Agent胜任专业层级规则推理，光靠扩大推理规模远远不够。
阿里团队并没有止步于指出问题。他们在HSCodeComp基准上设计了一套以Qwen基座模型为核心的Agent框架，最终把10位编码准确率推到了65.0%，在现有AI系统中排名第一，并且已将数据集和评测代码在Hugging Face和GitHub上全面开源。这个成绩虽然离人类专家的95%还有不小距离，但它证明有针对性地重构Agent的规则对齐能力，是比堆时长更有效的路径。
ACL评审委员会在评语里点出了这项工作的分量：“该基准切中了Agent应用的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力，研究动机极具说服力；严谨的人类专家评测流程提供了高度可靠的能力上界。”没有夸大的修饰，却把这项研究的定位说得明明白白：它给Agent的专业化能力画出了一条可量化的基准线。
阿里研究团队也给出了更宏观的判断：层级规则应用不仅是国际贸易里的核心需求，在法律合规、医疗诊断、税务审计等大量高价值垂直领域同样属于底层能力。这意味着HSCodeComp所揭示的能力边界不是某个细分场景的特例，而是Agent从“看起来好用”迈向“真正可靠”时必须跨越的一道坎。把这条基准线摆在台面上，比任何泛泛的技术承诺都更有价值。
回到开头那个大屏上的数字，45%与95%的落差其实给出了一个明确的产业信号：与其继续幻想用通用模型加长推理链就能吃遍所有专业场景，不如把注意力转向如何为不同领域的层级规则构建专门的评测与训练体系。阿里这篇获奖论文做的，就是把这种转向的必要性，用系统性的实验和开源的基准，钉在了所有人看得见的地方。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
