网易首页 > 网易号 > 正文 申请入驻

GPT-5得分不到0.4!法律+金融最大规模基准:1.9万+专家评估准则

0
分享至

新智元报道

编辑:LRST

【新智元导读】最新PRBench基准可以测试AI在金融和法律领域的表现。结果显示,即使是顶尖大模型在处理复杂任务时也表现不佳,尤其在涉及重大经济后果的任务中。PRBench通过模拟真实场景和多轮对话,揭示了AI在专业领域的不足,强调开发更可靠AI系统的重要性。

大模型技术日新月异,MMLU、GPQA 等学术基准的分数不断被刷新。

然而,当这些「高分模型」进入到金融、法律等利害攸关(high-stakes) 的专业领域时,它们真的能胜任吗?

现实应用中存在两大难题:

1.学术基准的视角局限:现有学术基准(如MMLU)提供的视角是有限的,更侧重于有标准答案的STEM推理,而忽视了在金融、法律领域中那些开放式、无唯一答案、且具有重大经济后果的真实任务 。

2.现有专业基准的局限:目前行业内的专业基准大多「要么私有、要么规模太小」 ,且往往缺乏可解释、可复现的评估标准。

为突破这一瓶颈,Scale AI团队重磅推出了专业推理基准(Professional Reasoning Bench, PRBench),一个针对金融和法律领域的现实、开放且有挑战性的基准 。

论文链接:https://scale.com/research/prbench

团队招募了182名持有JD、CFA或6年以上经验的合格专业人士,围绕他们实际客户工作中的真实需求 ,撰写了1100个专家级任务,任务覆盖范围极广,涵盖全球114个国家和47个美国司法管辖区。

PRBench的核心在于其19,356条专家评估准则 (rubrics),使其成为法律和金融领域规模最大的、公开的、基于准则的基准。

那么,顶尖大模型的表现如何?

在代表最具挑战性案例的「困难子集」 (Hard subset)上 ,表现最好的模型(GPT-5 Pro/GPT-5)在金融和法律上的得分也仅为0.39和0.37。

这揭示了一个核心差距:尽管AI正被用于辅助「利害攸关」的决策,但模型的常见失败模式,例如 「判断不准确」、「过程缺乏透明度」 和 「推理不完整」 , 使其在处理这些具有重大经济后果的任务时,显得并不可靠。

直指「经济路径」,拷问真实决策力

PRBench不再满足于评估「答案是否正确」,而是独创了「经济路径」(Economic Pathway)分析维度,旨在评估模型处理那些「能直接导致真实经济后果」(如降低风险、创造价值)的决策任务的能力 。

例如,在金融领域价值创造 (Value Creation)、风险管理与韧性 (Risk& Resilience)

在法律领域规避处罚与赔偿 (Penalty and Damages Avoidance)、合同风险配置 (Contractual Risk Allocation)

分析发现,这些「经济后果」越重大的任务,模型失败的风险就越高 ,这也正是PRBench所要拷问的核心能力。

模拟真实场景,30%的多轮对话

与许多「一问一答」的基准不同,PRBench中约30%的任务是多轮对话。

这模拟了专业人士(如律师或金融分析师)的真实工作流:他们不会一步到位,而是通过「迭代式提问」来「逐步建立上下文或做出澄清」 。

例如,在图12的金融任务中 :

  1. 用户(第1轮):提出了一个非常复杂的宏观场景:「如果我们遇到150个基点的主权蔓延冲击...如何...避免强制出售资产的情况下,维持流动性覆盖率?」

  2. 模型(第1轮):给出了一个高层次的框架性回答,分析了冲击的影响 。

  3. 用户(第2轮):基于模型的回答进行「向后推导」和「追问」:「现在从我们流动性比例失败的点倒推回来...你会设置什么早期预警触发器?以及你会采取什么确切的步骤...?」 。

这种设计迫使模型不仅要懂知识,还必须能像真实的专家那样,在复杂的多轮对话流中逐步建立并深入理解上下文,进而施展严谨的深度推理能力。

结语

PRBench的发布,为「利害攸关」的专业AI应用提供了一个急需的、透明且可靠的评估框架。

它揭示了一个明确的事实:尽管大模型在通用能力上进步神速 ,但在真正辅助现实世界决策,尤其是金融和法律等专业领域,它们还远未达到可靠的标准。

通过开源这一规模最大的Rubric基准 ,团队希望能推动研究界共同努力,开发出更透明、更可靠、真正具有经济价值的AI系统。

参考资料:

https://scale.com/research/prbench

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
现货黄金,跌破3700美元!金饰克价高点下调近600元

现货黄金,跌破3700美元!金饰克价高点下调近600元

数据宝
2026-11-19 20:59:09
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

文史达观
2025-07-21 12:48:03
太可惜!亚运村这家8年老店关了!

太可惜!亚运村这家8年老店关了!

亚奥在线
2026-11-19 16:08:37
台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

只能离开
2026-11-11 22:13:42
奥运冠军被禁赛三年!

奥运冠军被禁赛三年!

五星体育
2026-11-19 18:44:50
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

罗米的曼联博客
2026-11-19 06:46:58
【特稿】以军越过加沙“黄线” 哈马斯发声谴责

【特稿】以军越过加沙“黄线” 哈马斯发声谴责

新华社
2026-11-19 14:29:01
54 年来头一遭!打破惯例,特朗普到访深圳,他究竟看到了什么?

54 年来头一遭!打破惯例,特朗普到访深圳,他究竟看到了什么?

大中国
2026-11-19 21:57:35
美股盘前,科技股全线上涨

美股盘前,科技股全线上涨

中国基金报
2026-11-19 20:20:20
1992年,湖北一对夫妻自杀身亡,留下了年仅5岁的女儿,23年后,这个女儿不顾全村的反对,决心带人挖开了父母的坟墓,直到真相揭晓

1992年,湖北一对夫妻自杀身亡,留下了年仅5岁的女儿,23年后,这个女儿不顾全村的反对,决心带人挖开了父母的坟墓,直到真相揭晓

扶苏聊历史
2026-11-19 18:07:09
皇马血亏!伯纳乌两大弃将完美爆发!穆里尼奥彻底看走眼

皇马血亏!伯纳乌两大弃将完美爆发!穆里尼奥彻底看走眼

奶盖熊本熊
2026-11-19 08:54:14
金正恩与特朗普是否会举行会晤?外交部回应

金正恩与特朗普是否会举行会晤?外交部回应

澎湃新闻
2026-11-19 16:50:12
宝马新车官宣:11月25日,正式上市

宝马新车官宣:11月25日,正式上市

科技堡垒
2026-11-17 08:00:40
1990年,被关押40年的地主出狱,写信给王震:记得那1000担粮食吗

1990年,被关押40年的地主出狱,写信给王震:记得那1000担粮食吗

文史道
2025-09-06 12:53:48
2026酱酒跳水榜:当年炒得越狠,如今摔得越响

2026酱酒跳水榜:当年炒得越狠,如今摔得越响

牛锅巴小钒
2026-11-19 03:20:33
欧盟拟向乌克兰追加450亿欧元贷款

欧盟拟向乌克兰追加450亿欧元贷款

环球网资讯
2026-11-19 08:58:28
日本人怒斥高市,非要硬刚中国,这下全世界都知道敌国条款了

日本人怒斥高市,非要硬刚中国,这下全世界都知道敌国条款了

锅锅爱历史
2026-09-28 15:58:48
2026-11-19 22:52:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16720文章数 67240关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
房产
家居
健康
游戏

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

PC Gamer试玩GTA6百小时:双主角出色但任务重复

无障碍浏览 进入关怀版