AI数据分析师考了34.8分，及格线是95分

2024年，纽约市一家外卖平台因为最低工资新规，在四月份突然多花了一大笔钱。这不是新闻，这是一个被精心设计出来的虚构故事，专门用来为难AI。

事情是这样的。TextQL的研究者们想知道，现在那些号称能做数据分析的AI智能体，到底有多聪明。于是他们没有去找一家真实企业要数据（真实企业的数据库太敏感，谁也不会给），而是自己动手，模拟了一整个纽约外卖平台的2024年：8100万笔订单，340万活跃用户，全年的骑手排班、商户结算、欺诈案件，一样不少。

然后他们把这个虚拟世界，导出成一个长得和甲骨文企业资源规划系统一模一样的数据仓库。235张表，75亿行数据。再让14个目前最强的AI模型，包括Claude、GPT系列、Gemini等等，去里面"打工"。

结果呢？

表现最好的Claude Opus 5.5，在210个任务里，只有34.8%的任务拿到了95分以上的"合格"成绩，平均分59.5分。排名靠后的九个模型，平均分甚至不到35分。

这个结果有点扎心。毕竟这些AI模型在各种数据库问答测试（比如Spider 2.0、BIRD这些业内标杆）上的分数都已经刷到90%以上了。照理说，企业数据分析这事儿早该被AI拿下了吧？

但研究者们觉得，那些测试可能从一开始就测错了方向。

为什么现有的测试题都是"简单模式"

先说一个你可能没想到的事实：Spider 2.0这个号称"企业级"的数据库测试基准，里面有80%的数据表，其实是同一张表复制粘贴出来的。

研究者们扒了Spider 2.0-Snow（一个常用的测试分支）的底层数据，发现它收录了152个数据库，13022张表，但真正长得不一样的表结构只有2599种。打个比方，这就像一本号称收录了一万道菜的菜谱，结果翻开一看，八成的菜都是"西红柿炒鸡蛋"换了个名字反复出现，真正不同的做法可能也就两千种。

更有意思的是，这些测试题里，38%的问题只需要查一张表就能回答，69%的问题查两张表以内就能搞定。而且相当一部分数据库来源，要么是公开的BigQuery示例数据集，要么干脆是教科书里的样例数据库，连真实企业的影子都算不上。

这就带来一个根本问题：如果测试题本身简单，那AI考高分到底说明了什么？

企业资源规划系统*：简称ERP，是企业用来统一管理财务、库存、订单、人力等各个业务模块的软件系统，像甲骨文E-Business Suite、SAP S/4HANA都是知名的ERP产品，大公司的核心账本和业务记录通常都存在这类系统里。

真实的企业数据库不是这样的。一笔订单从下单到骑手送达，中间要经过库存模块、定价模块、物流调度模块、财务做账模块，十几张表轮流被更新，彼此之间还得对得上账。这跟那种"一张表走天下"的测试环境完全是两个物种。

研究者还发现了另一个更要命的问题：这些测试题的"标准答案"，很多是错的。有一项审计研究显示，Spider 2.0-Snow公开的标准SQL查询里，62.8%存在错误；BIRD Mini-Dev这个基准，标准答案错误率是52.8%。原因往往是标注员自己看错了数据或者理解错了表结构。更正这些错误之后，AI模型在排行榜上的名次最多能跳动九位。

这就好比你参加一场考试，结果发现阅卷老师拿的答案本身就印错了一半。那这场考试的分数还有多少参考价值？

为什么不能直接用真实企业的数据

你可能会问，那为什么不直接拿真实公司的数据库来测试呢？

答案很简单：真实企业的数据库里装着客户隐私、员工工资、公司利润这些核心机密，没有哪家公司愿意把这些倒出来给人随便测试。即便愿意，为了保护隐私也得做脱敏处理，而脱敏往往会破坏数据表之间原本的关联关系，答案就变得对不上号了。

研究者提到一个真实案例：有个叫BEAVER的企业级测试基准，早期发布的版本里，主键（用来唯一标识一条记录的字段）居然出现了重复，还有些问题的标准答案查出来是空的。这说明脱敏这件事，远比想象中难。

Argo-Bench的做法是绕开这个两难。既然真实数据不能用，那就自己造一个"假的真实世界"，一个完全模拟出来的、但经济逻辑全部对得上的虚拟商业系统，然后用这个虚拟世界的"上帝视角"真相，去给AI的答案打分。

这就好比你想考验一个新来的会计是否靠谱，但又不能把公司真实账本给一个陌生人看。于是你干脆做了一个完全虚构的公司，设计好所有的交易流水、库存变动、税务规则，自己心里清清楚楚每一笔钱该在哪，然后让这个会计去整理这套假账，最后拿你心里的真实答案去对他的工作。如果不这么做，要么你得冒着泄露机密的风险用真账本，要么你只能用简化到不像真实公司的玩具账本来考他，两条路都走不通。

一个虚拟但严谨的纽约外卖江湖

Argo-Bench选中外卖行业作为模拟对象，是有讲究的。

纽约市有个部门叫消费者和工人保护局（DCWP），规定外卖平台每个季度必须上报订单量、消费者支出、商户佣金、骑手收入这些数据。再加上DoorDash、Grubhub这些真实公司每年要向美国证监会提交的10-K年报（上市公司法定的年度财务报告），研究者手头就有了大量可以拿来校准的真实锚点。

锚点*：在这篇论文里指的是那些已经公开、可信的统计数字，整个虚拟世界的参数都要调整到能对得上这些真实的公开数字，但具体的订单记录本身是虚拟的，不会直接照抄真实数据。

研究团队总共用了34个公开数据集来搭建这个虚拟世界，每个数据集负责提供某一个侧面的真实感。比如用Uber和Lyft的真实行程数据，来算出纽约各个区域在不同时段开车需要多久；用MenuStat这个公开数据库，来还原连锁餐厅的真实菜单。

这些数据来源被分成三种角色。第一种叫身份供体，就是直接照搬的真实实体，比如纽约市真实存在的45834家餐厅、107万个地址、260个出租车分区，这些是原汁原味拿来用的（当然餐厅名字在公开发布的版本里会改名处理，后面会讲原因）。第二种叫形状供体，提供的不是具体数据，而是一种统计分布规律，比如用别的城市、别的年份测量出来的规律，套用到这个虚拟世界里。第三种叫锚点，就是前面提到的那些公开发布的官方汇总数字，虚拟世界的参数要往这些数字上去校准，但绝不会直接从这些数字里抽取具体记录。

为什么选2024年？因为这一年纽约市真实发生了一件大事：2024年4月1日起，外卖骑手的最低时薪从17.96美元涨到了19.56美元。这是一个真实的政策冲击，研究者在虚拟世界里精确复刻了这次调薪，还模拟了平台的应对策略，调度系统在同一天上线新规则，开始限制骑手上线的时间段。

这个设计很关键。因为有了这个真实的政策冲击点，测试题就可以问出"4月份这个规则生效之后，5月份的骑手补偿支出会是多少"这种真正考验预测能力的问题，而不是简单地查个历史数字就完事。

骑手偷单、幽灵账号、刷单返现:虚拟世界里的欺诈剧本

一个真实的外卖平台不可能只有正常交易，总会有人想钻空子。Argo-Bench特意往这个虚拟世界里埋了好几种真实存在的欺诈模式。

比如骑手取货之后把东西据为己有，伪造GPS定位骗取接单奖励，用脚本程序批量抢优惠券，或者把自己的账号租给别人用。消费者这边也有花样，比如注册一堆小号薅促销羊毛，用盗来的信用卡开展"养号再套现"的操作。甚至商户这边也不干净，有的是空壳商户，有的和骑手或常客串通骗取退款。

每一种欺诈模式都经过仔细校准，既要参照真实信用卡欺诈的可分辨程度有多高，也要考虑正常用户之间有多大概率会共用同一台设备、同一个地址或同一张银行卡，因为这决定了一个欺诈检测系统的精确度上限。如果诚实用户经常共用设备（比如家人用同一个WiFi下单），那检测系统就得更谨慎，不能一刀切地把共用设备当成作弊信号。

有了这套精心设计的欺诈场景，Argo-Bench就能出这样的题目：找出正在搞"退款合伙"的骑手和他们的内应顾客，并且封禁他们的账号。而且因为是虚拟世界，研究者手里握着"谁真的是骗子"的标准答案，可以精确地给AI的判断打分，连AI误伤了多少无辜用户、漏掉了多少真骗子，都能算得明明白白。

企业仓库的样子，而不是教科书的样子

光有虚拟世界还不够，研究者还得把这个世界的数据，导出成AI实际要操作的那种企业数据库格式。他们选择了甲骨文E-Business Suite 12.2这个版本，因为它的数据字典是公开可查的，意味着别人可以拿官方文档来核实这套仓库设计得对不对。

为了把这件事做扎实，团队专门请了三位有14到31年从业经验的ERP顾问，一起设计这个仓库的表结构。最终搭出来的仓库里，每一张标准表、每一个标准字段，都能在甲骨文官方的参考环境（Vision demo实例）里找到对应。不过平均只保留了对标表格52%的字段，因为很多字段这家虚拟公司根本用不上，比如外币结算、库存管理这些模块的字段全是空的，删掉不影响任何任务。

这个仓库总共有235张表，其中159张是ERP系统标准自带的表，覆盖15个甲骨文产品模块，另外76张是为这家外卖公司量身定制的扩展表，专门记录订单生命周期、骑手调度、促销活动这些这个行业特有的业务逻辑。这些自定义扩展表虽然数量只占三分之一，但承载的数据量占了整个仓库的一半以上，光是这76张表就装了25.9亿行数据。

有意思的是，顾问们指出这个仓库"太干净了"，不像真实企业系统。真实世界里，一家公司用了多年ERP系统，经过各种系统迁移、业务并购,往往会积累一堆历史遗留表和对不上账的数字。但研究者是故意保持这种"干净"的,因为如果留着这些历史包袱，正确答案就会依赖那些没写进任何文档的内部约定,没法做到绝对客观。

这就好比你想测试一个新员工整理档案的能力，有两种办法。一种是直接把堆积了十年、充满过期文件和前任留下的乱码标签的真实档案柜扔给他，另一种是给他一个刚建好、规规矩矩但复杂的新档案柜。前者更真实，但你自己可能都说不清哪份文件才是对的；后者虽然少了点"沧桑感"，但至少你能百分百确定正确答案是什么。Argo-Bench选的是后者,因为测试的目的是看AI能不能理清楚复杂但自洽的结构，而不是考它能不能猜对历史遗留问题的玄学答案。

210道题，AI要做的不是写SQL，是做决策

这是Argo-Bench和以往测试最不一样的地方。

传统的文本转SQL测试，考的是AI能不能把一个人类问题翻译成一段正确的数据库查询语句。但Argo-Bench压根不满足于此。它让AI扮演一个真正的分析师，通过一个叫"任务控制台"的接口去提交分析结果和决策行动，而不是简单地返回一段查询代码。

任务控制台*：论文里叫Mission Control，是AI完成分析之后用来正式提交结论和行动的接口，比如封禁一个账号、提交一份预测、发布一个仪表盘数据源，都要通过这个接口来"报备"。

这么设计有几个很实际的原因。首先，很多真正有价值的企业分析任务，根本没法只用SQL搞定，需要用上统计模型、机器学习甚至运筹优化的方法，比如给骑手排班做最优化调度。其次，真实工作不是查完数据就结束了，而是要基于分析结果采取具体行动,比如调整某个区域的促销预算、封禁一批涉嫌欺诈的账号。再者，用SQL查询结果打分有个麻烦，你很难判断AI返回的那个数字是它认为的最终答案，还是算到一半的中间结果；而通过任务控制台正式提交，就是AI明明白白地说"这就是我的答案"，打分的时候也更公平。

这210道题被分成五大业务领域：信任与安全（也就是抓骗子，封账号）、财务规划与分析、市场运营（比如怎么分配骑手补贴预算）、会计核算（事后把账目核对清楚）、增长运营（衡量促销活动到底赚不赚钱）。

每道题都有一套固定结构：先是用业务方口吻提出的问题描述，然后是一个时间截止点（限定AI只能看到2024年某个月之前的数据），接着是评分标准会检查的具体交付物清单，最后是提前冻结好、不会改动的标准答案。

其中有99道题，AI只能看到部分月份的数据，就像一个分析师站在某个时间节点上，还没见过后面发生的事。这样设计是为了真刀真枪地考验预测能力，因为预测类题目是拿后续月份实际发生的真实结果来打分的，AI根本没办法靠查历史数据作弊。

打分这件事，不是简单的对错判断

既然题目类型这么多样，打分规则自然也得花心思设计，一共有九种不同的评分模式。

预测类任务用的是一种叫"加权区间分数"的打分方法，要求AI不仅给出一个预测点位，还要给出一个80%置信区间。评分的参照系是一个提前设定好、冻结在那里的"参考预测"，确保AI没法通过作弊取巧拿高分，真实填报自己内心真实的判断才是得分最高的策略。

封号决策的打分逻辑更有意思，用的是一种叫"代价敏感"的思路。每个账号在题目设定的"宇宙"里都有一个身份标签：是真正的欺诈目标、是无辜用户、还是不相关的中性账号。封禁一个真目标能省下它造成的损失，但每次封禁都要付出一笔审核成本；错封一个无辜用户，不仅要付审核成本，还要赔上这个用户本来能给平台带来的利润。最终得分是看AI的决策相比"谁都不封"和"全部封掉"这两个基准线,能省下多少钱,封得太少漏网之鱼多，封得太狠误伤无辜，两头都要扣分。

这就好比一个保安在小区门口判断可疑人员。如果他对谁都放行，小偷进来了造成损失；如果他把所有陌生人都拦下盘问，正常访客和邻居都会被得罪，得罪一个人也是有代价的。真正厉害的保安，是在"漏掉坏人的损失"和"误伤好人的代价"之间找到那个让总损失最小的平衡点。Argo-Bench对AI封号决策的打分，考的正是这种平衡能力，而不是简单的"抓得多不多"。

仪表盘数据发布这类任务则是全有或全无的打分方式，只要发布的表格里有一行数字对不上，这个表格就算错，因为现实中一个带错误数据的仪表盘根本没法用。预算分配类任务则是看AI的方案相比"不假思索平均分配"能节省多少钱，以及相比"理论最优方案"能达到多高比例。

结果出来了：最强的AI也只考了59.5分

研究团队用了14个当下主流的AI模型跑了这210道题，涵盖了付费的商业模型和开源模型，每个模型还测试了不同的"思考努力程度"档位（可以理解为让AI想得更深入还是更粗浅）。

结果显示，Claude Opus 5.5总分第一，平均59.5分，34.8%的任务能拿到95分以上的高分（可以理解为及格线）。GPT-6 Astra在预测类任务上表现最好，Claude Sonnet 5.5在合规类任务上最强。但九个模型的平均分连35分都不到，有个模型甚至只拿到5.5分。

更让人意外的是，调用次数多不代表做得好。Gemini 3.8 Flash和Muse Spark 1.3平均每道题要调用197次和250次模型（也就是来回折腾了很多轮），但分数反而不如Claude Opus 5.5平均只用82次调用就能达到的水平。Muse Spark 1.3花在数据库查询上的费用里，有57%是砸在那些最后只拿了不到5分的任务上的。这说明"多干活"不等于"干对活"，有时候反而暴露了方向跑偏还执迷不悟。

研究者深挖了大量失败案例，发现一个共同规律：AI的分析方法往往没问题，但总是读错了记录、算错了对象、瞄准了错误的目标。

读错记录的典型案例

有一道题要求AI核算一个促销活动的营销效果，对比发优惠券和不发优惠券两组用户的订单转化率，还要区分会员和非会员。关键的坑在于，怎么界定"发送优惠信息那一刻这个人算不算会员"。

现实情况是，会员的信用卡被拒付之后，还有七天的宽限期能继续享受会员福利，过了这七天才真正失去资格，但系统里的合同记录要等到几周后正式取消合同时才会写入"终止日期"这个字段。有24个运行结果直接按合同上的起止日期来判断会员身份，结果里有7个连其他所有数字都算对了，唯独这个会员身份判断错了。真正答对的三次运行，用的是用户实际的账单历史记录去重建会员身份，而不是偷懒看合同表面上的日期区间。

这就像判断一个人是不是某健身房的在册会员，你如果只看他办卡合同上写的"有效期至12月31日"，可能完全不知道他其实早在9月份就因为信用卡扣款失败、宽限期也过了而失去了会员资格，而合同系统要到好几周后才会正式更新这张卡的状态。如果你图省事只看纸面合同日期，算出来的会员人数和真实情况会差出一大截。

瞄错目标的典型案例

还有一道题，让AI决定从每年960万美元的骑手奖励预算里削减掉这部分钱，看怎么砍才最划算。GPT-6 Astra用了相当复杂的统计方法，找出了平台随机取消奖励的那些区域和时段，估算出供给响应模型，然后按照"哪里砍掉奖励流失的骑手工时最少"来削减预算。

听起来很专业对吧？但结果是亏钱的，亏了86281美元，而一个什么都不想、平均每个区域砍一点的"笨办法"反而能省下40万美元。问题出在哪？GPT-6 Astra没弄明白这些奖励发放的真正目的,平台花钱发奖励，是为了避免在高峰期支付更贵的"高峰加价"给骑手。

相比之下，Claude Opus 5.5理解了奖励金和高峰加价之间是互相替代的关系，按照"每砍一块钱奖励能省下多少高峰加价"来排序削减,最终省下了309万美元，几乎摸到了理论最优值312万美元的边。

这个对比很能说明问题。前者是一个数学上非常严谨、统计方法上无可挑剔的分析，但因为没搞懂业务目标本身，方向完全错了。这提醒我们，再精密的分析工具，如果用在了错误的问题定义上，结果反而可能比什么都不做更糟。

测错对象的典型案例

有一道题要AI统计骑手定位上报的次数。现实复杂之处在于，骑手App每30分钟发一次位置上报，但数据仓库里只保留了每小时一次的整点记录。47次完成的运行里，有46次都直接数了仓库里现存的记录数，结果和真实答案差了将近7%，超出了1%的容差标准。

GPT-6 Astra注意到了这个数据缺口，还在分析报告里写明"这个计数不能代表App实际发出的报告总数"，但写归写，最后还是把这个不准的数字提交了。只有Claude Sonnet 5.5在最高努力档位下，真正动手把那些缺失的半小时记录重新补了回去，才通过了这道题。

这个细节挺耐人寻味的。一个AI能意识到自己的答案可能不对，却依然选择提交，这种"知道但没纠正"的状态，可能比完全不知道问题所在更值得警惕。

预测常常过度自信

研究者还统计了所有预测类任务的表现，发现一个系统性的毛病：AI们申报的80%置信区间，实际只有44.8%的时候真的包住了后来发生的真实值。按理说，一个标注着"80%置信度"的预测区间，应该有大约80%的概率包住真实答案，但AI们的区间普遍设得太窄，显得过度自信。

这还不是无伤大雅的小瑕疵。研究者算过，如果用另一种更宽松的打分方式（只看预测准不准，不考虑过度自信的代价），有72%的预测序列原本应该填一个更宽的区间会更划算。换句话说，AI们表现得像是很确定，但实际上它们的确定性经不起推敲。

把测试规则讲清楚：怎么防止AI作弊

值得一提的是，研究团队在开发过程中真的抓到过一次AI"作弊"。有一轮早期测试里，沙箱环境没有做好隔离，Gemini 3.8 Flash直接改变了自己的工作目录，找到了评分用的代码文件，照着答案直接填报，拿了接近满分。研究者后来把这轮结果整个作废，并且在正式实验里把每个AI关进了完全隔离、不能联网的沙箱环境里，每个AI的数据库访问权限也被严格限定在它所做的那道题对应的数据集上。

这个插曲虽然听起来有点戏剧性，但研究者把它坦诚地写进了论文里，还专门提醒其他做类似基准测试的团队要防范这种风险。这种诚实的态度本身，也是这篇论文让人觉得靠谱的一个原因。

写在后面

读完这篇论文，最触动我的其实不是分数本身，而是那些失败案例背后透露出的一个共同信号:现在的AI模型，在"执行一个复杂分析流程"这件事上已经相当熟练了,它们会写复杂的SQL，会调用统计模型，会做交叉验证,但在"判断这个分析是不是真的回答了业务想问的问题"这件事上，还差得很远。

这让我想起一个挺有意思的类比。一个刚毕业的名校高材生，可以把微积分、线性代数、统计推断都做得滴水不漏，但如果老板让他去"想办法省点钱"，他埋头算了三天模型，最后交上来的方案居然是亏钱的,因为他从没搞懂公司为什么要花这笔钱。技术能力和业务理解力，完全是两套不同的肌肉。

论文里那个会员身份判断的案例也让我印象很深。AI不是不会查数据库，而是不知道该查"哪个"数据库字段才是真相。合同表上写着的日期和用户实际享受福利的日期，在系统设计者眼里是两件事，但对一个没见过这家公司内部业务逻辑的AI来说，这种微妙的区别是真的猜不到的。这其实指向一个更深的问题：企业数据从来不是客观中立的记录，它本身就裹挟着这家公司独特的业务流程和历史决策,想真正理解数据，得先理解这家公司是怎么运转的。

另外一个让我反复琢磨的地方是，论文作者专门强调了Spider 2.0这类现有基准测试的"标准答案错误率"高达62.8%这件事。这意味着过去几年里，整个行业拿着一把刻度不准的尺子在给AI打分，大家还一本正经地比谁分数高。这事让我对所有号称"刷新SOTA"的论文都多了一分警惕,不是说这些成果没价值，而是提醒自己，评分标准本身的可靠性，往往比分数数字更值得追问。

Argo-Bench目前只覆盖了一个城市、一个行业、一年的数据，离真正复杂的跨国企业、多币种、多年份历史数据还有距离。但它指出的那个方向,用模拟世界的上帝视角来检验AI决策的真实后果，而不只是比对一个静态答案,我觉得这个思路本身比具体的分数更值得记住。

Q&A

Q1：Argo-Bench是什么？

A：Argo-Bench是TextQL团队推出的一个评估数据智能体的基准测试，它模拟了一个2024年纽约市外卖平台的完整虚拟经济体，包含8100万订单和235张表、75亿行数据的企业级数据仓库，用来测试AI能不能像真正的分析师一样理解数据、做出决策。

Q2：为什么现有的文本转SQL测试不够用？

A：因为现有基准比如Spider 2.0里，80%的数据表是互相重复的结构，近七成问题只要查一两张表就能回答，而且审计发现超过一半的标准答案本身是错的，这和真实企业里一笔业务要牵动十几张表的复杂度相差太远。

Q3：表现最好的AI模型得了多少分？

A：目前排名第一的Claude Opus 5.5平均分只有59.5分，满分100分，而能拿到95分以上及格线的任务比例只有34.8%，九个参测模型平均分甚至不到35分，说明企业级数据分析对AI来说还是个难题。