GPT-5费尽心机“作弊”，只为超过心魔Claude

作者 ｜ 董道力
邮箱 ｜ dongdaoli@pingwest.com

GPT5终于发布了，但相比GPT3.5、sora等，并没有给人们带来震撼的感觉。往好了说，OpenAI放弃了传奇期货王的身份，聚焦大模型的落地与应用。这其实也解释了为何在发布会上，OpenAI特别强调GPT-5 在编程方面的能力：毕竟今年没有比AI Coding更落地的AI方向了。一众AI IDE工具也第一时间接入了GPT5，这放在以前没2个月谁能用到。

然而，有媒体披露OpenAI在编程能力测试中“作弊”。具体来说，在SWE‑Bench Verified这项编程测试里，OpenAI并不是真的跑了全部500道题，只测试了477个。而claude、谷歌等模型在测试模型编程能力时，是跑满500到题目的。

此外，更吊诡的是，SWE‑Bench Verified是OpenAI推出来的一个“精炼版”。因为原本的 SWE‑Bench有2294个软件工程问题，OpenAI觉得这些题目中有些太难、太不稳定，无法公平评估模型的编程能力，于是OpenAI自己选了500道题，让评测更靠谱 。结果更离谱的是这个“自己选的子集”，又被砍掉一部分，剩下477道题跑评测。

OpenAI官网发表了一个博文解释并介绍为什么要推出SWE‑Bench Verified：https://openai.com/index/introducing-swe-bench-verified/

有网友吐槽：OpenAI这是在怕什么？

为了搞清楚SWE‑Bench Verified是什么，测试了哪些能力，我们特地从OpenAI官网下载了题目、注释和评分标准，实际演练一番。

我们在OpenAI官网提供的渠道下载了SWE‑Bench Verified的题目、注释和评分标准。

SWE‑Bench Verified是一套面向真实世界软件工程问题的高质量评测数据，旨在衡量代码修复与理解能力。该数据集包含500个经过验证的测试样本，每个样本均附带代码仓库信息、问题描述、修复补丁、测试补丁以及难度标签等关键信息。

题目难度上主要依据“完成时间”进行区分，比如15分钟内完成的就比较简单，难点点任务可能会用时超过4小时。目前SWE‑Bench Verified中有38.8%的任务可在15分钟内完成，52.2%需要15分钟至1小时，8.4%的任务耗时在1至4小时之间，仅有0.6%的任务超过4小时。

测试中的样本来源覆盖多个知名开源项目，包含django/django、sympy/sympy、sphinx-doc/sphinx、pandas/pandas、scikit-learn/scikit-learn、matplotlib/matplotlib、pytorch/pytorch、numpy/numpy、requests/requests等。

每个项目会测试大模型各个方面的代码能力。比如django/django：作为占比最高的项目，主要测试开发者对大型Web框架的理解能力，特别是在数据库查询优化、URL路由、中间件处理等方面。pandas/pandas：数据分析领域的代表，测试对数据结构和数据处理算法的掌握程度，特别是在处理大规模数据和复杂数据转换方面。

我们让GPT5挑选了10个有代表性的项目，内容涉及大模型的多种能力。

1. Django/Django - Web框架之王

GitHub: https://github.com/django/django

问题: 优化 .delete() 方法，仅使用必需字段

测试重点: 数据库查询优化与性能测试

意义: Django是最流行的Python Web框架，这个问题涉及ORM性能优化，测试数据库操作效率

2. SymPy/SymPy - 符号数学计算

GitHub: https://github.com/sympy/sympy

问题: 距离计算错误（3D坐标被忽略）

测试重点: 数值计算精度与边界条件测试

意义: SymPy是Python符号数学库，测试数学计算的准确性和边界情况处理

3. Sphinx-doc/Sphinx - 文档生成工具

GitHub: https://github.com/sphinx-doc/sphinx

问题: 继承图表SVG格式下的404链接问题

测试重点: 文档生成与链接完整性测试

意义: Sphinx是Python文档生成标准工具，测试文档渲染和链接的正确性

4. Matplotlib/Matplotlib - 数据可视化

GitHub: https://github.com/matplotlib/matplotlib

问题: 对数坐标轴反转功能失效

测试重点: 图形渲染与坐标系统测试

意义: Matplotlib是Python绘图库标杆，测试复杂图形系统的坐标变换

5. Scikit-learn/Scikit-learn - 机器学习

GitHub: https://github.com/scikit-learn/scikit-learn

问题: RidgeClassifierCV的store_cv_values参数问题

测试重点: 机器学习参数验证测试

意义: Scikit-learn是最重要的ML库，测试算法参数处理和交叉验证

6. Astropy/Astropy - 天体物理学

GitHub: https://github.com/astropy/astropy

问题: 嵌套复合模型的可分离性矩阵计算错误

测试重点: 复杂模型组合与数学计算测试

意义: Astropy专门用于天文学计算，测试复杂数学模型的组合逻辑

7. Pydata/Xarray - 多维数据分析

GitHub: https://github.com/pydata/xarray

问题: Variable.__setitem__对带values属性对象的类型强制转换

测试重点: 多维数据类型处理测试

意义: Xarray处理多维标记数组，测试数据类型转换和属性访问

8. Pytest-dev/Pytest - 测试框架

GitHub: https://github.com/pytest-dev/pytest

问题: 收集补丁数组的测试时出现ValueError

测试重点: 测试框架自身功能测试

意义: Pytest是Python标准测试框架，测试测试工具本身的稳定性

9. Pylint-dev/Pylint - 代码质量检查

GitHub: https://github.com/pylint-dev/pylint

问题: verbose选项的短参数需要参数值

测试重点: 命令行工具接口测试

意义: Pylint是代码质量检查工具，测试命令行参数解析和用户界面

10. PSF/Requests - HTTP库

GitHub: https://github.com/psf/requests

问题: 二进制负载请求因调用to_native_string失败

测试重点: HTTP协议与二进制数据测试

意义: Requests是最流行的HTTP库，测试网络通信和数据编码处理

至于OpenAI为什么要删除23道测试题而不是用完整版，答案也许就在下面的排名中。在SWE‑Bench Verified完整版，也就是500道题目的基准下，GPT5并没有超越claude 4 Opus。

然而，反转又来了，上述测试是基于bash only，也就是完全依赖大模型本身的能力。现实情况下，用户通常会使用AI IDE来配合大模型使用，像cursor、codebuddy、trae等。问题也就随之而来，AI IDE提供的模型中，“最好”的claude 4 opus很贵，tokens很容易用完，换句话说，目前GPT5可能是最具性价比、可用性最强的编程模型？

1

实测环节

当然，评分只能代表模型性能，我们还得具体上手试试。

我们在Codebuddy的环境下，用GPT5做了一个SWE‑Bench Verified数据库查询器（已经提供OpenAI官网下载的注释、评分标准，以及基于huggingface的数据库）。

prompts：制作一款SWE‑Bench Verified数据库查询器，功能是可以轻松查询SWE‑Bench Verified有哪些问题，以及问题的链接，以及评分标准。

GPT5生成过程比较顺利，没有出现不可逆的bug。第一版本只显示了11个项目，一轮交流后也补全了500个。

GPT5制作的版本预览：http://4d916460ea034a90bd4e0c1dd25efc6b.ap-singapore.myide.io

随后，用相同的prompts用claude-4-sonnet进行生成，非常明显的感受是，claude-4-sonnet的一次成功率不如GPT5，比如常见的网页不显示问题，与claude进行了多轮交互才得以解决。

claude-4-sonnet制作的版本预览：http://7561fbea40ff4069a3c2c8ae367cd7ea.ap-singapore.myide.io

在UI层面，由于两者都采用了MUI框架，视觉风格上差异不大。但在细节打磨上，claude-4-sonnet生成的网页明显更胜一筹——响应式布局更加出色，在不同屏幕尺寸下都能保持优雅呈现。外链信息的组织也更合理，例如项目的issue与详情分布清晰，而GPT5生成的页面不仅“暴露”了数据库来源（HuggingFace），内容排列逻辑也略显混乱。

功能方面，GPT5在筛选功能上表现突出，仓库标签数量完整（10个），优于Claude-4-sonnet的8个。但从交互体验来看，claude-4-sonnet的筛选操作更加直观易用，并针对移动端提供了专用的筛选入口，减少了操作步骤。

为了更客观，我们还引入Gemini 2.5 Pro对两个项目进行评分。结果显示claude-4-sonnet生成的项目在几乎所有关键维度上都优于GPT5。前者以模块化架构为核心，将组件按功能分区，并通过自定义Hooks实现数据与视图的分离，可维护性和可读性更佳；后者则采用扁平化组件结构，数据逻辑与UI高度耦合，更像一个原型验证型应用。

在整体功能体验上，claude-4-sonnet不仅集成了搜索、视图切换、响应式布局等能力，还通过侧边栏详情、移动端专用筛选等现代交互模式缩短了操作路径，而GPT5则依赖传统的页面跳转方式，操作链路更长。总体来看，claude-4-sonnet在代码质量、功能深度和用户体验上都体现出更成熟的软件工程思路和更广的应用场景覆盖，而GPT5的优势主要集中在特定功能的完整性和实现速度上。

看完Gemini的评价，好像能理解为什么OpenAI要少做23道题目了。

回到测试，事实上会影响大模型能力的变量太多——数据集构成、推理策略、上下文管理、工具调用能力，甚至IDE本身的特性，都会让结果发生明显波动。也许换个任务，GPT5表现会更好，也许换个IDE，同一模型就会跑出不一样的分数。但毕竟，这是GPT5。曾经有人调侃，本轮大模型的估值与泡沫，全靠OpenAI一肩扛着，如今这个重担似乎可以稍稍卸下。

在AI Coding领域，排行榜从来只是一个切片，真正决定生产力的，是模型在真实开发环境中的稳定性、可维护性、与工具链的适配程度，以及产品能否在复杂的应用场景里，依然交出可用且可靠的代码。

点个爱心，再走 吧