58个假设送进流水线,48个被拒,9个保留观察,1个因为拿不到所需数据无法评估。 那9个活下来的,没有一个拿到“优势”的标签。它们拿到的只是“继续被测试”的资格。 有些想法应该在回测跑起来之前就死掉。剩下的,应该先面对最便宜的那道证伪测试。一个假设如果回答不了“谁付钱给我们”和“为什么这件事会持续”,它就不是假设。它只是一个带着Python文件的猜测。 处理全部58个假设的流程,按大多数想法死掉的顺序排列: 假设想法 ↓ 成本过滤(它在费用和换手面前能活下来吗?) ↓ 稳健性检查(结果是平台区,还是幸运参数?) ↓ 零假设基准(它能打败一个保持结构的随机版本吗?) ↓ 未触碰的留出集(它在一个从未见过的年份上成立吗?) ↓ 污染审计(结果是真实的,还是代码对我撒了谎?) ↓ 通过研究 → 前向/影子验证 → 资金 每一道关卡拦截的是不同类型的伪优势。一个策略可以通过前四道,死在第五道。通过全部五道不是绿灯,只是获准开始收集前向数据。 第一关:成本 回测看起来漂亮最常见的方式:跳过成本。在Bybit的15分钟K线上做横截面反转,毛夏普比率在7到13之间,在80%以上的样本外窗口为正。成本之前,毛效应明显存在。 按吃单费率、每根K线再平衡,交易成本是原始优势的5到10倍。扣掉成本后,76个样本外窗口里没有一个保持为正。 试过进出场阈值、滞后机制、更粗的时间框架、更慢的再平衡。盈亏平衡附近没有任何平台区。相邻参数设置从+45%摆到−60%。 成本测试要在你相信信号之前跑,不是之后。 第二关:稳健性 日频动量有一个配置,在吃单费率下净回报+97%。回看窗口扫描:l=7给+33%,l=10给−23%,l=14给+97%,l=21给+35%。没有平台区。那个+97%是从锯齿状表面上抽到的一张幸运牌。 一半的回报只来自2021年那轮牛市。2022年是负的。一个只在牛市赚钱、在熊市亏钱的策略,更符合市场贝塔,而不是中性阿尔法。 在扫描参数上得到一个好结果,不是证据。整个曲面都需要站得住。 第三关:零假设基准 资金费率套利在开发阶段看起来很强:4.5年净回报+48.6%,夏普1.17。在信任它之前,跑了一个零假设测试:把策略读取哪个币种的资金费率打乱,其他一切保持不变。打乱后的版本回报+28%。 超过一半的回报是结构性资金费率溢价:对永续合约市场机制的暴露,而不是信号驱动的选择。选择成分在开发阶段显示出超越这个零假设的证据(经验置换检验p=0.024),但比标题回报所暗示的要小得多。 在相信结果之前,先问一个随机版本的信号是否也能赚钱。 第四关:未触碰的留出集 锁箱是一个提前固定的日期范围,直到单次开启事件之前从不触碰。在开发完成之前,不在该范围内做研究、调参或画图。 资金费率套利通过了开发和验证。锁箱是一个12个月的区间(2025-09到2026-09),从第一天起封存。冻结的策略在上面做出−0.5%。2021年到2024年支付的那个溢价,在锁箱年份里消失了。一年的缺席不是永久判决。它恰恰是锁箱设计来提前暴露的那种制度依赖。 锁箱一旦打开,就被烧掉了。任何进一步的确认都需要一个新的、仍然未见过的日期范围。开发结果是假设,只有封存的、未触碰的数据才能确认它们。 第五关:污染审计 一个BTC资金费率趋势假设的开发t统计量为2.6。1248个事件有72小时持有期,所以观测值严重重叠。Newey-West修正后的t统计量从2.6降到1.07,从那次测试中移除了表面上的统计证据。一个看起来真实的结果,来自一个看起来真实的测试,被一个统计假设打破。 在另一个项目上,一个足球预测模型通过了收盘线价值验证,+152个基点,95%置信区间不含零。五项取证审计发现两个被污染的特征。五项检查中四项失败。报告好结果的那个指标,是最后一个该去找错误的地方。 58个假设实际死在哪里 每个假设都被归到第一个阻止进一步评估的决定性失败上。有些不止失败一项。 9个幸存者不意味着9个策略。其中几个共享同一个经济机制,只是入场过滤器不同。在FDR=0.05下,8个Benjamini–Hochberg(BH)显著假设,按经济机制折算成大约4到5个独立的市场结构押注。 那些让人不舒服的失败 两个案例拖得比应有的时间长。 一个LLM生成的因子残差集成在开发阶段显示+76%,夏普0.6,经过多轮调参。在一个全新的留出集上,它反转为−35%。开发结果在它被调参的数据内部成立。新的留出集显示了那个代理实际学到的东西:开发期。 在一次资金费率套利复现审计中,原始发布一个月后,留出集结果从−0.5%变成+1.3%。同样的代码,同样的数据缓存,指纹匹配。我仍然没有一个干净的解释。我公布了差异表,而不是悄悄解决它。我对原始负面结果的审视,远少于我会对正面结果的审视。负面结果默认获得更低的证据标准。它们不应该。 活下来的是什么 少数假设通过了足够多的关卡,足以证明前向验证的合理性。它们目前处于影子部署状态:信号实时记录,参数锁定,没有资金。 它们中没有一个因为回测而赢得被信任的权利。回测是收集更多数据的许可,不是交易的许可。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.