网易首页 > 网易号 > 正文 申请入驻

预测AI终于能"验货"了,这套系统把排行榜做成了实时对战

0
分享至


2026年3月,UniPat AI正式发布Echo系统,一套面向通用预测智能的完整基础设施。

该系统由动态评测引擎、Train-on-Future训练范式和预测专用模型EchoZ-1.0三部分组成。在General AI Prediction Leaderboard 2026年3月榜单中,EchoZ-1.0以Elo 1034.2位列第一,并在与Polymarket人类交易市场的直接对比中展现出显著优势。

预测领域长期面临一个根本性挑战:如何验证模型的真实预测能力。现有做法存在三类问题:发布时的demo无法追溯验证;事后公布的案例存在选择性偏差;通用基准测试衡量的语言理解和推理能力,与真实预测任务存在差异。

Echo系统试图通过三个层面的可验证性回应这一问题:持续更新的动态排行榜、与预测市场的人类交易者进行实盘对照、全量预测数据公开可供回溯验证。

General AI Prediction Leaderboard涵盖政治、经济、体育、科技、加密货币等7个领域,活跃题目超过1000道。EchoZ-1.0以Elo 1034.2排名第一,领先于Google Gemini-3.1-Pro(1032.2)和Anthropic Claude-Opus-4.6(1017.2)。


在σ参数敏感性测试中,研究人员将Elo框架中的σ参数从0.01到0.50共调整9个取值,重新计算全部模型排名。EchoZ-1.0在全部9个分组中均保持第一,是唯一排名未发生波动的模型。作为对比,GPT-5.2的排名在第2到第9位之间波动过8个位次。

在与Polymarket人类交易市场的直接对比中,UniPat AI公布了一组分层数据:在政治与治理领域,EchoZ-1.0胜率为63.2%;在预测期限超过7天的长期预测中,胜率为59.3%;在人类信心区间为55%-70%的市场不确定场景中,胜率为57.9%。

Echo Leaderboard采用四阶段持续循环架构:

第一阶段为数据采集,通过三条管道并行运行:对接Polymarket等预测市场筛选合约;基于Google Trends等实时趋势自动生成预测问题;接收科研、工程、医疗等领域专家贡献的专业预测题。

第二阶段为预测点调度,使用对数调度算法根据题目结算周期分配多个预测时间点。


第三阶段为对战构建,采用point-aligned Elo机制,严格只比较"同一道题、同一预测时间点"的结果,以解决时序不对称问题。

第四阶段为Elo评分更新,基于Bradley-Terry MLE算法计算全局排名。实验数据显示,该框架对新加入模型的排名收敛速度是传统Avg Brier方法的2.7倍。

传统上使用历史事件训练预测模型存在两类困难:数据泄露风险,模型在搜索过程中可能接触到包含答案的信息;结果导向偏差,现实事件的随机性可能导致逻辑严密的分析被标记为"错误"。

Echo采用的Train-on-Future范式包含三个机制:

动态问题合成:通过自动化管道从实时数据流中生成关于未来事件的预测问题,训练天然不存在数据泄露。Automated Rubric Search:将训练信号建立在推理过程的质量上,而非最终预测的对错。通过LLM生成候选评分标准并迭代优化,搜索目标是让rubric产生的模型排名与真实Elo排名的Spearman相关系数最大化。搜索按领域独立进行,政治领域和体育领域各自搜索出20个评分维度。

Map-Reduce Agent架构:推理阶段采用分布式流程,Map阶段将宏观问题分解为多个正交子任务并行处理,Reduce阶段聚合输出最终概率判断,支持多轮自适应迭代。

据UniPat AI披露,计划将EchoZ-1.0的预测能力封装为AI-native Prediction API对外开放。该API将支持自然语言形式的预测问题输入,返回包含概率分布、分层证据链、反事实脆弱性评估和监测建议的结构化报告。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
震惊!一程序员与公司达成73万补偿和解,网友:公司还是低头了…

震惊!一程序员与公司达成73万补偿和解,网友:公司还是低头了…

火山詩话
2026-03-31 12:16:45
伊朗,也开始了“斩首”战!

伊朗,也开始了“斩首”战!

大国观察眼
2026-04-02 06:05:06
25年来头一遭!WTO改对台称呼,美国也调整涉台措辞,赖清德急了

25年来头一遭!WTO改对台称呼,美国也调整涉台措辞,赖清德急了

z千年历史老号
2026-04-01 21:04:22
伊朗外交部:伊朗最高领袖身体健康但因战争推迟公开露面

伊朗外交部:伊朗最高领袖身体健康但因战争推迟公开露面

界面新闻
2026-04-01 22:45:58
尼泊尔的“一妻多夫”有多尴尬?看完她们的生活后,满满的辛酸

尼泊尔的“一妻多夫”有多尴尬?看完她们的生活后,满满的辛酸

芳芳历史烩
2026-03-31 20:27:45
太炸裂!日本一对小学老师校内“激战”十几次,尺度大到令人窒息...网友的评论亮了

太炸裂!日本一对小学老师校内“激战”十几次,尺度大到令人窒息...网友的评论亮了

今日日本
2026-04-01 14:49:49
U20女足亚洲杯小组赛:中国胜越南

U20女足亚洲杯小组赛:中国胜越南

中国网
2026-04-02 08:23:08
真心建议:每一个久坐的人都自查一下!

真心建议:每一个久坐的人都自查一下!

果壳
2026-03-31 16:21:29
福特航母战斗群5700官兵被扣押,接受调查

福特航母战斗群5700官兵被扣押,接受调查

远方青木
2026-03-30 23:59:08
小米推出米家洗衣机滚筒10Kg超薄全嵌版,1199元

小米推出米家洗衣机滚筒10Kg超薄全嵌版,1199元

IT之家
2026-04-01 17:31:38
上海电影院现场被捉奸,带情夫当老公面出轨,狗血女主角真容曝光

上海电影院现场被捉奸,带情夫当老公面出轨,狗血女主角真容曝光

静若梨花
2026-03-01 16:25:46
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,现在怎么样了?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,现在怎么样了?

秋月寒江
2026-04-01 11:54:43
终于有了结果,曾医生能保住医院的工作,最应该感谢的三位贵人!

终于有了结果,曾医生能保住医院的工作,最应该感谢的三位贵人!

凌风的世界观
2025-11-14 08:38:31
张宗逊是一野二把手,王震是一野第一虎将,为何大将却是许光达?

张宗逊是一野二把手,王震是一野第一虎将,为何大将却是许光达?

微史纪
2026-04-02 00:43:25
用男人的视角打开婚姻:我月薪3万,老婆月薪8千,生娃一年后我离婚、换保姆、换做饭阿姨,每一步都很成功…

用男人的视角打开婚姻:我月薪3万,老婆月薪8千,生娃一年后我离婚、换保姆、换做饭阿姨,每一步都很成功…

脆皮先生
2026-04-01 19:51:08
拆穿张兰的全部谎言,欺诈性转移资产,汪小菲的钱究竟哪里来的?

拆穿张兰的全部谎言,欺诈性转移资产,汪小菲的钱究竟哪里来的?

叮当当科技
2026-04-02 01:56:13
高盛:预计到2025年年底全球半导体营收将比当前水平增长49%;美国纽约市宣布撤销政府设备使用TikTok禁令|数智早参

高盛:预计到2025年年底全球半导体营收将比当前水平增长49%;美国纽约市宣布撤销政府设备使用TikTok禁令|数智早参

每日经济新闻
2026-04-02 07:20:01
“水课”老师被举报!高校启动全面调查

“水课”老师被举报!高校启动全面调查

麦可思研究
2026-03-31 19:11:45
总共踢了21场,伊拉克是本届世界杯中参加最多场预选赛的球队

总共踢了21场,伊拉克是本届世界杯中参加最多场预选赛的球队

懂球帝
2026-04-02 01:57:07
国运来了,贵州发现万亿级宝藏,能用几百年,美日居然想分杯羹?

国运来了,贵州发现万亿级宝藏,能用几百年,美日居然想分杯羹?

卷史
2026-04-01 07:33:51
2026-04-02 09:28:50
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
645文章数 4关注度
往期回顾 全部

科技要闻

SpaceX秘密申报IPO,估值冲刺12万亿

头条要闻

伊朗最高领袖首次讲话 伊方披露其健康状况

头条要闻

伊朗最高领袖首次讲话 伊方披露其健康状况

体育要闻

NBA扩军,和篮球无关?

娱乐要闻

张婉婷已决定离婚 找律师讨论婚变事宜

财经要闻

电商售械三水光针 机构倒货or假货猖獗?

汽车要闻

三电可靠 用料下本 百万公里的蔚来ES6 拆开看

态度原创

本地
艺术
时尚
游戏
房产

本地新闻

从学徒到世界冠军,为什么说张雪的底气在重庆?

艺术要闻

齐白石这两幅梅花,绝了!

女人有没有品位看看穿搭就知道,这些造型值得借鉴,温柔高级

国产大作《湮灭之潮》新视觉图:你怎么穿品如的衣服

房产要闻

产业、教育、地产…重大信号发出! 官方定调海口未来5年!

无障碍浏览 进入关怀版