网易首页 > 网易号 > 正文 申请入驻

AI智能体是否能预测未来?字节跳动seed发布FutureX动态评测基准

0
分享至

你有没有想过,AI 不仅能记住过去的一切,还能预见未知的未来?

想象一下,让 AI 预测下周的股价、下个月的票房冠军、甚至下届世界杯的赢家……这听起来像科幻片,但如今,它已经成为现实中一场「极限挑战」。

最近,一场专门考验 AI「预言」能力的考试——FutureX 动态评测基准正式发布。它由字节跳动 Seed 团队联合斯坦福大学 Jose Blanchet 教授团队、复旦大学邱锡鹏教授团队、普林斯顿大学王梦迪教授团队共同打造,让 Grok-4、GPT、Gemini 等模型齐聚预测未来的考场。

  • 论文标题:FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction
  • 项目主页:https://futurex-ai.github.io/
  • 技术报告:https://huggingface.co/papers/2508.11987
  • 数据:
  • https://huggingface.co/datasets/futurex-ai/Futurex-Online

发布后 Elon Musk 转发,并评价该任务为「智能的真正度量」,推特浏览量过千万。

不考「记忆」考「远见」,FutureX 是什么?

过去的 AI 评测,总被诟病像「开卷默写」。题目是固定的,答案是已知的,提前「背好书」,就能轻松拿高分。这更像一场记忆力竞赛,而不是真正的智力考验。

FutureX 则改变了这一逻辑——它让 AI 预测的是尚未发生的未来,完全避免了数据污染/泄漏的可能,可以真实反映 AI 智能体的规划、搜索、复杂推理决策等能力。

每周,系统会自动从全球 195 多个高质量信息源中,筛选出 500 个新的预测任务,涵盖经济、科技、体育等各个领域。从预测一部新电影的首周票房,到判断一场关键体育赛事的胜者,所有题目在 AI 作答时都没有「标准答案」。

未来预测有多难?FutureX 的四层「进阶试炼」

预测未来从来不是简单的猜测,而是对信息搜集、趋势分析、风险判断等综合能力的终极考验。FutureX 将任务划分为四个难度层级,如同为 AI 智能体设置的「段位考核」:

这些任务并非凭空设计,而是基于195个精选自2000多个网站的高质量信息源,覆盖经济、科技、体育等多个领域,完全对接真实世界的复杂场景。

自动化评测体系,FutureX 是怎么构建的?

为了实现对未来事件的动态评估,FutureX 构建了一套完全闭环的自动化系统:

  • 每天自动抓取值得预测的未来事件;
  • 在事件发生之前调度 23 个主流 LLM/ 智能体进行预测;
  • 在事件发生之后抓取事件结果进行评分。

最新排行榜:谁在预测未来的赛道上领跑?

那么,在这场史无前例的「未来考试」中,谁拔得头筹?(数据统计自 7 月 20 日至 8 月 14 日)

核心发现:

  • Grok-4 暂时领跑,GPT 和 Gemini 紧随其后。在所有模型中,Grok-4的综合表现最为突出,拔得头筹。紧随其后的是GPT-4o-mini和Gemini-2.5-flash Deep Research。字节跳动Seed系列模型也展现了不俗的实力。

  • AI 智能体距离人类专家仍有差距。表现最好的 Grok-4 在 L4(高波动开放任务)上的准确率只有不到 20%,大部分 agents 的准确率只有不到 10%,仍明显落后于人类预测。

  • 预测未来是推理和搜索的结合。在简单选择题上,不依赖工具的基础 LLM 表现惊人,比如 DouBao-Seed1.6-Thinking 甚至超过部分带搜索功能的智能体;但到了复杂任务,能实时调用工具的智能体优势立刻显现,说明「联网搜索」是 AI 应对复杂预测的必备技能。

AI 的「神预言」vs「马后炮」:差距有多大?

为了搞清楚「预测」到底比「搜索」难多少,研究团队做了一个对比实验:

  • 事前预测(神预言模式):在事件发生前,预测结果。
  • 事后搜索(马后炮模式):在事件发生后,去网上查找并回答结果。

结果发现:Grok-4 在开启「马后炮模式」时,凭借强大的搜索能力,准确率可以轻松达到很高的水平。然而,一旦切换到「神预言模式」,准确率便断崖式下跌。

这个对比一针见血地指出:搜索信息只是 AI 的基本功,真正的难点在于如何在信息不完整、充满不确定性的情况下,进行高质量的推理和判断。这才是「预测」的精髓,也是 AI 最需要突破的瓶颈。

解密未来预测:AI 需要练好哪些「内功」?

为什么预测未来如此之难?研究发现,三大核心能力至关重要:

  • 工具调用质量:能否精准、高效地使用搜索等工具。
  • 搜索来源可靠性:能否从海量信息中辨别真伪,找到关键信源。
  • 推理规划全面性:能否像人类专家一样,构建全面、严谨的逻辑链条。

简单来说,强大的搜索力和思考力缺一不可。这正是 FutureX 希望推动 AI 发展的核心方向。

未来已来:推动 AI 从「已知」走向「未知」

FutureX 的探索仅仅是一个开始。我们的研究揭示了当前 AI 智能体在迈向真正实用的道路上,必须克服的核心挑战:如何在信息爆炸、充满不确定性的真实世界中,像人类专家一样进行思考、推理和决策。

我们坚信,FutureX 有潜力成为推动 LLM 智能体发展的关键引擎。通过提供一个公平、动态且极具挑战性的评估平台,我们希望能激励学术界和工业界的研究者们,共同开发出能够在高风险、高复杂度真实场景中,比肩甚至超越人类顶尖分析师的下一代 AI 智能体。

周赛开启:一起来可靠评测 Agent

每周题目发布于https://huggingface.co/datasets/futurex-ai/Futurex-Online,预测提交截止为每周三晚 23:59。欢迎阅读我们的技术报告,与我们一同探索 AI 的未来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同济大学全体关切公平的教师致杨金龙校长公开信

同济大学全体关切公平的教师致杨金龙校长公开信

紫京讲谈
2026-08-10 16:49:29
马卡报:西班牙女演员爆料,巴拉圭女商人曾与C罗相恋两年

马卡报:西班牙女演员爆料,巴拉圭女商人曾与C罗相恋两年

懂球帝
2026-08-10 19:07:07
河南警方:网民在涉西平“7·30”命案短视频评论区留言,称“当地人都知道干死了五个人”,编造虚假伤亡信息,被行政处罚

河南警方:网民在涉西平“7·30”命案短视频评论区留言,称“当地人都知道干死了五个人”,编造虚假伤亡信息,被行政处罚

极目新闻
2026-08-10 11:50:22
百花奖颁奖:卫诗雅爆冷夺影后,易烊千玺成双料影帝,王骁萨日娜实至名归

百花奖颁奖:卫诗雅爆冷夺影后,易烊千玺成双料影帝,王骁萨日娜实至名归

露珠聊影视
2026-08-10 23:23:17
为演《战神》练到二头肌撕裂,Ryan Hurst一张自拍胜过官方海报

为演《战神》练到二头肌撕裂,Ryan Hurst一张自拍胜过官方海报

自愈小日子
2026-08-11 00:30:14
演员贾冰,全网可怜!

演员贾冰,全网可怜!

新动察
2026-08-10 15:29:10
女子花3万购宝鸡40平米住房引关注 本人:已过户超一年,装修花4万多 中介称确有外地人来买“万元房”

女子花3万购宝鸡40平米住房引关注 本人:已过户超一年,装修花4万多 中介称确有外地人来买“万元房”

红星新闻
2026-08-10 23:09:24
独闯南太行失联14天女子不幸身亡 当地村民:挖野菜在崖顶发现背包,救援人员在崖底找到其遗体

独闯南太行失联14天女子不幸身亡 当地村民:挖野菜在崖顶发现背包,救援人员在崖底找到其遗体

红星新闻
2026-08-10 16:27:13
无人机如何催生了俄罗斯坦克的变革

无人机如何催生了俄罗斯坦克的变革

枢密院十号
2026-08-10 18:17:40
高铁连播寻医却无人起身?三甲主任连拒三次,医生怕的到底是什么

高铁连播寻医却无人起身?三甲主任连拒三次,医生怕的到底是什么

社会日日鲜
2026-08-10 06:46:17
马斯克要用自由电子激光干翻EUV:不是疯了,是ASML的路走死了

马斯克要用自由电子激光干翻EUV:不是疯了,是ASML的路走死了

阿纂看事
2026-08-10 14:43:20
塞尔维亚总统武契奇明确表示:“欧洲已处于大战边缘”,乌克兰冲突短期内无法到解决,欧洲不要试图在乌克兰冲突中从战略上打败俄罗斯

塞尔维亚总统武契奇明确表示:“欧洲已处于大战边缘”,乌克兰冲突短期内无法到解决,欧洲不要试图在乌克兰冲突中从战略上打败俄罗斯

吉刻新闻
2026-08-10 11:39:46
最敏感时刻,伊朗知名“野心家”上位了

最敏感时刻,伊朗知名“野心家”上位了

中国新闻周刊
2026-08-10 19:10:28
豆包推荐酒店抽取12%佣金?多家酒店回应

豆包推荐酒店抽取12%佣金?多家酒店回应

界面新闻
2026-08-10 21:36:43
拍完新龙门客栈,梁家辉对张曼玉说:以后除了拍戏,咱俩别联系,这样对你我都好

拍完新龙门客栈,梁家辉对张曼玉说:以后除了拍戏,咱俩别联系,这样对你我都好

草莓解说体育
2026-08-10 16:30:35
摊牌了!伊朗首次公开承认:正在研发核弹,美以弃核伊朗才会弃核

摊牌了!伊朗首次公开承认:正在研发核弹,美以弃核伊朗才会弃核

面包夹知识
2026-08-06 21:12:37
易烊千玺凭借《小小的我》获得第38届百花奖最佳男主角,卫诗雅凭借《破·地狱》拿下最佳女主角奖

易烊千玺凭借《小小的我》获得第38届百花奖最佳男主角,卫诗雅凭借《破·地狱》拿下最佳女主角奖

极目新闻
2026-08-10 21:35:37
泪目!程梦圆遗体200米崖底找到,村民透露更多,疑似死因曝光

泪目!程梦圆遗体200米崖底找到,村民透露更多,疑似死因曝光

追踪之点
2026-08-10 23:39:13
网友称甘肃麦积山景区看完所有石窟需2000元,景区:部分石窟受特别保护,游客可按需买

网友称甘肃麦积山景区看完所有石窟需2000元,景区:部分石窟受特别保护,游客可按需买

北青网-北京青年报
2026-08-09 18:48:03
河南失联女孩亲哥曝猛料!独闯南太行另有隐情,不然不会连去3次

河南失联女孩亲哥曝猛料!独闯南太行另有隐情,不然不会连去3次

大鱼简科
2026-08-10 16:49:19
2026-08-11 07:20:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13721文章数 142716关注度
往期回顾 全部

科技要闻

马斯克又放大招:星链要吃掉全球一半流量

头条要闻

16岁少年强行抱女友跳河自杀 自己爬上岸放任女友溺亡

头条要闻

16岁少年强行抱女友跳河自杀 自己爬上岸放任女友溺亡

体育要闻

阿森纳的39号球衣,有了最适合的主人

娱乐要闻

演员秦焰去世 享年72岁

财经要闻

最多卖166亿港元,李嘉诚又要套现了

汽车要闻

搭载猎鹰500/限时售10.49万起 2027款艾瑞泽8PRO上市

态度原创

教育
房产
健康
公开课
军事航空

教育要闻

养儿子,别只惯他,要教他扛事,这十句话,从小就跟他说透,他这辈子绝差不到哪儿去

房产要闻

海南最难被说服的一群人,把15亿投给了同一个项目!

咸汤圆比甜汤圆更健康?别被误导了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普被指不想再打了:哪怕未达成核协议也想退出

无障碍浏览 进入关怀版