网易首页 > 网易号 > 正文 申请入驻

Google推出FACTS新基准:AI事实准确性的终极考验

0
分享至

这项由Google Research、Google DeepMind、Google Cloud以及Kaggle联合开展的重量级研究发表于2024年12月,研究团队包括Aileen Cheng、Alon Jacovi、Amir Globerson等数十位顶尖研究员。他们共同推出了名为FACTS(Factuality Assessment for Contemporary Text Synthesis)的全新评估基准套件,这是迄今为止最全面的AI事实准确性评估体系。有兴趣深入了解的读者可以通过arXiv:2512.10791v1查询完整论文。

在人工智能快速发展的今天,大型语言模型就像一个知识渊博但有时会胡说八道的朋友。虽然它们能够回答各种问题,写出流畅的文章,但却经常会编造一些看似合理实则错误的信息。这种现象被研究者称为"幻觉"问题,就像一个健谈的人有时会不小心说出一些并非事实的话语,让听者难以分辨真假。

为了解决这个问题,Google的研究团队开发了一套全新的评估体系,就像为AI设计了一场全方位的"事实核查考试"。这场考试包含四个不同的测试科目,每个科目都专门检验AI在特定情况下处理事实信息的能力。研究团队发现,即使是目前最强的AI模型,在这套全新的测试中也只能达到69%的平均准确率,这意味着还有很大的改进空间。

这项研究的意义就像为汽车工业制定了全面的安全测试标准一样重要。在AI技术日益融入我们生活的今天,确保AI提供准确可靠的信息变得至关重要。无论是帮助学生写作业,还是协助医生查阅资料,甚至是为企业决策提供信息支持,AI的事实准确性都直接影响着结果的可靠性。

一、FACTS基准的四大测试维度

FACTS基准就像一个全科医生的综合体检,包含四个不同角度的专项测试。每个测试都像体检中的不同项目一样,专门检查AI在特定能力方面的表现。

第一个测试叫做FACTS多模态测试,就像考察一个人能否准确描述眼前看到的画面。研究团队给AI展示各种图片,然后问它关于图片内容的问题。这不仅要求AI能够"看懂"图片,还要结合它已有的知识来回答问题。比如给AI看一张火车的照片,不仅要问它看到了什么,还会问这种型号的火车是什么时候制造的。这种测试包含约1500个问题,涵盖了从日常生活场景到专业图表的各种类型。

第二个测试是FACTS参数化测试,专门检验AI对世界知识的掌握程度。这就像一场百科知识竞赛,AI必须仅凭自己"脑中"储存的知识来回答问题,不能借助任何外部工具。研究团队精心设计了2104个问题,这些问题都是用户在现实中真正关心的,同时又具有一定难度。为了确保测试的挑战性,研究团队采用了一种巧妙的筛选方法:他们先用几个开源AI模型来尝试回答这些问题,只保留那些没有任何模型能正确回答的问题。这确保了测试不会因为问题太简单而失去意义。

第三个测试叫做FACTS搜索测试,模拟的是AI在能够使用搜索工具时的表现。这就像考察一个人在图书馆或互联网上查找信息并整理答案的能力。测试包含1884个问题,这些问题都需要通过搜索才能找到准确答案。研究团队特别关注那些需要多步推理的复杂查询,比如"创作《黑道家族》的编剧写过的所有电影中,哪一部发行得最早"这样的问题,需要AI先搜索找到编剧是谁,再搜索他的作品列表,最后确定发行时间。

第四个测试是FACTS文档理解测试的升级版本,主要检验AI能否准确地从给定文档中提取信息并回答问题。这就像考察学生阅读理解能力,要求AI必须严格按照文档内容来回答,不能添加任何文档中没有的信息。研究团队特别注重检测AI是否会"画蛇添足",即添加一些看似合理但实际上文档中并未提及的内容。

二、精密的评估机制设计

为了确保测试结果的准确性和公正性,研究团队设计了一套精密的评估机制,就像建立了一个多重把关的质量检测体系。

在多模态测试中,研究团队采用了一种双重评判机制。他们首先让人类专家为每个问题创建详细的评分标准,就像为每道考试题制定标准答案一样。这些标准答案不是简单的对错判断,而是包含了所有相关事实的详细清单。比如对于一张火车图片的问题,标准答案会列出火车的型号、制造年份、当前位置等所有重要信息,并标明哪些是"必需知道的核心事实",哪些是"有用但非必需的补充信息"。

然后,研究团队训练了一个专门的AI评判员来检查其他AI的答案。这个AI评判员需要做两个重要判断:第一,检查答案是否包含了所有必需的核心事实;第二,检查答案中是否包含任何与图片或已知事实相矛盾的错误信息。只有同时满足这两个条件的答案才被认为是准确的。

为了验证这套自动评判系统的可靠性,研究团队进行了大量的人工验证工作。他们让人类专家对同样的问题进行评判,然后比较人工评判和自动评判的结果。结果显示,自动评判系统与人类专家的判断具有很高的一致性,覆盖率评判的相关系数达到0.64,矛盾性检测的F1分数达到78.2,这表明自动评判系统是可靠的。

在参数化测试中,研究团队采用了一种更加严格的评分方式。他们使用强大的AI模型作为评判员,为每个答案生成三次独立的评分,然后取平均值作为最终分数。这种方法不仅考虑答案的准确性,还会识别AI是否在不确定时选择了回避回答,这是一种更加诚实的做法。比如,如果AI不知道某个问题的答案,选择说"我不知道"而不是瞎猜,这在某种程度上也是值得鼓励的行为。

在搜索测试中,评估变得更加复杂,因为需要考虑AI使用搜索工具的整个过程。研究团队不仅关注最终答案的准确性,还分析AI进行了多少次搜索,每次搜索的关键词选择是否合理,以及如何整合搜索结果形成最终答案。他们发现,最优秀的AI模型往往不是搜索次数最多的,而是能够用较少但更精准的搜索找到正确答案的那些。

三、令人深思的测试结果分析

测试结果揭示了当前AI技术发展的真实状况,就像一面清晰的镜子反映出各种AI模型的真实能力水平。

在整体排名中,Google自家的Gemini 3 Pro模型表现最佳,平均得分达到68.8分,但即使是这个最高分也意味着仍有约30%的错误率。紧随其后的是Gemini 2.5 Pro(62.1分)和OpenAI的GPT-5(61.8分)。这些分数看起来可能不够理想,但考虑到测试的高难度,这样的表现已经相当不错了。

更有趣的是,不同AI模型在各个测试项目中表现出明显的特色差异。Gemini系列模型在多模态测试中显示出"宁可多说也不漏说"的特点,它们倾向于提供更加详细和全面的答案,即使有时可能会包含一些不够精确的信息。相比之下,GPT系列模型则表现出"精准至上"的特点,它们的答案通常更加谨慎和准确,但有时可能会遗漏一些重要信息。

在参数化测试中出现了一个特别有趣的现象:一些AI模型开始学会了"知之为知之,不知为不知"的智慧。比如GPT-5和Claude系列模型,当遇到不确定的问题时,它们更倾向于承认自己不知道,而不是强行给出可能错误的答案。这种"诚实的无知"在某些情况下比错误的"自信"更有价值。

搜索测试的结果揭示了AI使用工具能力的差异。表现最好的Gemini 3 Pro平均只需要3.39次搜索就能找到答案,而一些其他模型需要进行超过4.5次搜索。这就像有些人能够用很少的关键词就在搜索引擎中找到想要的信息,而另一些人则需要尝试很多次不同的搜索词汇。

在文档理解测试中,结果显示AI在保持事实准确性和提供完整信息之间仍然存在平衡难题。一些AI为了避免说错话,会给出过于简短的答案,虽然没有错误但也没有充分回答用户的问题。另一些AI则试图提供详细答案,但可能会不小心添加一些文档中没有的信息。

四、技术创新与方法学贡献

这项研究不仅是一次简单的AI能力测试,更像是为整个AI评估领域建立了一套全新的标准和方法。

研究团队在数据收集方面采用了独创的"对抗性筛选"方法。他们不是随机选择问题,而是故意挑选那些能够"难倒"现有AI模型的问题。这个过程就像一个不断升级的挑战游戏:首先用几个不同的AI模型来尝试回答候选问题,然后只保留那些所有模型都答错的问题。这确保了测试始终具有挑战性,不会因为AI能力的提升而变得过时。

在多模态测试中,研究团队创新性地结合了视觉理解和知识推理两个方面。他们不满足于简单的图片描述任务,而是设计了需要将图片信息与背景知识相结合的复杂问题。比如,给AI看一张特定型号机车的图片,不仅要求它识别出这是什么,还要回答这个型号是什么时候设计的、在哪里制造的等需要专业知识的问题。

在评判系统的设计上,研究团队解决了一个长期困扰AI评估的难题:如何自动化地评估开放性答案的质量。传统的方法要么过于严格(只接受完全匹配的答案),要么过于宽松(容易被钻空子)。他们开发的双重评判机制既检查答案的完整性,又检查其准确性,就像有两个检查员分别负责"有没有遗漏重要信息"和"有没有说错话"。

研究团队还特别关注了AI评估中的"游戏化"问题。他们发现一些AI可能会通过给出极其简短的答案来避免犯错,虽然这样可以获得较高的准确性分数,但实际上没有为用户提供有用的信息。为了解决这个问题,他们引入了"响应充分性"评估,确保AI不仅要说得对,还要说得足够详细和有用。

在搜索测试的设计中,研究团队模拟了真实的信息检索场景。他们使用统一的搜索API确保所有AI模型面对完全相同的信息环境,这就像让所有参赛者在同一个图书馆里查找资料,确保测试的公平性。同时,他们还分析了AI的搜索策略,记录每次搜索的关键词选择和结果利用方式,为理解AI的推理过程提供了宝贵数据。

五、深远影响与未来展望

FACTS基准的推出标志着AI评估进入了一个新的时代,其影响就像GPS系统的出现改变了导航方式一样深远。

对于AI开发者而言,FACTS提供了一个清晰的改进方向。以前,开发者可能只是笼统地知道自己的AI"有时会说错话",但现在他们能够精确地了解问题出现在哪些具体场景中。比如,某个AI可能在处理图片相关问题时表现不错,但在回答需要多步推理的搜索问题时就会遇到困难。这种精细化的诊断信息对于针对性改进AI系统具有重要价值。

对于AI应用的普通用户来说,FACTS基准提供了一个客观的参考标准。当面对多种AI产品选择时,用户可以根据这些测试结果来判断哪个AI更适合自己的需求。如果用户主要需要AI帮助处理文档和资料,那么在文档理解测试中表现优异的AI可能更合适;如果用户需要AI帮助搜索和整理信息,那么在搜索测试中得分较高的AI会是更好的选择。

研究团队特别注重基准的长期可持续性。他们将测试数据分为公开和私有两部分,公开部分允许开发者了解测试标准并进行初步优化,私有部分则用于正式评估,防止AI模型"刷分"现象。这种设计就像考试系统一样,提供样题供学习参考,但正式考试题目保持神秘,确保评估结果的真实性。

基准测试还揭示了AI技术发展中的一些重要趋势。研究发现,简单地增加模型规模并不能解决所有问题,不同类型的能力需要不同的技术方法来提升。比如,提高图像理解能力可能需要更好的视觉处理技术,而提高事实准确性可能需要更好的知识整合机制。

更重要的是,FACTS基准为AI安全性研究提供了重要工具。在AI越来越多地参与重要决策的今天,确保AI提供准确可靠的信息变得至关重要。无论是医疗诊断、法律咨询还是教育辅导,AI的事实准确性都直接关系到结果的可靠性和用户的安全。

展望未来,研究团队计划持续扩展和改进FACTS基准。他们正在考虑添加更多的测试维度,比如处理快速变化信息的能力、多语言环境下的事实准确性,以及在专业领域(如医学、法律)的表现等。随着AI技术的不断发展,评估标准也需要同步进化,确保始终能够准确反映AI的真实能力水平。

这项研究也为其他研究者提供了宝贵的方法学参考。FACTS基准展示了如何设计全面、公正、可持续的AI评估体系,这些方法可以被应用到其他AI能力的评估中。从某种意义上说,FACTS不仅仅是一个测试工具,更是AI评估方法学的一次重要创新。

说到底,FACTS基准的真正价值在于为AI技术的健康发展提供了一个重要的指南针。它不仅告诉我们现在的AI能力水平如何,更重要的是为未来的改进指明了方向。随着越来越多的AI系统接受FACTS测试,我们有理由期待AI在事实准确性方面的显著提升,最终让AI成为我们更可靠、更值得信赖的智能伙伴。对于关注AI技术发展的读者,可以通过访问Kaggle平台上的FACTS基准页面来了解最新的测试结果和技术进展。

Q&A

Q1:FACTS基准包含哪些测试内容?

A:FACTS基准包含四个测试维度:多模态测试检验AI描述图片的准确性,参数化测试考察AI的世界知识储备,搜索测试评估AI使用搜索工具的能力,文档理解测试检验AI从给定文档中准确提取信息的能力。每个测试都针对AI在特定场景下的事实准确性表现。

Q2:为什么最好的AI模型在FACTS测试中只能达到69%的准确率?

A:FACTS测试故意设计得具有挑战性,问题都经过筛选,只保留那些能够"难倒"现有AI模型的内容。这确保了测试的前瞻性和实用性。69%的得分实际上已经相当不错,但也说明AI在事实准确性方面还有很大改进空间。

Q3:普通用户如何利用FACTS基准的测试结果?

A:普通用户可以根据FACTS测试结果选择最适合自己需求的AI产品。比如需要处理图片相关任务时可以选择在多模态测试中表现优异的AI,需要搜索整理信息时可以选择在搜索测试中得分较高的AI,从而获得更准确可靠的服务体验。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

麓谷隐士
2026-11-18 00:05:04
猪肝再次被关注!研究发现:糖尿病人吃猪肝,不过多久或有5改善

猪肝再次被关注!研究发现:糖尿病人吃猪肝,不过多久或有5改善

汪医生健康百科
2026-11-17 21:00:06
华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

LULU生活家
2026-07-21 21:01:36
四大一线集体狂飙!中国城市的大洗牌来了

四大一线集体狂飙!中国城市的大洗牌来了

时尚的弄潮
2026-11-18 05:08:14
越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

怪味历史连连看
2026-11-16 12:21:28
俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

环球网资讯
2026-11-18 11:06:11
日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

扶苏聊历史
2026-11-17 17:17:29
法媒:齐达内仅给扎伊尔-埃梅里8分钟出场,巴黎方面不愿评价

法媒:齐达内仅给扎伊尔-埃梅里8分钟出场,巴黎方面不愿评价

懂球帝
2026-11-19 01:43:09
巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

大厂财经社
2026-11-16 11:14:16
发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

疯狂的小历史
2026-11-17 11:55:25
毛主席两次为刘胡兰题词,却一直婉拒为董存瑞题词,坦言:我给董存瑞题词,实在是不合适

毛主席两次为刘胡兰题词,却一直婉拒为董存瑞题词,坦言:我给董存瑞题词,实在是不合适

磊子讲史
2026-11-13 11:18:46
外交冷场!特朗普访亚,各国笑脸之下,已经不再怕他的威胁

外交冷场!特朗普访亚,各国笑脸之下,已经不再怕他的威胁

老马拉车莫少装
2026-11-18 23:41:49
北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

法治边角料
2026-11-18 16:39:01
57岁王菲被曝分房睡传闻后,谢霆锋身份变了,和张柏芝拉开差距

57岁王菲被曝分房睡传闻后,谢霆锋身份变了,和张柏芝拉开差距

晓焎科普
2026-11-17 20:23:32
欠债166亿!英皇官宣谢霆锋容祖儿新身份,进董事局,这事不简单

欠债166亿!英皇官宣谢霆锋容祖儿新身份,进董事局,这事不简单

小椰的奶奶
2026-11-18 04:54:53
45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

一号崽崽
2026-11-18 21:02:26
台湾女生对郑丽文抛出“三连问”,问得又准又狠:

台湾女生对郑丽文抛出“三连问”,问得又准又狠:

叶老四
2026-11-17 19:36:33
大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

妍妍教育日记
2026-08-23 10:10:12
1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

回京历史梦
2026-11-17 14:23:17
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
2026-11-19 02:19:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10611文章数 572关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
本地
亲子
手机
房产

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版