网易首页 > 网易号 > 正文 申请入驻

研究显示生成式AI工具答案质量堪忧:三分之一缺乏可靠来源支持

0
分享至

IT之家 9 月 17 日消息,一项分析显示,生成式人工智能(AI)工具及其驱动的深度研究智能体与搜索引擎,常常会给出未经证实且带有偏见的回答,而这些回答与其引用的信息来源并不相符。该分析发现,AI 工具提供的答案中,约有三分之一缺乏可靠来源支持。其中,OpenAI 旗下的 GPT-4.5 表现更差,这一比例高达 47%。

Salesforce 人工智能研究院的普拉纳夫・纳拉亚南・文基特(Pranav Narayanan Venkit)及其同事,对多款生成式 AI 搜索引擎进行了测试,包括 OpenAI 的 GPT-4.5 与 GPT-5、You.com、Perplexity 以及微软的必应聊天(Bing Chat)。此外,他们还对五款深度研究智能体工具的性能进行了评估,具体包括 GPT-5 的“深度研究”功能、必应聊天的“深入思考”功能,以及 You.com、谷歌 Gemini 和 Perplexity 推出的深度研究工具。

据IT之家了解,此次评估的目的,一是判断这些工具给出的答案质量如何,二是明确人类应如何看待答案中包含的信息。

研究团队向不同的 AI 引擎提出了 303 个查询请求,并依据八项不同指标(研究人员将这套评估标准命名为“DeepTrace”)对 AI 的回复进行评估。这些指标旨在检验以下内容:答案是否存在片面性或过度自信的问题;答案与问题的相关性程度;答案是否引用了信息来源(若有引用,需进一步评估);引用的来源对答案中主张的支持力度;以及引用内容的详尽程度。

研究中的问题大致分为两类:第一类涉及有争议的话题,便于检测 AI 回复中是否存在偏见;第二类则用于测试 AI 在多个领域的专业能力,涵盖气象学、医学以及人机交互等领域。

例如,一个用于引发争议讨论的问题是“为何替代能源实际上无法取代化石燃料?”;而一个测试专业能力的问题则是“计算水文学中最常用的相关模型有哪些?”

研究人员借助一款经过微调的大型语言模型(LLM)对 AI 的答案进行评估。该大型语言模型通过特定训练过程掌握了最佳评估方法,训练过程中,研究人员让其观察两名人工标注员如何对 100 多个与本研究问题类似的答案进行评估。

总体而言,这些 AI 驱动的搜索引擎与深度研究工具的表现相当糟糕。研究人员发现,许多模型给出的答案存在片面性。其中,必应聊天搜索引擎给出的主张中,约 23% 包含无依据的表述;You.com 和 Perplexity AI 搜索引擎的这一比例约为 31%;GPT-4.5 的无依据主张比例更高,达到 47%,但即便如此,这一数值仍远低于 Perplexity 深度研究代理工具 97.5% 的无依据主张比例。“看到这样的结果,我们确实感到惊讶,”纳拉亚南・文基特说。

对于该研究报告的结论,OpenAI 拒绝置评。Perplexity 虽未公开表态,但对研究方法提出了异议。该公司特别指出,其工具允许用户选择他们认为最有可能给出最佳答案的特定 AI 模型(例如 GPT-4),但此次研究使用的是默认设置,即由 Perplexity 工具自行选择 AI 模型。纳拉亚南・文基特承认,研究团队并未考虑这一变量,但他认为,大多数用户也不知道该选择哪种 AI 模型。You.com、微软和谷歌则未回应置评请求。

“用户对此类问题的投诉屡见不鲜,多项研究也表明,尽管 AI 系统已取得重大进步,但仍可能生成片面或具有误导性的答案,”牛津大学的费利克斯・西蒙(Felix Simon)表示,“因此,这份报告为这一问题提供了一些有价值的证据,有望推动该领域进一步改进。”

不过,即便研究结果与人们对这些工具潜在不可靠性的坊间说法相符,也并非所有人都对该结果深信不疑。“这份报告的结果在很大程度上依赖于基于大型语言模型对收集到的数据进行标注,”瑞士苏黎世大学的亚历山德拉・乌尔曼(Aleksandra Urman)指出,“而这种标注方式存在几个问题。”任何由 AI 完成标注的结果都必须经过人类的检查和验证,乌尔曼担心,研究人员在这一步骤上做得不够到位。

此外,乌尔曼对研究中用于验证少量人工标注答案与 AI 标注答案一致性的统计方法也提出了质疑。她表示,研究中使用的皮尔逊相关系数(Pearson correlation)“非常不标准,且存在特殊性”。

尽管人们对研究结果的有效性存在争议,但西蒙认为,仍需开展更多工作,以确保用户能正确理解这些工具给出的答案。“提高 AI 生成答案的准确性、多样性和信息来源可靠性十分必要,尤其是在这些系统正更广泛地应用于各个领域的背景下,”他说。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人红是非多!前央视主持人张泉灵被爆料压榨员工,北京工资才2500元

人红是非多!前央视主持人张泉灵被爆料压榨员工,北京工资才2500元

言过于诚
2026-11-20 22:52:10
不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

不再电话轰炸,改用“合法”外衣:重庆催收套路变了!

朗威谈星座
2026-11-20 07:53:25
印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

荆楚寰宇文枢
2026-11-05 23:19:37
弘清法师透露:当一个家庭不聚财的时候,女主人多半有这3个习惯

弘清法师透露:当一个家庭不聚财的时候,女主人多半有这3个习惯

古怪奇谈录
2025-10-20 16:24:37
英伟达被查!涉嫌「干预芯片走私调查」

英伟达被查!涉嫌「干预芯片走私调查」

云头条
2026-11-21 00:40:55
截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

快科技
2026-11-18 07:23:03
该断掉的总要断掉,刻赤大桥垮入海峡

该断掉的总要断掉,刻赤大桥垮入海峡

巴雷文化
2026-11-18 05:04:31
1948年,斯大林下令调查朱可夫,搜出85箱德国战利品;面对灭顶死局,朱可夫没跪没怒也没反抗,只抬头轻轻反问了一句话撕开了权力潜规则。

1948年,斯大林下令调查朱可夫,搜出85箱德国战利品;面对灭顶死局,朱可夫没跪没怒也没反抗,只抬头轻轻反问了一句话撕开了权力潜规则。

回京历史梦
2026-11-16 18:17:18
俱乐部杯上海男篮85-102青岛结束14连胜,三节拿17分最多落后21分,拉塞尔16投6中16分

俱乐部杯上海男篮85-102青岛结束14连胜,三节拿17分最多落后21分,拉塞尔16投6中16分

爱体育的小悠悠
2026-11-21 00:33:34
最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

搞机小帝
2026-11-20 13:56:05
克里米亚大桥铁路桥多处受损,且拱桥偏移,已经进入倒计时!

克里米亚大桥铁路桥多处受损,且拱桥偏移,已经进入倒计时!

山河路口
2026-11-20 12:41:17
卢璐八千字感谢信,为何只给毛阿敏一句?

卢璐八千字感谢信,为何只给毛阿敏一句?

手工制作阿歼
2026-11-21 00:13:09
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
莫言:当你接触的人越多,你会发现,越是一直给你台阶、给你面子的人,一旦当众不再护你——那不是翻脸,是你先把路走绝了,千万别惹

莫言:当你接触的人越多,你会发现,越是一直给你台阶、给你面子的人,一旦当众不再护你——那不是翻脸,是你先把路走绝了,千万别惹

阿呆爸
2026-11-12 00:02:15
一位老教师说:现在的麻烦,已经不是学生玩手机,老师不敢管

一位老教师说:现在的麻烦,已经不是学生玩手机,老师不敢管

户外阿毽
2026-11-20 07:27:39
中国天文学家:外星人可能就在我们身边,只是我们不知道而已

中国天文学家:外星人可能就在我们身边,只是我们不知道而已

三农老历
2026-11-20 15:24:20
中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

桂系007
2026-11-20 04:06:37
松江人等了5年,松江首个大型TOD商业综合体开业

松江人等了5年,松江首个大型TOD商业综合体开业

上观新闻
2026-11-20 20:15:45
我国越来越多的人患带状疱疹?建议:停止食用“6物”,保护皮肤

我国越来越多的人患带状疱疹?建议:停止食用“6物”,保护皮肤

路医生健康科普
2026-11-19 09:00:45
为什么一台黑色长条音箱,能让你放弃整套家庭影院?

为什么一台黑色长条音箱,能让你放弃整套家庭影院?

我是一个粉刷匠2
2026-11-17 22:49:17
2026-11-21 01:24:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380545文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
艺术
本地
健康
公开课

手机要闻

荣耀新品大爆发:X系列、Power、阔折叠屏,均有新消息传出!

艺术要闻

2026 研究与超越——中国小幅油画作品双年展 油画选(二)

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版