网易首页 > 网易号 > 正文 申请入驻

上海人工智能实验室推出“以人为本”大模型评测体系

0
分享至

“大模型能力越来越强,各类评测榜单层出不穷,模型分数越刷越高,但大模型的能力对我们个人来说究竟有什么用,我们并不知道。”2月22日,在2025全球开发者先锋大会“浦江AI生态论坛”上,上海人工智能实验室双聘研究员、上海交通大学教授翟广涛表示,大模型终究要为人服务,当前以模型为中心的先出题、再做题、算分的评价模式面临数据泄露和性能饱和两大挑战,大模型出现“高分低能”。

为了应对这种情况,上海人工智能实验室提出了“以人为本”的评测思路。上海人工智能实验室大模型开放评测平台司南正式发布“以人为本”(Human-Centric Eval)的大模型评测体系,系统评估大模型能力对人类社会的实际价值,为人工智能应用更贴近人类需求提供可量化的人本评估标注。

上海人工智能实验室提出“以人为本”的评测思路。

传统大模型基准测试普遍采用结果导向的评价标准,这种评价方式虽然能够直观反映模型性能,却忽略了人类实际需求。司南团队提出的评测方案根据人类需求设计实际问题,让人与大模型协作解决,再由人类对模型的辅助能力进行主观评分,以此补充客观评价的不足,使评估更贴合人类感知。

其中,“认知科学驱动”评估框架围绕解决问题能力、信息质量、交互体验三大核心维度,构建覆盖多场景、多领域的主观评测体系。通过模拟学术研究、数据分析、决策支持等真实人类需求,由用户与大模型协作完成任务,并基于人类主观反馈量化评估模型的实际应用价值,为下一步技术研发与产业落地提供科学参考。

为了验证“以人为本”评估方式的有效性,同时评测大模型在研究生学术研究中的应用价值,司南团队选取了当前公认的优秀模型DeepSeek-R1、GPT-o3-mini、Grok-3作为评测对象,组织有学术研究需求的研究生参与。团队根据文献综述、数据分析、可行性研究等学术研究中的常见需求,设计了人工智能、法律、金融等8个领域的相关问题,研究生与大模型协作解决。实验结果显示,所有受测模型分析准确性、思考全面性、协助高效性维度能力均势。DeepSeek-R1在解决生物、教育学科问题上表现突出;Grok-3在金融、自然领域优势明显;GPT-o3-mini则在社会领域表现良好。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
克里米亚大桥被炸塌,对俄罗斯意味着什么?

克里米亚大桥被炸塌,对俄罗斯意味着什么?

山河路口
2026-11-18 18:00:20
怎么有人敢造国常会的谣?

怎么有人敢造国常会的谣?

凤眼论
2026-11-18 16:22:38
全军覆没!上海玄鸟领衔NBL球队征战CBA杯首日三战全败

全军覆没!上海玄鸟领衔NBL球队征战CBA杯首日三战全败

狼叔评论
2026-11-18 18:44:06
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
崩溃!退役吧,被主教练点名,真打不了NBA……

崩溃!退役吧,被主教练点名,真打不了NBA……

体育新角度
2026-11-18 14:49:51
内娱姐妹花:决裂10年,拒绝复合

内娱姐妹花:决裂10年,拒绝复合

最人物
2026-11-18 15:45:33
中方贵宾席座无虚席,菲律宾急坏了!

中方贵宾席座无虚席,菲律宾急坏了!

叶老四
2026-11-18 08:14:37
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
台北101点灯,力挺黄仁勋

台北101点灯,力挺黄仁勋

芯智讯
2026-11-17 12:23:23
榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

你的篮球频道
2026-11-18 10:31:49
克里米亚大桥被炸断了!!!

克里米亚大桥被炸断了!!!

西楼饮月
2026-11-17 16:41:46
美国卡住C919发动机后,世界才发现,中国造出了一台更好的

美国卡住C919发动机后,世界才发现,中国造出了一台更好的

混沌录
2026-11-17 19:43:30
CCTV5直播国安VS海港!张玉宁太累了!杨希对位林皇,安佩姆冲击王刚

CCTV5直播国安VS海港!张玉宁太累了!杨希对位林皇,安佩姆冲击王刚

刀锋体育
2026-11-18 19:38:54
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
江西24岁男子中缅边境失联2个月,姐姐:之前待业在家,曾打来一次电话,被问在哪国时沉默,旁边有人讲话

江西24岁男子中缅边境失联2个月,姐姐:之前待业在家,曾打来一次电话,被问在哪国时沉默,旁边有人讲话

大风新闻
2026-11-18 20:42:04
28中17!首发就爆种!湖人最新神级重磅签约

28中17!首发就爆种!湖人最新神级重磅签约

篮球实战宝典
2026-11-18 21:36:28
为什么格莱姆斯状态这么猛?必须要感谢三个人

为什么格莱姆斯状态这么猛?必须要感谢三个人

球毛鬼胎
2026-11-18 18:45:13
薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

乡野小珥
2026-11-17 14:39:45
11岁舞蹈女孩午餐精确到100克,身高1米55标准体重是60斤

11岁舞蹈女孩午餐精确到100克,身高1米55标准体重是60斤

东方豪侠
2026-11-18 12:45:42
2026-11-18 22:12:49
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
948586文章数 5098860关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
时尚
本地
亲子
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

裤子+靴子,冬天最经典搭配,松弛又时髦

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版