网易首页 > 网易号 > 正文 申请入驻

超越GPT-4 Turbo,国产大模型首次排名榜首!最新SuperCLUE测评出炉

0
分享至

OpenAI长期霸榜的SuperCLUE(中文大模型测评基准),有了新“头雁”。

自SuperCLUE问世以来,GPT-4、GPT-4 Turbo先后六次占据榜首位置。最近,商汤日日新5.0(SenseChat V5)“申请出战”,以总分80.03分的优异成绩刷新国内最好成绩,并且在中文综合成绩上超越GPT-4-Turbo-0125——这也是国内大模型首次在SuperCLUE中文基准测试中超越GPT-4 Turbo实现登顶。


采访对象供图(下同)

SuperCLUE综合性测评基准4月评测集,含2194道多轮简答题,覆盖理科与文科两大能力,包括计算、逻辑推理、代码、长文本在内的基础十大任务。在本次测评中,SenseChat V5在各项能力上表现较为均衡,尤其在长文本、生成创作、角色扮演、安全能力、工具使用上处于全球领先位置——

SenseChat V5在文科任务上表现出色,取得82.20的高分,国内外模型中排名第一,较GPT-4-Turbo-0125高4.40分。其中,知识百科(82.4)、长文本(79.2)、角色扮演(80.4)、语义理解(81.6)、生成创作(79.4)、传统安全(90.2)均刷新国内最好成绩。

SenseChat V5在理科任务上表现不俗,取得76.78分,国内模型中排名第一,较GPT-4-Turbo-0125低4.35分,还有一定提升空间。其中,计算(80.6)、逻辑推理(73.8)、工具使用(80.8)均刷新国内最好成绩;在代码能力上还有一定优化空间。


SuperCLUE工作组发现:将SenseChat V5与国内大模型平均得分对比,SenseChat V5在所有能力上均高于平均线,展现出较均衡的综合能力,尤其在计算(+16.15)、逻辑推理(+18.89)、代码(+19.06)、长文本(+21.16)能力上远高出平均线15分以上。

在与国外代表大模型对比时SuperCLUE的工作组发现,SenseChat V5在文科类中文任务上好于国外大模型,尤其在长文本、生成创作能力较为领先。


4月23日,商汤科技正式发布全新大模型日日新5.0(SenseChat V5),采用混合专家架构(MoE),参数量高达6000亿,支持200K的上下文窗口。此次SenseChat V5模型能力显著提升,其背后是训练数据的全面升级与训练方法的有效提升,以及商汤AI大装置算力设施与算法设计的联合调优。

新民晚报记者 郜阳

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京明日高温退场 雷雨开始频繁串场

北京明日高温退场 雷雨开始频繁串场

央广网
2024-06-19 18:10:16
饿一饿能多活20年?科学家发现:饥饿时,细胞会自己“吃掉”自己

饿一饿能多活20年?科学家发现:饥饿时,细胞会自己“吃掉”自己

39健康网
2024-06-18 19:00:02
笑不活了!姜萍父亲回应全球数学竞赛12名上热搜!网友评论亮了!

笑不活了!姜萍父亲回应全球数学竞赛12名上热搜!网友评论亮了!

小李子体育
2024-06-18 10:11:35
美国在台海开战会有何后果?中国专家:第二天它就不再是超级大国

美国在台海开战会有何后果?中国专家:第二天它就不再是超级大国

全民历史观
2024-06-18 20:08:12
北京炒房客全军覆没,北京房价双跌,西城区某二手房跌至24万一平

北京炒房客全军覆没,北京房价双跌,西城区某二手房跌至24万一平

有事问彭叔
2024-06-19 16:18:06
巴黎奥运女排分组抽签出炉,中国与法国、塞尔维亚、美国同组

巴黎奥运女排分组抽签出炉,中国与法国、塞尔维亚、美国同组

澎湃新闻
2024-06-19 19:18:33
“倒查30年”与“去中心化”

“倒查30年”与“去中心化”

忽然亦周
2024-06-19 09:57:38
胡锡进:得饶人处且饶人,但余琦自己造成的后果得慢慢承受

胡锡进:得饶人处且饶人,但余琦自己造成的后果得慢慢承受

映射生活的身影
2024-06-19 13:49:12
俄罗斯总检察长:中国军事检察官将于11月在俄接受培训

俄罗斯总检察长:中国军事检察官将于11月在俄接受培训

俄罗斯卫星通讯社
2024-06-19 15:02:34
以色列向全球发出沉痛之声!

以色列向全球发出沉痛之声!

林林爱天堂
2024-06-17 18:40:06
大s模仿者中s现身麻六记新店开业,和麻六记高管合照,要见张兰

大s模仿者中s现身麻六记新店开业,和麻六记高管合照,要见张兰

鑫鑫说说
2024-06-19 15:08:25
葡中场真核疑不爽C罗:总得把球给他!专家:队友们并不信任C罗!

葡中场真核疑不爽C罗:总得把球给他!专家:队友们并不信任C罗!

风过乡
2024-06-19 07:49:26
“人民”警察网暴人民,丧尽天良!

“人民”警察网暴人民,丧尽天良!

观风者
2024-06-14 10:06:53
国际足联考虑给一个特邀名额给大国参加世界杯,国际足联别出心裁

国际足联考虑给一个特邀名额给大国参加世界杯,国际足联别出心裁

英超足球那些事
2024-06-19 11:28:06
王思聪终于回复黄一鸣,网友:确实是他的风格

王思聪终于回复黄一鸣,网友:确实是他的风格

菠萝小九
2024-06-18 12:40:43
妻子2次和光棍偷情,2017年光棍嫌她有丈夫,觉得被玩弄了杀死她

妻子2次和光棍偷情,2017年光棍嫌她有丈夫,觉得被玩弄了杀死她

汉史趣闻
2024-06-19 11:12:42
陈道明说对了,不演戏就“消失”的佟大为,已经走上了“不归路”

陈道明说对了,不演戏就“消失”的佟大为,已经走上了“不归路”

启农说本尊
2024-06-19 02:48:10
一派出所副所长,头部中弹身亡!

一派出所副所长,头部中弹身亡!

鲁中晨报
2024-06-19 08:47:05
正式离队,国足离队3人曝光,两人摊牌发声,郑智看懂了

正式离队,国足离队3人曝光,两人摊牌发声,郑智看懂了

东球弟
2024-06-19 15:14:56
曝陈晓陈妍希婚姻破裂,双方社媒已经互相取关,男方一心只想离婚

曝陈晓陈妍希婚姻破裂,双方社媒已经互相取关,男方一心只想离婚

前创工作室
2024-06-19 12:36:31
2024-06-19 20:00:49
新民晚报
新民晚报
新民晚报选择上海的理由
454108文章数 540524关注度
往期回顾 全部

科技要闻

618观察:谁为高强度的低价竞争买单?

头条要闻

白宫:美国不担心普京访朝 担心的是俄朝关系不断深化

头条要闻

白宫:美国不担心普京访朝 担心的是俄朝关系不断深化

体育要闻

欧洲杯最大的混子,非他莫属

娱乐要闻

黄一鸣“杀疯了” 直播间卖大葱养孩子

财经要闻

深化科创板改革 证监会发布八条措施

汽车要闻

双肾格栅变化大/内饰焕新 新一代宝马X3官图发布

态度原创

旅游
艺术
房产
公开课
军事航空

旅游要闻

遭遇极端高温天气导致希腊多名游客死亡

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

房产要闻

17.9亿!终于,有民企在三亚大手笔拿地了!周边房价10万+!

公开课

近视只是视力差?小心并发症

军事要闻

菲律宾军方称中国海警登上菲方船只并缴枪 外交部回应

无障碍浏览 进入关怀版