网易首页 > 网易号 > 正文 申请入驻

卡帕西大模型横评方法太好玩!四大AI匿名参赛评分,最强出乎意料

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

卡帕西又来发布趣味编程项目了~

这次直接整了一个“大模型议会”(LLM Council)web app。

界面看起来和ChatGPT的聊天形式别无二致,但实际上当用户输入问题后,系统会通过OpenRouter调起多个大模型开会商议。

有意思的是,它们不仅会一起答题,而且还会互相评分、排序,最终将由主席模型给出一个统一答案。

卡帕西刚把这个应用的安装部署教程分享出来,就立马被不少网友码住:

更有甚者表示,或许以后模型自己评价模型本身就能变成一种新的“自动benchmark”:

畅销书《Python机器学习》作者也很看好这个思路:

LLM议会怎么玩

具体来说,卡帕西的这个LLM议会系统,主要可分为三步流程:

Step 1:让多个模型同时回答一个问题。

首先使用中间层OpenRouter同时调用多个大模型,包括:

  • GPT-5.1
  • Gemini 3 Pro Preview
  • Claude Sonnet 4.5
  • Grok-4

然后在同一问题下逐个收集它们的回复,并以标签视图的形式展示,以便用户进行检查。

Step 2:所有模型进行匿名互评。

这时,每个LLM都会收到其他LLM的回复。

为避免偏袒,对它们的身份都做了匿名化处理。

然后要求模型根据准确性和洞察力对其他模型的回答质量进行评估,需要给出评分和详细理由。

Step 3:主席模型汇总最终回答。

LLM委员会将指定一名主席,将所有模型的回复汇总,并形成一个最终的答案,再转交给用户。

于是通过这个过程,就能直接对比不同模型,在处理同一个问题时的风格差异,而且能够直观地看到模型之间互相评价的过程。

这套系统,其实是延续了卡帕西最近分享的用LLM分阶段深度阅读的项目。

PS:在GitHub上也收获了1.8k Stars。

该项目将传统的阅读流程重塑为与LLM协作的流程,通常阅读一篇文章内容也分为三个阶段:

1、先人工自己通读一次,获得整体感知和直觉理解。
2、然后将内容交给大模型处理,让它理解重难点、提取结构、总结内容等。
3、对文章细节进行深度追问,例如“为什么作者这里会这样写?”

最终就是将写作对象从人类读者转变为LLM读者,让LLM作为中介理解内容,再个性化翻译给不同的读者听。

当将大模型议会融入其中后,大模型们的商议结果也很有意思。

卡帕西发现,大模型一致认为最强、最有洞见的答案来自GPT-5.1,而Claude被公认为最弱,Gemini 3和Grok-4则排名位于中间。

但显然他对这个答案并不认同,在卡帕西的个人主观评价中,GPT-5.1内容丰富但是结构不够紧凑;Gemini 3答案更简洁凝练、信息处理得更好;而Claude答案过于简略。

此外,令人出乎意料的是,模型几乎很少出现明显的偏见,它们通常会愿意承认自己的答案不如另一个模型好。

总的来说,卡帕西认为虽然模型内部自评不一定与人类主观一致,但类似的多模型集成或许将成为一个巨大的可探索空间,甚至可能成为未来LLM产品的一个突破点。

参考链接:
[1]https://x.com/karpathy/status/1992381094667411768?s=20
[2]https://github.com/karpathy/llm-council
[3]https://x.com/karpathy/status/1990577951671509438

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孔蒂揭秘离开国米原因,张康阳曾要求卖掉几乎所有球员

孔蒂揭秘离开国米原因,张康阳曾要求卖掉几乎所有球员

懂球帝
2026-11-19 21:42:55
破防了?巴基斯坦的老百姓都明白一个道理:中国强,我们就强

破防了?巴基斯坦的老百姓都明白一个道理:中国强,我们就强

麓谷隐士
2026-10-20 00:05:04
到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

凡知
2026-11-19 10:52:17
纳德拉力挺英伟达:黄仁勋离职令人遗憾 但对公司未来仍充满信心

纳德拉力挺英伟达:黄仁勋离职令人遗憾 但对公司未来仍充满信心

cnBeta.COM
2026-11-20 00:05:02
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
消息确定!她已决定退出!

消息确定!她已决定退出!

清唱
2026-11-18 22:58:00
男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

捣蛋窝
2026-11-19 18:36:08
54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

影孖看世界
2026-11-19 23:36:48
马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

起点财经
2026-11-18 14:00:14
太惨烈了!萍乡交警查酒驾时被杀,三人死亡

太惨烈了!萍乡交警查酒驾时被杀,三人死亡

江启
2026-11-19 05:58:48
69岁张铁林聚餐照曝光,叼着烟斗涮铜锅,一桌老北京规矩,栽在一口烟上,网友吵翻:私人饭局该不该管

69岁张铁林聚餐照曝光,叼着烟斗涮铜锅,一桌老北京规矩,栽在一口烟上,网友吵翻:私人饭局该不该管

迪迪的娱乐故事
2026-10-19 17:09:33
当年被骂自私的高龄产妇盛海琳,16 年后,双胞胎女儿成了她的依靠

当年被骂自私的高龄产妇盛海琳,16 年后,双胞胎女儿成了她的依靠

子芫伴你成长
2026-11-20 00:05:05
秦红缨的死就是为了给林昭和陈素让路?《持械入宋》里这条评论,让我破防了!

秦红缨的死就是为了给林昭和陈素让路?《持械入宋》里这条评论,让我破防了!

姜糖先生
2026-11-19 18:44:37
阿里巴巴最新业绩出炉!股价巨震

阿里巴巴最新业绩出炉!股价巨震

证券时报
2026-11-19 21:29:11
丰盈不是累赘,饱满身姿更显大气

丰盈不是累赘,饱满身姿更显大气

穿的像个人样
2026-11-17 08:01:36
演员张慧雯恋情曝光,男友贺鹏是富二代,也是杨紫的大学初恋

演员张慧雯恋情曝光,男友贺鹏是富二代,也是杨紫的大学初恋

林轻吟
2026-11-19 07:20:48
大马丁:在梅西退出国家队后,我们应该适当降低门票价格

大马丁:在梅西退出国家队后,我们应该适当降低门票价格

懂球帝
2026-11-19 21:52:10
王子璇还原文吉儿火车换位置事件

王子璇还原文吉儿火车换位置事件

老吴教育课堂
2026-11-19 16:15:51
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
反了!森林狼联盟第一防守!爱德华兹或无缘3亿顶薪

反了!森林狼联盟第一防守!爱德华兹或无缘3亿顶薪

篮球实战宝典
2026-11-19 15:15:49
2026-11-20 00:52:49
量子位 incentive-icons
量子位
追踪人工智能动态
13700文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
房产
家居
公开课
军事航空

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版