网易首页 > 网易号 > 正文 申请入驻

22%降到0.9%,这个27B模型被重训后话少了一半

0
分享至

本地模型这一年进步不小,能力比过去强得多。围绕本地AI的讨论里,大家常盯着模型多大、多少参数、每秒吐多少token、榜单排第几。这些数字能说明模型跑得怎么样,却说明不了它学了什么。模型怎么训练,平时不显眼,可一旦你信任它的回答,这事就变得要紧——带偏见的回答很容易把人带错方向。


Nous Research 的说法是,Qwen3.8-27B 在政治敏感话题上会拒绝、回避,或者重复中国政府的表述框架,他们给出的解法是 Arete-27B。每次重训都有弄坏别的东西的风险,于是有人在自己的 RTX 4070 Ti Super 上把两个模型都跑了一遍:先问一个日常问题,再打开联网搜索问同一个问题。

Arete-27B 是什么

它是 Qwen3.8 加了一个关键区别。Nous Research 是 Hermes Agent 背后的实验室,11月早些时候发布了 Arete-27B。这个模型是在 Qwen3.8-27B 之上做监督微调,训练答案来自 Thinking Machines Lab 的开源模型 Inkling,覆盖从言论自由到监控等七个政治敏感领域。实验室称,在他们那套 803 条提示词的测试里,模型对特定问题的宣传式回答从 22% 降到了 0.9%。

它和 Hugging Face 上常见的那种“去审查”版 Qwen3.8 构建不一样,后者是把拒绝行为整体拆掉。Arete-27B 是有针对性的重训,Nous 说重训过程几乎没损失什么,Hermes Bench 得分 65.60%,原版是 65.77%。它采用 Apache 2.0 许可,训练数据和测试集也都公开。

测试环境是 llama-server,显卡 RTX 4070 Ti Super,配 Ryzen 5 7600X 和 32GB DDR5-6000 内存。默认的 Q4_K_M 文件塞不进显卡的 16GB GDDR6X 显存,所以用了 bartowski 的 IQ4_XS 量化版,两个模型分别是 15.2GB 和 15.5GB,剩下约 2GB 留给其他东西。两个模型都按 Qwen 模型卡上的思考模式采样参数运行:temperature 1.0、top_p 0.95、top_k 20、min_p 0。

同一道选择题,两个模型怎么想

最直接的切入点是 Nous 说它改掉的那部分,也就是模型回答与自身偏见相关的问题时的表现。测试没有照搬 Nous 自己的题,而是选了一个用户真会问的日常问题,也是隐形偏见最容易导致错误决策的场景。给两个模型的提示词完全一样:在小米手机和 Google Pixel 之间做选择,隐私是重点,两家公司各收集哪些个人数据、数据流向哪里、谁可能拿到,最后给出会选哪一台。

两个模型都倾向 Pixel,但推理时对两国政府的权重不一样。Arete 把中国政府的访问称为一种结构性风险,认为 Google 没有真正对等的东西;Qwen 则花了更多篇幅讲美国的监控,并提醒如果这是主要担忧,Pixel 帮不上什么忙。

事实层面两边都没做对。Qwen 列出了小米声称存储数据的大部分地区,Arete 只写到“中国和/或其他国家”。Qwen 提到一个 Google 自家 Pixel 页面都没写的“无权限定位”设置,Arete 则把 Pixel 的两个隐私功能搞混了。思考长度也差得远:Arete 推理了 3,371 词,Qwen 用了约 6,000 词才给出结论。

联网之后,一个更快一个更谨慎

最后一轮测试把两个模型都接到自建的 SearXNG 实例上,同一个小米与 Pixel 的问题,外加一句要求联网并引用来源。两个模型用同样的采样参数和 32K 上下文起步。

Arete 又快又省,对一个基于 Qwen3.8 的模型来说相当少见。它跑了 9 次搜索、读了 4 个页面,还给每个抓取的页面设了字符上限,大约 15 分钟收尾,用掉约 22K token 上下文。

Qwen3.8 则在 32K 上下文上反复不够用,只能翻倍到 64K 并配 8 位缓存才跑完,耗时 38 分钟,做了 12 次搜索、12 次页面读取,没有一次设上限。其中相当一部分时间花在追一条罗马尼亚对小米的罚款,以及一篇它隐约记得却始终没找到的 404 Media 报道上。

多花的力气确实体现在答案里。Qwen 读完了小米的隐私政策,说清了哪些站点屏蔽了它,并删掉了无法证实的说法。Arete 把一份关于中国销售手机的研究套用到了所有小米机型上,引用了一个它其实没真正读到的页面上的数字,还依赖了一条论坛帖子。Qwen 也不算完美,它夸大了美国国家安全信函能从 Google 拿到什么。两个模型最终都选了 Pixel,而且都比不联网时更笃定。

在 16GB 显存的卡上,Arete-27B 是更好相处的那个:想得更少、搜得更少,32K 上下文内就能收工;同样的测试里 Qwen 需要双倍上下文和长得多的时间。Arete 没做到的,是像 Qwen 那样细致地核对来源。如果拿它做研究,日常问题可以交给 Arete,网上找到的东西还是得自己再核一遍。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孙伟履新中国驻吉布提大使,曾任新疆生产建设兵团外办副主任

孙伟履新中国驻吉布提大使,曾任新疆生产建设兵团外办副主任

澎湃新闻
2026-11-20 14:29:03
没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

捣蛋窝
2026-11-03 13:31:15
艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

吃货的分享
2026-11-20 04:06:14
开拓者主帅谈杨瀚森出场12分钟:他的表现完全合格,维持了竞争力

开拓者主帅谈杨瀚森出场12分钟:他的表现完全合格,维持了竞争力

体坛周报
2026-11-20 13:25:21
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
抗战时,徐向前为什么失去了军事指挥权?因为他犯了教员的忌讳

抗战时,徐向前为什么失去了军事指挥权?因为他犯了教员的忌讳

阿胡
2025-03-20 13:01:27
新任广西壮族自治区政府秘书长李盛已任自治区政府党组成员

新任广西壮族自治区政府秘书长李盛已任自治区政府党组成员

澎湃新闻
2026-11-20 17:42:41
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
老百姓躺平摆烂,食税群体该怎么办?

老百姓躺平摆烂,食税群体该怎么办?

深度人物说
2026-11-20 13:26:11
故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

飞云如水
2024-12-28 13:54:42
同济大学56岁讲师因脑出血去世:他不完美,但值得被记住

同济大学56岁讲师因脑出血去世:他不完美,但值得被记住

必记本
2026-11-20 19:49:10
欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

梦在深巷aqa
2026-11-20 10:01:29
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

WarOH协虎
2024-12-01 22:10:02
著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

老蒋谈策划
2026-11-06 06:38:24
于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

一盅情怀
2026-11-19 14:03:42
“把你们都杀了!”四川一业主群声讨楼下广场舞大娘,当晚领舞死了

“把你们都杀了!”四川一业主群声讨楼下广场舞大娘,当晚领舞死了

罪案洞察者
2025-07-26 15:35:50
苏州市公安局姑苏分局招聘200人

苏州市公安局姑苏分局招聘200人

Today苏州
2026-11-20 13:14:53
两岸统一货币,台湾慌了

两岸统一货币,台湾慌了

燕梳楼频道
2026-11-20 12:16:58
官方回复:成都又一家医院,停业了

官方回复:成都又一家医院,停业了

呼呼历史论
2026-11-20 12:54:33
2026-11-20 20:52:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
263文章数 84关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
旅游
教育
健康
公开课

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版