本地模型这一年进步不小,能力比过去强得多。围绕本地AI的讨论里,大家常盯着模型多大、多少参数、每秒吐多少token、榜单排第几。这些数字能说明模型跑得怎么样,却说明不了它学了什么。模型怎么训练,平时不显眼,可一旦你信任它的回答,这事就变得要紧——带偏见的回答很容易把人带错方向。
![]()
Nous Research 的说法是,Qwen3.8-27B 在政治敏感话题上会拒绝、回避,或者重复中国政府的表述框架,他们给出的解法是 Arete-27B。每次重训都有弄坏别的东西的风险,于是有人在自己的 RTX 4070 Ti Super 上把两个模型都跑了一遍:先问一个日常问题,再打开联网搜索问同一个问题。
Arete-27B 是什么
它是 Qwen3.8 加了一个关键区别。Nous Research 是 Hermes Agent 背后的实验室,11月早些时候发布了 Arete-27B。这个模型是在 Qwen3.8-27B 之上做监督微调,训练答案来自 Thinking Machines Lab 的开源模型 Inkling,覆盖从言论自由到监控等七个政治敏感领域。实验室称,在他们那套 803 条提示词的测试里,模型对特定问题的宣传式回答从 22% 降到了 0.9%。
它和 Hugging Face 上常见的那种“去审查”版 Qwen3.8 构建不一样,后者是把拒绝行为整体拆掉。Arete-27B 是有针对性的重训,Nous 说重训过程几乎没损失什么,Hermes Bench 得分 65.60%,原版是 65.77%。它采用 Apache 2.0 许可,训练数据和测试集也都公开。
测试环境是 llama-server,显卡 RTX 4070 Ti Super,配 Ryzen 5 7600X 和 32GB DDR5-6000 内存。默认的 Q4_K_M 文件塞不进显卡的 16GB GDDR6X 显存,所以用了 bartowski 的 IQ4_XS 量化版,两个模型分别是 15.2GB 和 15.5GB,剩下约 2GB 留给其他东西。两个模型都按 Qwen 模型卡上的思考模式采样参数运行:temperature 1.0、top_p 0.95、top_k 20、min_p 0。
同一道选择题,两个模型怎么想
最直接的切入点是 Nous 说它改掉的那部分,也就是模型回答与自身偏见相关的问题时的表现。测试没有照搬 Nous 自己的题,而是选了一个用户真会问的日常问题,也是隐形偏见最容易导致错误决策的场景。给两个模型的提示词完全一样:在小米手机和 Google Pixel 之间做选择,隐私是重点,两家公司各收集哪些个人数据、数据流向哪里、谁可能拿到,最后给出会选哪一台。
两个模型都倾向 Pixel,但推理时对两国政府的权重不一样。Arete 把中国政府的访问称为一种结构性风险,认为 Google 没有真正对等的东西;Qwen 则花了更多篇幅讲美国的监控,并提醒如果这是主要担忧,Pixel 帮不上什么忙。
事实层面两边都没做对。Qwen 列出了小米声称存储数据的大部分地区,Arete 只写到“中国和/或其他国家”。Qwen 提到一个 Google 自家 Pixel 页面都没写的“无权限定位”设置,Arete 则把 Pixel 的两个隐私功能搞混了。思考长度也差得远:Arete 推理了 3,371 词,Qwen 用了约 6,000 词才给出结论。
联网之后,一个更快一个更谨慎
最后一轮测试把两个模型都接到自建的 SearXNG 实例上,同一个小米与 Pixel 的问题,外加一句要求联网并引用来源。两个模型用同样的采样参数和 32K 上下文起步。
Arete 又快又省,对一个基于 Qwen3.8 的模型来说相当少见。它跑了 9 次搜索、读了 4 个页面,还给每个抓取的页面设了字符上限,大约 15 分钟收尾,用掉约 22K token 上下文。
Qwen3.8 则在 32K 上下文上反复不够用,只能翻倍到 64K 并配 8 位缓存才跑完,耗时 38 分钟,做了 12 次搜索、12 次页面读取,没有一次设上限。其中相当一部分时间花在追一条罗马尼亚对小米的罚款,以及一篇它隐约记得却始终没找到的 404 Media 报道上。
多花的力气确实体现在答案里。Qwen 读完了小米的隐私政策,说清了哪些站点屏蔽了它,并删掉了无法证实的说法。Arete 把一份关于中国销售手机的研究套用到了所有小米机型上,引用了一个它其实没真正读到的页面上的数字,还依赖了一条论坛帖子。Qwen 也不算完美,它夸大了美国国家安全信函能从 Google 拿到什么。两个模型最终都选了 Pixel,而且都比不联网时更笃定。
在 16GB 显存的卡上,Arete-27B 是更好相处的那个:想得更少、搜得更少,32K 上下文内就能收工;同样的测试里 Qwen 需要双倍上下文和长得多的时间。Arete 没做到的,是像 Qwen 那样细致地核对来源。如果拿它做研究,日常问题可以交给 Arete,网上找到的东西还是得自己再核一遍。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.