网易首页 > 网易号 > 正文 申请入驻

12个用例只对8个,他改完规则后全对了

0
分享至

一个评审在PR里要你补测试。你读完消息,推一个commit,过一阵再回来——讨论串已经翻篇了。那条请求是被满足了、被撤回了,还是单纯被埋了?


Hacktoberfest第三周的作品Prilizer想解决的就是这件事。它是一个本地“补课台”,面向单个贡献者最多三个公开PR:读取PR正文、评论、评审和行内评论,再用本地Qwen3模型识别其中的请求,并解释讨论发生了什么变化。每条动作都附带原始引用和GitHub链接。

作者最在意的不是摘要本身,而是下一次刷新时会发生什么。一条未完成的请求,即使下一次摘要里没提到,也会继续留在列表上。把摘要标记为“已读”只记录你读过,不代表请求关闭。请求离开活跃列表只有三种情况:来源被明确确认、本地手动忽略、或PR进入新的关闭/合并状态。关闭PR并不证明被要求的代码已经修好。

如果采集不完整或模型调用失败,卡片会显示“Check manually”,并保留旧证据。这个应用不会自动发回复,也不会去解决GitHub上的讨论串。

第一次冻结评测就没过

首轮冻结评测的结果是8/12正确,其中还出现了一次错误的“Waiting”状态。模型漏掉了间接请求,也搞混了是谁在问谁。

作者的应对是加约束:来源角色、新鲜确认,并且把失败样本保留下来。下一轮跑之前,先冻结了十二个不同的合成用例。改后的流水线拿到12/12,零错误Waiting,零无效动作引用。作为对照,固定关键词基线是10/12,带一次错误Waiting——模型抓到了一个关键词基线漏掉的批准条件。

这个结果属于整条流水线,包含确定性的持久化和校验,不能等同于普遍可靠性。摘要措辞没有被评分,人工检查仍在两份摘要里发现了误导性的行为主体归属。

速度是另一道坎

新鲜集合的模型调用耗时8.4–47.1秒。一个真实的Docker CLI PR花了47.3秒,随后在未变更的刷新中复用了分析结果。一个Node.js PR两次撞上60秒超时,应用把它留在“Check manually”。作者设定的30秒目标仍未达成,原始结果和早期失败都保留着。

架构上,一个React页面与回环地址上的Node服务通信,有界的匿名采集器把各讨论通道分开并比对完整快照。Qwen3 1.7B提出结构化请求,应用代码校验引用与来源,然后把请求独立于下一次模型摘要持久化。刷新是手动的,未变更的成功分析走缓存,旧请求继续可见,也没有需要一直盯着的通知流。

作者明确表示,没有测量过这能省下多少人工评审时间。他宁愿把这个问题留着,也不想把一次快速的缓存读取包装成对别人工作日的结论。

为什么开放权重在这里重要

Qwen3的开放权重加上Ollama,让语义解释和保存的讨论跑在同一台笔记本上。GitHub拉取新数据仍需联网,缓存的证据离线可读。模型提出含义,可检查的应用代码负责校验来源ID、精确引用、行为主体资格、新鲜度和请求持久化。规则可以改,也可以换另一个本地模型测试,不依赖托管推理端点。

没有按请求计费的推理账单,但硬件、电费、内存和等待仍然有成本。仓库里包含安装说明、评测输入、原始输出和失败运行记录。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
淮北市委书记蒋曦当选安徽省委常委

淮北市委书记蒋曦当选安徽省委常委

大风新闻
2026-10-23 14:15:14
美国打死都没想到!当年把中国外逃的上千名贪官当成“香饽饽”,死活不肯遣返,明里暗里纵容他们,硬生生把自己捧成了头号“逃犯避风港”

美国打死都没想到!当年把中国外逃的上千名贪官当成“香饽饽”,死活不肯遣返,明里暗里纵容他们,硬生生把自己捧成了头号“逃犯避风港”

扶苏聊历史
2026-10-21 13:35:54
这支中国男足在日本主场击败日本队夺冠!

这支中国男足在日本主场击败日本队夺冠!

五星体育
2026-10-23 21:49:03
美国智库警告:一旦中美台海开战,美军将有92%几率击败解放军?

美国智库警告:一旦中美台海开战,美军将有92%几率击败解放军?

飘逸的云朵
2026-10-24 03:22:43
iPhone 18标准版外观曝光,网友吐槽:太丑了

iPhone 18标准版外观曝光,网友吐槽:太丑了

安兔兔
2026-10-21 15:56:49
曼联内部认定埃迪豪最适合执教,原因曝光!孔蒂暗示确实与曼联谈判

曼联内部认定埃迪豪最适合执教,原因曝光!孔蒂暗示确实与曼联谈判

罗米的曼联博客
2026-10-24 09:59:18
难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

火山詩话
2026-10-22 08:15:35
中国无路可退!日本已经选好了主战场,正在逼迫中国跳入战争陷阱

中国无路可退!日本已经选好了主战场,正在逼迫中国跳入战争陷阱

哎呀哎呀看电影
2026-10-23 03:23:32
成立两月余机械公司蓝V留言“一起披”后销号,扬州警方介入

成立两月余机械公司蓝V留言“一起披”后销号,扬州警方介入

再战五百回合
2026-10-23 22:29:30
彻底不装了!卡里克采访不再妥协,公开撕破曼联乱象,早已做好下课准备

彻底不装了!卡里克采访不再妥协,公开撕破曼联乱象,早已做好下课准备

宵阳爱生活
2026-10-24 06:58:32
两部电影,同一种尴尬!

两部电影,同一种尴尬!

梳子姐
2026-10-22 18:09:37
现在最懵的人应该就是王曼昱了,她估计怎么都想不到,十三年前签的那份省队协议,如今还真换来一张记大功公示。

现在最懵的人应该就是王曼昱了,她估计怎么都想不到,十三年前签的那份省队协议,如今还真换来一张记大功公示。

乒乓乐园
2026-10-24 06:04:53
惨痛!36岁移民出国旅游,为拍一张照片偏离步道,家人眼睁睁看着她坠崖身亡!

惨痛!36岁移民出国旅游,为拍一张照片偏离步道,家人眼睁睁看着她坠崖身亡!

华人生活网
2026-10-24 05:13:42
山东青岛一路口出现不同品牌车辆调头提示,门店称为方便顾客到店,当地交警:已要求限期拆除,如果期限内没拆,有关部门会介入

山东青岛一路口出现不同品牌车辆调头提示,门店称为方便顾客到店,当地交警:已要求限期拆除,如果期限内没拆,有关部门会介入

台州交通广播
2026-10-22 23:14:09
洋相百出、脑袋空空?这次杨澜和孙俪的访谈,给流量明星上了一课

洋相百出、脑袋空空?这次杨澜和孙俪的访谈,给流量明星上了一课

空樽对月花独瘦
2026-10-23 05:28:53
李昌钰追思会,哭的最伤心的不止二婚妻子,还有被当做亲女儿的她

李昌钰追思会,哭的最伤心的不止二婚妻子,还有被当做亲女儿的她

寒士之言本尊
2026-10-23 22:10:04
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

有范又有料
2025-12-17 14:54:06
哪的大米最好吃?10大产地排行榜:五常第1,但“最健康”的答案不在产地,在米袋上

哪的大米最好吃?10大产地排行榜:五常第1,但“最健康”的答案不在产地,在米袋上

阿莱美食汇
2026-10-23 02:18:03
中国第一个6万亿城市,要来了

中国第一个6万亿城市,要来了

国民经略
2026-10-23 11:37:07
2026-10-24 10:44:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
218文章数 82关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

女子被同事兄弟俩在车底偷装GPS 两人动机不同互不知情

头条要闻

女子被同事兄弟俩在车底偷装GPS 两人动机不同互不知情

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

房产
旅游
本地
手机
数码

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

旅游要闻

顺义舞彩浅山红叶进入最佳观赏期,将持续至11月中旬

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

手机要闻

苹果iPhone Duo影像细节曝光:主摄最高可读取5100万像素

数码要闻

少见的良心售后!7万元RTX 5090风扇故障:厂商不退款直接修

无障碍浏览 进入关怀版