一个智能体到底行不行,不看它嘴上说得多好,看它背后接的内容够不够硬。这是 Sanity Challenge 的出发点,也是这次比赛两条赛道的分界线。
![]()
第一条路要求参赛者做出一个由 Sanity 上下文知识库支撑的智能体,门槛定得很直白:如果关键词搜索也能给出同样的答案,那就再往上做。第二条路宽松得多,随便写点奇怪的东西,然后老实交代过程有多狼狈。
评审阶段看到的项目不少。有一个智能体知道罗马尼亚本周刚改了它的短剧规则,还能用四种语言讲给你听;有一份礼仪指南拒绝直接存一个结论,而是根据当地人和旅行者的实际说法推断某件事算不算失礼;还有不止一个项目拿自己跟关键词搜索对比,把输掉的回合也一并公开。很多人把每一次走错的路都记了下来,而不只是留下干净漂亮的那一版。
第一条路的赢家
@rayyer 做的智能体回答的是某个地点、某个时刻,时钟和日历在法律上到底怎么说,以及依据的是谁的授权。它把法律条文、IANA 时区数据库和运行时自己的时钟并排读取。待通过的立法被建模成 Sanity 的内容发布,所以你可以问"如果这项法案通过了,答案会变成什么";当两个来源冲突时,智能体会起草一份裁决,由人来签字,签完之后才成为此后每一次构建的固定指令。
在 30 道留出题上,Clockwrit 拿到 30/30。同一个模型不带工具是 22/30,对同样来源做关键词搜索是 16/30。
@dannwaneri 大学学的是地球物理,他给自己训练过的问题做了个智能体:尼日尔三角洲某处的地下水电祖率读数,是正常、异常,还是不确定,依据是三篇已发表的勘测论文。数字只从 GROQ 查询来,解释只从知识库来。三角洲的勘测点经常没有网络,所以离线模式会完全甩开模型,仍然从结构化数据里给出结论。做的时候他发现这三篇论文内部存在不一致,逐条对着原始 PDF 核对,还联系了通讯作者。
@big14way 的 Clearance Desk 针对的是一个代价为一年的问题:在尼日利亚,你可能已经被录取,却因为一门科目不对,在注册审核环节被挡在门外。它把考生的 UTME 科目、分数和 O'level 考试次数,对照五所大学公布的 2026/2027 要求逐项检查,返回"符合""有风险""不符合",每个来源都附链接。设计原则是模型负责查找和解释,判定交给确定性代码。
他自己的评测直接回答了那个问题:同一个模型、对同一个知识库做关键词搜索,读到了正确的条目,引用了正确的规则,然后还是告诉一个不符合条件的考生"你没问题"。
第二条路的赢家
@faris-khan 把纽约皇后区一个社区委员会 2,512 条真实的 311 坑洞投诉,改造成了一家宠物领养收容所,每一个结局都遵循城市自己的记录。数据里的空缺变成了角色:62% 的投诉没有坐标,它们就是走失的流浪动物,按街道列出,而不是硬放到一张得靠编造才能填满的地图上。三个工作流定义驱动生命周期,一个自定义 App SDK 应用负责审核。他的构建记录写得很诚实,包括文档上限迁移、重复的工作流实例,以及智能体报告"什么都没写"而实际上写了的那一刻。
@kenwalger 做了一个虚拟酒窖,回答的问题比"我现在有什么"更难:它存的是事件和有日期的断言,而不是当前状态,所以你可以问 1999 年这批收藏长什么样,或者 2018 年你认为某瓶酒的适饮期是什么时候。他的构建记录是一份如何让验证难以造假的示范,里面的关卡明确写出什么不算证据,还有明确告诉模型不许去修的判定基准。发布之后有读者在设计里挑出一个漏洞,Ken 没有悄悄打补丁,而是加了一段附录说明问题所在,并把它记成一条架构决策记录。
五位赢家都将获得 500 美元现金奖、DEV++ 会员和专属 DEV 徽章。所有提交有效的参赛者都会在 DEV 个人主页上获得完成徽章。
Hacktoberfest 开源 AI 挑战赛第三周正在进行,主题是"慢而稳"。第四周将于 10 月 26 日启动。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.