网易首页 > 网易号 > 正文 申请入驻

同一个尺码,两个系统吵了三周:我把抓取引擎开源后踩的坑

0
分享至

我在家里跑着一个私人智能体。它有一份配置文件,记着我的尺码、版型、颜色偏好和常买的品牌,然后去我真正会下单的店铺抓货。

后来我把抓取引擎单独开源成了一个工具。它有自己的配置文件,自己的店铺清单,自己对"我的尺码"的理解。

大约三周里,这两套系统一直在打架。不是大吵大闹那种。私人智能体说我的裤子是 XL,公开工具说 XL 或 XXL。其中一个是对的,但我完全不知道是哪个——因为工具输出的样子,和智能体输出的一样权威。

我先把公开工具写了出来,回头再看私人智能体,发现是同一件事:同样二十家 Shopify 店铺,同样的 /products.json 接口,同样的"按变体库存判断你的尺码有没有货"逻辑。

每家店都被打了两次,一次来自智能体,一次来自工具,时间表不同,解析方式也不同。每周两个数据池就漂移得更远一点,因为私人这边修好了一个尺码标签,公开那边没有;反过来也一样。

公平地说,私人智能体老得多也聪明得多:它多了六个适配器,建立在无头渲染器上,还有图片匹配、价格错误检测、订单历史。但这些全都架在我已经复制过一遍的那二十家店上面。

同一个抓取器我写了两遍,然后管它叫两个功能。

显而易见的修法是"让一个调另一个"。调哪个?这个问题一开始就问错了。

该问的是:谁拥有这些事实?

我真正会去编辑的文件,是智能体的 profile.yaml。尺码变了,我改的是它。所以它才是事实来源——而公开工具的配置是副本的副本,手写的,早就过期了。

于是修法长这样:智能体的 profile.yaml 是我唯一编辑的文件,一个桥接脚本把它投影成工具需要的格式,生成工具的 profile.yaml 和 config.yaml,后者包括店铺清单。生成出来的文件永远不手改。

桥接脚本大约一百行,干的全是不体面的活:复制尺码、映射版型规则、把"绝不买 Zara"翻译成品牌过滤器,再丢掉工具不该有的字段。

它故意丢两个字段。工具的 schema 拒收它们,智能体自己的规则也不允许。智能体存着我的身高体重用于版型推理,并且被禁止把这些数字透露给任何人。所以桥接不复制,工具的校验器见到就拒。两条独立规则在同一个边界上达成一致,这正是你想要的效果——意味着以后不可能被意外越过。

然后我改了抓取路径。那二十家共享店铺现在由工具抓——有测试、有打包的那个——智能体改为读取工具的数据池,不再自己去抓这些店。智能体保留它多出来的六个适配器和无头渲染的鞋店,只是不再重复抓那二十家。

意外的是,之后几乎没怎么变。智能体的数据池格式和工具完全不像——字段名不同,结构不同,其中一个把尺码存成 JSON 字符串。中间大约四十行映射,然后……它就跑通了。智能体的每日摘要开始包含工具抓来的条目,看不出任何接缝。

那四十行就是全部诀窍。两套系统从来没有不同的事实,它们只是形状不同,而形状翻译起来很便宜。

我反复重新学到的规则是:如果两个系统需要同样的事实,其中一个就不该去采集它们。不是"应该共享",是共享。在拥有事实的地方采集一次,其他人只读。

智能体系统的诱惑在于,每个"灵魂"都觉得自己有权拥有自己的抓取器,因为自己抓数据的灵魂感觉自给自足。但自给自足和重复是两回事,而重复不会自己宣告:两份副本看起来都对,漂移要几个月后才以"为什么工具觉得我的尺码不一样"的形式冒出来。

做这件事还学到两个小点:

  • 生成文件需要一个会跑的生成器,而不是一句"它应该被生成"的备注。我第一版是记得才手动跑一次的脚本,两周内就错了。能用的版本是每周任务里的三行:先跑桥接,再抓取。现在它漂不了,因为它和使用它的任务同一个节奏重新生成。
  • 把私人配置挡在公开仓库外。桥接和合并方案一进公开仓库,我就得把它们拿回来——接线属于那台机器,不属于项目。小事,但这是可复用库和别人带公开 URL 的私人配置之间的区别。

如果要给过去的我一句话:当你准备把驱动自己智能体的引擎开源时,先定好哪一边拥有配置,另一边必须是生成的,而且生成器要接进使用它的任务里。

工具因为公开而更好:它有了当私人脚本时不会有的测试,打包过程逼我修好了一个从来没工作过的抓取器。但私人智能体因为作为事实来源而更好,因为那才是我真正会去改文件的地方。

两套系统,一份配置,一条抓取路径。把它们粘起来的代码是最无聊的部分,而所有重复以前就住在这个无聊的部分里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网红金毛“十七” 被牵走宰杀,最新进展:嫌疑人已被刑拘,犬只价值认定1200元达判刑标准

网红金毛“十七” 被牵走宰杀,最新进展:嫌疑人已被刑拘,犬只价值认定1200元达判刑标准

封面新闻
2026-11-13 22:33:03
黄仁勋辞职!华人执掌美国四大芯片巨头的格局被打破

黄仁勋辞职!华人执掌美国四大芯片巨头的格局被打破

快科技
2026-11-13 08:28:05
两岸大结局近了!马英九前核心幕僚表态:大陆将祖国统一顺位提前

两岸大结局近了!马英九前核心幕僚表态:大陆将祖国统一顺位提前

军机Nova
2026-11-13 00:19:10
两性关系:老话说得太准,十女人九个愿意,却都怕男人说漏嘴

两性关系:老话说得太准,十女人九个愿意,却都怕男人说漏嘴

伊人河畔
2026-09-12 21:33:02
排面!葡萄牙全队将穿7号致敬C罗 第7分钟举办仪式 空置其房间怀念

排面!葡萄牙全队将穿7号致敬C罗 第7分钟举办仪式 空置其房间怀念

我爱英超
2026-11-13 19:31:38
面相的确是不会骗人的,我给我奶看了李小冉的照片她开口就说:这女孩一看就是个拎得清、不会委屈自己的。

面相的确是不会骗人的,我给我奶看了李小冉的照片她开口就说:这女孩一看就是个拎得清、不会委屈自己的。

LULU生活家
2026-11-13 22:46:20
11月11日11时11分!中国空军以大国自信官宣世界领先

11月11日11时11分!中国空军以大国自信官宣世界领先

文昌每日谈
2026-11-12 17:00:04
爆满!多地景区“沦陷”!苏B大军出动了

爆满!多地景区“沦陷”!苏B大军出动了

江南晚报
2026-11-14 01:28:44
WTT常规赛:女单8强诞生!中国1人日本4人,国乒独苗迎战世界冠军

WTT常规赛:女单8强诞生!中国1人日本4人,国乒独苗迎战世界冠军

全言作品
2026-11-14 01:58:28
常卫魏出任中国女足主帅,曾率武汉队夺首届女足亚冠冠军

常卫魏出任中国女足主帅,曾率武汉队夺首届女足亚冠冠军

观察者网
2026-11-13 20:33:04
广东男篮速递!杜锋重回宏远训练基地,贝帅确认带队出席俱乐部杯赛,徐杰仍处休假当中

广东男篮速递!杜锋重回宏远训练基地,贝帅确认带队出席俱乐部杯赛,徐杰仍处休假当中

凯丰侃球
2026-11-14 03:05:21
iPhone 20 Pro屏幕贴膜现身:苹果首次放弃直屏 改用四微曲设计

iPhone 20 Pro屏幕贴膜现身:苹果首次放弃直屏 改用四微曲设计

快科技
2026-11-14 00:09:03
被骂“念错名字出洋相”,高叶金鸡发言翻车后,反手给内娱上一课:不是不识字,是太把人当真

被骂“念错名字出洋相”,高叶金鸡发言翻车后,反手给内娱上一课:不是不识字,是太把人当真

秋风妃
2026-11-13 11:12:58
Kimi、DeepSeek、智谱占美国企业开源AI支出近九成,但中国模型不想只卖API了

Kimi、DeepSeek、智谱占美国企业开源AI支出近九成,但中国模型不想只卖API了

科创板日报
2026-11-12 08:36:20
大逆转!马克西27+8,巴雷特31+14+5,新援立大功,东部第七易主

大逆转!马克西27+8,巴雷特31+14+5,新援立大功,东部第七易主

篮球大视野
2026-11-13 10:36:00
南瓜被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢?

南瓜被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢?

杜医生聊健康
2026-11-08 07:00:07
中共中央政治局委员、国务院副总理何立峰会见美国景顺集团总裁兼首席执行官施洛斯伯格

中共中央政治局委员、国务院副总理何立峰会见美国景顺集团总裁兼首席执行官施洛斯伯格

极目新闻
2026-11-13 09:33:22
射击教练涉嫌“走私武器罪”二审,多省射击队购买走私枪支配件?

射击教练涉嫌“走私武器罪”二审,多省射击队购买走私枪支配件?

中国新闻周刊
2026-11-13 16:15:57
销量暴跌84.5%!曾经的全球销冠,也卖不动了!

销量暴跌84.5%!曾经的全球销冠,也卖不动了!

电动内参
2026-11-11 01:31:41
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
2026-11-14 04:15:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
240文章数 112关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

体育要闻

28年前的“点球罪人”,把冠军带回大连

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

时尚
手机
房产
本地
公开课

霍启山娜然婚礼将近,豪门新娘妆长什么样?

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

房产要闻

十年长草!三亚这个豪宅盘,爆出新消息!

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版