网易首页 > 网易号 > 正文 申请入驻

MongoDB工程师被问了10年的功能

0
分享至


数据建模功能上线那天,MongoDB专业服务团队的老张可能比产品经理还激动。这个功能被客户追问了整整10年,结果真做出来之后,没人拿它做Schema验证——全拿去当数据字典了。

这很合理。团队对齐数据长什么样,比约束数据格式更急迫。模型一敲定,下一步就是造点假数据开始写代码。问题是,写脚本生成符合模型、看起来还真实的测试数据,是个体力活。老张说:"我给客户干过太多次了。"

于是他决定让机器干。不是从零造轮子,而是嫁接一个2008年就存在的Perl脚本库——Faker。这个库被移植到各种语言,自带280多种生成器,邮箱、人名、地址、车牌号一应俱全。老张选了Python版本。

核心难题:怎么让机器"看懂"字段该生成什么

模型有了,生成器也有了,中间缺一座桥。老张的方案写在JSON Schema的description字段里:用#号包裹Faker方法名和参数。比如#"faker.name.name"#。你自己的描述可以照常写,工具只提取两个#号之间的内容。


这能跑通,但不够懒。老张想要的是:你扔给我一个字段名,我直接猜该用哪个生成器。猜的依据是语义相似度——用向量搜索实现。

为了轻量化,他选了ChromaDB做向量数据库。实现逻辑很直白:

把Faker所有方法的名字和描述向量化,存进ChromaDB;用户字段名也向量化,去库里找最接近的匹配。

几个细节优化让猜测更准确:字段名预处理、多候选投票、常见数据类型的硬编码映射。最终成品叫mock-data,开源在GitHub。

三种输出姿势,覆盖开发全流程


工具支持三种数据落点。最轻的是导出ejson文件,直接扔进output文件夹;要联调就直写MongoDB,传个连接串就行;还有Kafka模式,方便测流处理管道。

命令行界面刻意做得极简。指定Schema文件、造多少条、输出到哪,三句话搞定:

mockdata -s schemas/BookStore.json -n 50 -t mongodb mongodb://localhost/

老张在10年服务生涯里见过太多团队的手动造数据脚本——写一遍、改一遍、废弃一遍。他的判断是:模型即代码的趋势下,数据生成应该和模型绑定,而不是和某个临时脚本绑定。

这个工具现在还在早期。向量搜索的准确率取决于字段命名规范程度,叫user_email的字段一猜一个准,叫ue的就容易翻车。老张留了手动注解的兜底方案。

有意思的是,MongoDB Compass的数据建模功能本身也是个"迟到"的需求。10年间被反复提起,优先级始终打不过其他特性。真上线后,开发者们的用法和产品经理的设想完全不同——没人拿它约束数据,全拿它对齐认知。老张的工具,算是给这个"跑偏"的用法补上了最后一环。

你团队的测试数据现在怎么造?是手写脚本、用现成的Mock平台,还是直接copy生产环境然后祈祷别泄露?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“科大男生9秒视频”火了,生猛操作令人叹为观止:不愧是高才生

“科大男生9秒视频”火了,生猛操作令人叹为观止:不愧是高才生

妍妍教育日记
2026-03-20 21:33:36
一辈子关系最好的两种人:小时候光腚一起玩,长大后光腚一起玩

一辈子关系最好的两种人:小时候光腚一起玩,长大后光腚一起玩

青苹果sht
2026-04-04 06:26:30
73岁大爷为43岁妻子做阴茎假体手术,网友破防了:这才是真爱

73岁大爷为43岁妻子做阴茎假体手术,网友破防了:这才是真爱

魔都姐姐杂谈
2026-04-02 18:52:46
央视八套今晚深夜剧场开始播出电视剧《我们的日子》

央视八套今晚深夜剧场开始播出电视剧《我们的日子》

动物奇奇怪怪
2026-04-05 13:35:18
救回第二名飞行员,美国又搭上两架C130,和一架“小鸟”直升机

救回第二名飞行员,美国又搭上两架C130,和一架“小鸟”直升机

三叔的装备空间
2026-04-05 19:52:31
郑丽文访问大陆,岛内民调惊人,吴伯雄重磅表态,赖清德遭到重击

郑丽文访问大陆,岛内民调惊人,吴伯雄重磅表态,赖清德遭到重击

肖兹探秘说
2026-04-05 19:23:07
从身家千万到惨遭破产,盘点把家产败光的退役球星

从身家千万到惨遭破产,盘点把家产败光的退役球星

仰卧撑FTUer
2026-04-04 20:49:17
冯提莫户外直播被严重晒伤!大方展示胸前大片红肿

冯提莫户外直播被严重晒伤!大方展示胸前大片红肿

游民星空
2026-04-03 18:09:22
蒙古大变天,就在所有人以为新总理必反华时,他却对华正式交底了

蒙古大变天,就在所有人以为新总理必反华时,他却对华正式交底了

青烟小先生
2026-04-05 10:14:03
2-2!迈阿密新主场首战憾平 梅西4连杀+斩第903球 苏神替补救主

2-2!迈阿密新主场首战憾平 梅西4连杀+斩第903球 苏神替补救主

我爱英超
2026-04-05 10:07:32
访华不到 4 个月!马克龙转头倒向日本!把对中国的承诺当废纸?

访华不到 4 个月!马克龙转头倒向日本!把对中国的承诺当废纸?

有范又有料
2026-04-05 19:37:31
美媒披露细节:失踪飞行员徒步离开残骸,躲山脊上,只有一把手枪

美媒披露细节:失踪飞行员徒步离开残骸,躲山脊上,只有一把手枪

Ck的蜜糖
2026-04-05 15:18:07
他是上海著名主持,40多岁仍未婚,离掉铁饭碗创业,非常愧对父母

他是上海著名主持,40多岁仍未婚,离掉铁饭碗创业,非常愧对父母

做一个合格的吃瓜群众
2026-04-05 17:41:41
前英超球星纳斯里逃税翻车!一年212次巴黎外卖出卖了他

前英超球星纳斯里逃税翻车!一年212次巴黎外卖出卖了他

仰卧撑FTUer
2026-04-05 13:00:06
35岁数学家王虹再传喜讯:获纽约大学最高荣誉,成为该校“银教授”

35岁数学家王虹再传喜讯:获纽约大学最高荣誉,成为该校“银教授”

极目新闻
2026-04-04 16:28:10
张召忠预言或将成真:美国一旦倒下,亚洲这2国将会打起来?

张召忠预言或将成真:美国一旦倒下,亚洲这2国将会打起来?

音乐时光的娱乐
2026-04-05 16:24:36
香椿立大功?调查发现:香椿可在40小时内清除体内55%有害菌群?

香椿立大功?调查发现:香椿可在40小时内清除体内55%有害菌群?

蜉蝣说
2026-04-02 09:15:23
吓破胆!金昊行刑前尿湿裤子,记者最新采访曝光,刘铭瑶并非高攀

吓破胆!金昊行刑前尿湿裤子,记者最新采访曝光,刘铭瑶并非高攀

壹月情感
2026-04-05 14:19:31
美军特种部队伊朗境内惊险营救F-15E武器系统军官

美军特种部队伊朗境内惊险营救F-15E武器系统军官

Nee看
2026-04-05 13:20:43
伊朗发动第七轮导弹袭击 耶路撒冷拦截导弹升空

伊朗发动第七轮导弹袭击 耶路撒冷拦截导弹升空

财联社
2026-04-05 00:30:28
2026-04-05 20:28:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
856文章数 6关注度
往期回顾 全部

科技要闻

花200薅5千算力,Claude冷血断供“龙虾”

头条要闻

营救细节公布:伊朗搜捕人员距飞行员藏身地不到3公里

头条要闻

营救细节公布:伊朗搜捕人员距飞行员藏身地不到3公里

体育要闻

CBA最老球员,身价7500万美元

娱乐要闻

好用心!宋慧乔为好友庆生做一桌美食

财经要闻

谁造出了优思益这头“怪物”?

汽车要闻

家用SUV没驾驶乐趣?极氪8X第一个不同意

态度原创

数码
手机
本地
教育
公开课

数码要闻

英伟达“神经纹理压缩”可让显存占用直降85%,且游戏画质无损

手机要闻

ColorOS 17界面曝光:通知消息堆叠+液态玻璃,或定调了!

本地新闻

跟着歌声游安徽,听古村回响

教育要闻

历史课被“弃选”,部分历史老师“无人可教”,专家分析原因

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版