网易首页 > 网易号 > 正文 申请入驻

SERHANT.用1个SDK同时调用3家大模型

0
分享至


800个房产经纪人同时用AI跑客户分析,后台却只用3个工程师维护——这不是什么SaaS神话,是纽约地产公司SERHANT.去年交出的真实数据。他们的秘密武器叫S.MPLE,一个从内部试点干到全员标配的AI工具,核心逻辑简单粗暴:让模型互相打工,哪个便宜用哪个。

2024年2月,Jeremy Bunting以工程VP身份加入时,S.MPLE已经跑了200人内测。这个Next.js应用搭在Vercel上,前端是渐进式网页,后来顺手扩了个React Native iOS版,后端没动一砖一瓦。Bunting的焦虑不在技术债,在AI本身——"这行变化比你的迭代周期还快,选错模型等于白干三个月"。

AI SDK:把"绑死一家"变成"随时跳槽"

Bunting最初对Vercel的AI SDK有本能警惕。他直接问团队:"这玩意会不会把我们锁死在Vercel生态里?"一个工程师的回应让他改了主意——"这不是基础设施绑定,是基础设施独立"。

翻译成人话:SDK只是层翻译官,OpenAI、Claude、Gemini的API格式千差万别,SDK帮你抹平差异。想换模型?改行配置的事,不用重写业务逻辑。

Bunting算过一笔账。如果团队all in某个前沿模型,每次厂商涨价、降速、抽风,都得跟着重写 fallback 逻辑。AI SDK把"模型选择"变成了配置文件里的下拉菜单,"认知负荷直接砍半"。

AI Gateway是另一张牌。团队内部有人自己揣着API key做原型,Gateway照样能统一监控用量、成本和响应延迟。Bunting的原话:"调试快了,优化快了,花钱花在哪也清楚了。"

三模型混打:复杂任务给Claude,快响应丢给Gemini

省下来的工程时间,全砸在"什么任务配什么模型"的实验上。SERHANT.的打法很现实——没有全能选手,只有分工协作:


Claude Sonnet处理复杂、需要准确性的任务。房产市场分析涉及多源数据交叉验证,容错率低,Claude的"长思考"模式更稳。

Gemini Flash跑轻量级、高并发的查询。客户问"这套房学区怎么样",响应速度比深度分析更重要,Gemini的定价和延迟都占优。

OpenAI GPT-4o作为中间地带的默认选项。当任务复杂度介于两者之间,或者需要特定功能调用时,4o的通用性兜底。

这套"模型路由"策略直接写在AI SDK的配置层里。Bunting透露,某些场景下通过任务分流,成本压低了40%以上——不是砍功能,是让便宜的模型干便宜的活。

从200人到800人:没重构,只加配置

S.MPLE的扩张路径有点反常识。传统SaaS扩到4倍用户量,通常要动架构、分库、加缓存。SERHANT.的工程师数没涨,后台还是那套Next.js + Vercel,变化只发生在配置表里。

Bunting把这归功于"提前买的灵活性"。2024年初选技术栈时,团队赌的是"模型层会剧烈震荡",而不是"某个厂商会赢"。现在看,这个赌对了——Claude 3.5、GPT-4o、Gemini 1.5的发布节奏比手机换代还快,锁死任何一家都是技术自杀。

一个细节:S.MPLE的iOS版和网页版共享同一套API层。React Native的决策当初被质疑过"是不是太偷懒",但现在新功能上线,两端同步更新,不用养两个后端团队。

房产经纪人的使用数据也在反哺模型选择。哪些查询类型容易触发Claude的拒绝响应?哪些场景下Gemini的幻觉率更高?Gateway的日志成了迭代地图,"下个月可能又把权重调一遍",Bunting说。

现在S.MPLE每天处理数万次AI交互,后台的模型组合仍在动态调整。最后一个被验证的改动是:把部分摘要任务从GPT-4o迁移到Gemini Flash,延迟从2.3秒降到0.8秒,成本再砍一截——而实现这个改动,工程师只花了15分钟改配置。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美方承认犯下的错误,特朗普之前真的没料到,中国敢跟美国这么打

美方承认犯下的错误,特朗普之前真的没料到,中国敢跟美国这么打

三农老历
2026-03-28 01:46:26
离统一不远了?赶在郑丽文离岛前,全体台胞收到国台办的邀请

离统一不远了?赶在郑丽文离岛前,全体台胞收到国台办的邀请

共工之锚
2026-03-28 00:15:50
7国设下鸿门宴?中方掀桌拒不赴会!法国气疯,叫嚣掐断中国命脉

7国设下鸿门宴?中方掀桌拒不赴会!法国气疯,叫嚣掐断中国命脉

天气观察站
2026-03-28 15:02:43
这就是回家要脱裤子才能上床的原因!网友:看完天都塌了!

这就是回家要脱裤子才能上床的原因!网友:看完天都塌了!

夜深爱杂谈
2026-02-07 19:05:55
俄乌冲突警示中国:西部沙漠应储备300万人武器弹药

俄乌冲突警示中国:西部沙漠应储备300万人武器弹药

聚焦事件
2026-03-28 19:15:23
谷歌杀疯了,两天四连发!刚刚,Gemini 3.1 实时语音免费上线

谷歌杀疯了,两天四连发!刚刚,Gemini 3.1 实时语音免费上线

新浪财经
2026-03-27 23:07:04
中东危机只是小菜?更大危机还在后面,外媒:中国将彻底颠覆战场

中东危机只是小菜?更大危机还在后面,外媒:中国将彻底颠覆战场

安珈使者啊
2026-03-28 11:39:05
明着摆烂?步行者0.1秒落后1分获2罚,赫夫两罚不中送走比赛

明着摆烂?步行者0.1秒落后1分获2罚,赫夫两罚不中送走比赛

懂球帝
2026-03-28 09:59:07
美国抢来的委油,竟把自家四大炼厂连环炸上天,比挨炸的伊朗还惨

美国抢来的委油,竟把自家四大炼厂连环炸上天,比挨炸的伊朗还惨

史行途
2026-03-28 02:36:00
不婚不育会被亲戚惦记财产吗?网友:我死之前花完,谁也别惦记

不婚不育会被亲戚惦记财产吗?网友:我死之前花完,谁也别惦记

带你感受人间冷暖
2026-03-14 00:10:08
随着国足2-0库拉索,印尼4-0,FIFA系列赛最新积分:亚洲队4胜1负

随着国足2-0库拉索,印尼4-0,FIFA系列赛最新积分:亚洲队4胜1负

小火箭爱体育
2026-03-28 14:33:04
登场20战15胜!哈登29分钟17+14早早打卡 前队友:历史最佳之一

登场20战15胜!哈登29分钟17+14早早打卡 前队友:历史最佳之一

颜小白的篮球梦
2026-03-28 09:57:45
全票通过!委内瑞拉历史性大赦:27年政治恩怨,一朝和解

全票通过!委内瑞拉历史性大赦:27年政治恩怨,一朝和解

老马拉车莫少装
2026-02-20 15:13:49
中国下重手,AI顶会NeurIPS迅速滑跪,为禁止华为等公司参会道歉

中国下重手,AI顶会NeurIPS迅速滑跪,为禁止华为等公司参会道歉

混沌录
2026-03-28 16:12:19
又有一虎被查,一表人才,一肚子坏水,收钱是最大的喜好

又有一虎被查,一表人才,一肚子坏水,收钱是最大的喜好

李博世财经
2026-03-28 17:08:48
打破固有认知!郑薇官宣上任,亮相新岗位,为重返国家队留足空间

打破固有认知!郑薇官宣上任,亮相新岗位,为重返国家队留足空间

体育见习官
2026-03-28 13:34:12
又一位大人物去世了

又一位大人物去世了

Thurman在昆明
2026-03-27 10:53:27
中央决定,文宏武履新职

中央决定,文宏武履新职

新京报
2026-03-27 20:00:10
韩媒:日本已不再是世界五大出口国之一!

韩媒:日本已不再是世界五大出口国之一!

达文西看世界
2026-03-28 11:21:12
出大事了,以色列新计划曝光,联合国急呼停火,第一个反抗者出现

出大事了,以色列新计划曝光,联合国急呼停火,第一个反抗者出现

李健政观察
2026-03-26 17:00:52
2026-03-28 20:35:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
345文章数 2关注度
往期回顾 全部

科技要闻

遭中国学界"拉黑"后,这家AI顶会低头道歉

头条要闻

45岁男子驾车时突发心梗离世 2天前还在外地跑马拉松

头条要闻

45岁男子驾车时突发心梗离世 2天前还在外地跑马拉松

体育要闻

“我是全家最差劲的运动员”

娱乐要闻

王一博改名上热搜!个人时代正式开启!

财经要闻

卧底"科技与狠活"培训:化工调味剂泛滥

汽车要闻

置换补贴价4.28万起 第五代宏光MINIEV正式上市

态度原创

教育
数码
亲子
手机
公开课

教育要闻

厌学的孩子回家躺平,是为了解决家族问题?

数码要闻

绿联15W磁吸移动电源现身海外,有啥亮点?

亲子要闻

爱玩沙子是孩子的天性,这套#太空沙玩具 在家就能实现玩沙子的快乐,关键比去游乐场玩干净卫生。#儿童玩...

手机要闻

天玑9500至尊版4月擂台:一加Ace6至尊版与红米K90至尊版,怎么选

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版