网易首页 > 网易号 > 正文 申请入驻

模型好选,搜索难做:一个投研Agent的两年开发历程

0
分享至


撰稿 | 白默

陈万做付费投研简报快两年了。一周前,他从程序里删掉了两份维护已久的文件。

一份叫 cleaner.py,负责清洗网页;另一份叫 sites.yaml,列着 387 个网址,用来筛选信息来源。

过去,一个财经网站改版,前一份文件就要补一段规则;一位订阅者来邮件追问数字出处,后一份文件里往往又会多一个经过核实的网址。

陈万的研报聚焦新能源产业链,覆盖储能和锂电上下游,已有约 4000 名国内外订阅者。他们多数在券商研究所、公私募基金、产业资本和电池厂工作。研报里的信息会进入晨会讨论,也可能成为投资决策的参考。对陈万来说,找到信息只是第一步,弄清来源和时间同样重要。

他一直希望把网页清洗和信源筛选交给更成熟的服务,自己专注于研究和写作。他试过百度搜索,也用过其他产品内置的联网搜索,但这些工具不完全适合他的工作流。他需要一个能独立接入 Agent 的搜索接口:模型由自己选择,搜索结果先返回自己的程序,再决定如何使用。

删除文件前,陈万做了一次对比:把同一组问题分别发给使用了一年的海外搜索 API、一个国内 API,以及腾讯云刚升级的元宝搜索 API。在这次测试中,前两类接口返回的多是一两行摘要;元宝搜索的结果则提供了两类文字,一类概括网页内容,另一类围绕问题提取相关段落。

他还查了一家电池企业前一晚发布的业绩预告。海外接口返回了几条英文转载,时间与他的查询需求并不匹配;元宝搜索给出了交易所原始公告、几篇相关报道,以及各条结果的发布时间。

陈万需要的不是搬回整篇文章,而是知道信息在哪里、说了什么,并能带着读者回到源头。

这两份文件,不只陈万有。它也代表着不少开发者在搭建 Agent 时要处理的基础工作:从网页中提取有效内容,为信息来源建立筛选规则,再把不同接口返回的数据接入同一套流程。

网站结构会变,来源需要核实,公告、行情和新闻也各有更新节奏。应用做起来以后,这些工作就成了持续的维护任务。对于陈万这样的小团队,一套稳定、独立的搜索服务,意味着可以把更多时间留给业务本身。

2025 年 8 月,微软关停 Bing Search API,原有用户需要调整检索方案。与此同时,Agent 对联网信息的需求仍在增长。在 10 月 20 日元宝搜索的媒体沟通会上,元宝搜索提到,自今年 2 月“龙虾”走红以来,Agent 对热点新闻、财经财报等时效性外网信息的需求变得更为迫切。

模型能力之外,信息获取也在影响 Agent 的表现。腾讯云副总裁、腾讯元宝搜索研发负责人表示:“选择一个模型相对容易,但做好搜索却需要长期的建设与迭代。”

两份文件的来历

要理解陈万为什么需要这两份文件,得先看看网页到了程序里是什么样子。

一份上市公司的业绩预告,在浏览器里可能只是标题、日期、几段正文和一张表。程序拿到的却是整页源码:嵌套的标签、样式表、统计脚本,以及广告、导航和版权声明。把这些内容直接交给模型,会让不少 Token 消耗在与任务无关的部分。

陈万的办法,是为不同网站编写抓取规则:正文在哪个标签里,日期藏在哪个位置。他估算,清洗之后,每次调用的 Token 成本降到了原来的不到 10%。

但代价是 cleaner.py 越写越长,网站一改版,相应规则就需要更新。

搜索服务商同样在处理效率问题。元宝搜索研发负责人介绍,内部团队训练了一个压缩模型,在建索引时把几千 Token 的网页压缩成约 100 个 Gist Token 并缓存,在线匹配时处理少量后续 Token,推理成本约可节省 30%。

成本之外,陈万更关心信息来源。

简报发出的头两个月,他陆续收到订阅者来信:某个电芯报价是哪天的?一个出货量数字,为什么和其他渠道看到的不一样?回查后他发现,有的转载内容标错了日期,也有信息来自自己并不熟悉的网站。

他开始为常用信源建立名单,记录哪些网站经过核实、适合优先检索。sites.yaml 里的 387 个网址,就是这样积累起来的。这份名单不能替代逐条核实,却给日常筛选提供了起点。

一位有多年财经报道经验、公众号订阅者超过 6 万的媒体人,也有类似需求。她说,关键事实信息通常要回到网页核实,行业观点则常常要到活跃的微信账号中寻找。她希望搜索能先呈现可靠且相关的信息,帮她判断哪些值得点开细读。

不同内容,需要不同的信源判断方式。据元宝搜索负责人介绍,政策、新闻和医疗法规等信息,优先参考政府、企业、交易所等官方来源;对于行业讨论,持续在相关领域发声的作者也有参考价值,团队会结合账号的历史发文进行交叉验证,再纳入整体排序。

此外,还要区分“多条结果”和“多个独立来源”。同一条新闻可能被几十个网站转载,标题不同,正文却相近。如果不识别这些关联,重复信息就可能被当作相互印证的依据。AI 批量生成的内容和针对 AI 搜索做的优化(GEO),还在让这类噪音变多。

搜索引擎的发展分为三个阶段:1.0 阶段,搜索把结果交给人,由人阅读、判断;2.0 阶段,模型读取结果,组织成答案;到了 3.0 阶段,Agent 会拆解任务、多次检索,并结合返回的信息继续推理。搜索因此不仅要找到内容,还要把来源、时效和相关性表达清楚,让后续判断有据可依。

相应地,质量评估也从单篇内容延伸到了发布者及其历史记录。团队既分析页面内容,也识别作者、账号和站点的持续表现,对频繁发布低质或 AI 生成的内容开展专项识别。这些评估信息会作为搜索信号反馈给 Agent,为模型判断内容提供参考。

腾讯云的联网搜索 API 于 2025 年上线,主力接口叫 SearchPro。今年产品更名为元宝搜索,并继续更新接入方式、检索参数和返回字段。

据腾讯在此次沟通会上介绍,升级后的元宝搜索已在内部 50 多个核心产品中得到验证,拥有千亿级融合索引,日增索引约 50 亿,日均调用量数亿次;底层检索平均耗时约 8 毫秒。这些指标对应服务的不同环节,其中底层检索耗时并不等于一次完整请求的响应时间。

陈万这次接入的,就是升级后的版本。

一次请求的路径

两份文件原来承担的工作,可以沿着一次搜索请求重新看一遍。

几乎每天早上,陈万都要整理产业链上市公司前一晚的公告、业绩预告,以及相关行情变动。他的 Agent 向 SearchPro 发出请求时,除了问题,还会根据任务设置检索范围和时间条件。

首先是去哪里找。

券商客户经理王宇对此有过切身体会。他的团队曾为客户搭建问答助手:回答一只股票的问题,要分别调用行情、新闻和通用搜索接口,再由代码整合结果。有一次,不同数据的时间没有对齐,团队花了两天才找到拼接逻辑中的问题。

SearchPro 通过 Mode 参数区分检索来源:0 以公开网页结果为主,1 返回优质权威垂直信源结果,2 混合返回两类结果;Industry 则可以进一步指定政府、新闻、学术或财经领域。开发者可以在一次请求中表达这些来源需求。

优质垂直信源结果也被称作 VR 卡。元宝搜索将其机制解释为一套类似“插件”的系统:接入各垂直领域的优质信源,再将返回内容封装成卡片,供模型使用。金融领域的例子,是与腾讯金融科技合作接入实时股票查询信息。

如果还要限定具体网站,可以使用 Site 参数:每次指定一个域名检索,或排除最多五个域名。它只作用于公开网页结果,不影响 VR 卡。这类边界也意味着,原有白名单和黑名单不能直接等同于一个接口参数,仍需结合业务重新安排筛选规则。

其次是信息有多新。

陈万的 cleaner.py 原来有一段专门提取日期的代码。有的网页不标日期,有的只标转载时间,还有的把日期放在图片里。取不到准确时间,程序就很难判断这条信息是否适合当天的简报。

SearchPro 提供 Freshness 参数,支持按天、月、年及指定日期区间检索。例如,d2 表示最近两天,m3 表示最近三个月;返回结果中的 date 字段则提供内容发布时间。陈万的晨报通常使用 d1 或 d2,周末回顾则放宽到 d7。

这让时间条件成为检索的一部分,减少了他自行解析网页日期的工作。但发布时间仍是判断线索,涉及重要数据时,还需要区分公告发布日、统计期和转载时间。

“对于财经、股票等时效性较高的网页,团队会考虑采用更高频的刷新策略,例如每小时刷新一次,以便搜索时获取更新的信息。”元宝搜索负责人表示。

接下来,是结果如何筛选。

每条结果包含两个不同的信号:score 表示与问题的相关程度,取值为 0 到 1;authority_level 表示信源权威度,取值为 0 到 5。一条结果可以很对题,但来源仍需进一步核实;也可能来自权威机构,却与当前问题关系不大。

元宝搜索会把“谁发布”和“内容如何”分开评估。权威性关注发布者在相关领域的身份与积累;内容质量则综合考察真实性、信息完整度和专业程度,包括能否追溯验证、是否注明引用来源等。评估覆盖站点、账号和页面三个层级,并结合大模型对页面结构的分析。

这些信号为筛选提供参考,但不替代具体任务中的判断。陈万据此设置了一套分层规则:权威度 4 分及以上的结果,作为简报正文的候选材料;3 分的放入延伸阅读;更低的暂不采用。分数帮助他缩小核实范围,关键数字和结论仍应回到原始来源确认。

过去,387 个网址承载着他逐个积累的信源经验;现在,接口评分提供了覆盖更广、便于调整的初筛依据。

筛选之后,是内容如何返回。

SearchPro 提供两类摘要:passage 是标准摘要,content 是动态摘要。据产品团队介绍,后者会围绕本次问题提取网页中的相关内容,而不是返回整页正文。同一篇文章,查询营收增速和查询订单进展,得到的相关片段可能不同。

这与陈万原来的流程形成了区别:cleaner.py 先清洗整页,再让模型寻找相关部分;动态摘要则先提供与问题有关的内容,减少后续的处理。他说:“我写了四百多行代码去逼近的东西,现在已经成为一个字段。”

内容获取也设置了边界。元宝搜索毕老师介绍,对设置反爬机制或需要借助额外工具才能访问的内容,“我们就不收录,以尊重对方的知识产权”,只提供公开、直接点开就能看到的内容;携程这类直接打不开的内容,则通过三方合作提供。

最后,搜索结果返回陈万的程序,由他的流程决定如何继续使用。马晋表示,智能体也会把一个问题拆成多个子问题,“搜索每慢一秒,都可能影响用户体验”;据他介绍,升级后,最快的版本可能在 300 毫秒以内返回,此前约为 400—500 毫秒。

接入与控制

搜索能力之外,接入方式决定了它能否顺畅进入现有工作流。

最早的接法走腾讯云标准 API:请求发往 wsa.tencentcloudapi.com,Action 写 SearchPro,Version 写 2025-05-08,再用 SecretId 和 SecretKey 按腾讯云的签名算法给每个请求签名。

某数据服务公司的后端工程师郑楠介绍说,他去年接入的时候花了半天,大半时间在调签名。后来腾讯云增加了单一 API Key 认证,请求发往 api.wsa.cloud.tencent.com 的/SearchPro 路径,签名这一步可以直接省掉。

另一种接入方式更快。在支持该协议的客户端中配置服务地址和 API Key,就能把 SearchPro 加入工具列表,不需要额外安装本地服务。元宝搜索目前提供的 MCP 工具只有 SearchPro,采用 Streamable HTTP 传输。

MCP 是 Anthropic 于 2024 年 11 月发布的开放协议,用于连接 AI 应用与外部数据、工具。此后一年多,主流 AI 开发工具陆续支持了它。元宝搜索的 MCP 页面写明,它使用的协议版本是 2025-06-18。腾讯做的,是把自己的搜索按这个协议重新包装了一层。

再往上,是指导 Agent 使用工具的 Skill。2026 年 3 月 10 日,腾讯上线 SkillHub,最初是 OpenClaw 技能生态 ClawHub 的国内镜像,收录一万三千多个技能;到年中,收录量超过八万个,支持 WorkBuddy、QClaw、ima 等工具。

SkillHub 上“元宝搜索 Skill”的安装方法只有一句话,大意是让 Agent 按 SkillHub 的安装说明装上 tencent-yuanbao-standard-search。Skill 的说明中列出了什么时候该用它:用户说“帮我搜索”“查找”,或者说“最新的……”“近期的新闻……”。

API、MCP 和 Skill 是解决不同问题的三类能力,并不是互相替代的三代产品。API 便于程序直接控制检索次数、时机和重试;MCP 解决兼容客户端如何调用工具;Skill 则补充使用说明,帮助助手判断何时检索、如何使用。

接入后的第二天,陈万在 Claude 终端里修改一份给订阅者的说明文档,说:“把昨晚最新的业绩预告也补进去。”随后,终端出现了 SearchPro 工具调用,耗时 681 毫秒,返回七条结果,其中五条是权威信息。

“它是听到‘最新’两个字就自己去的,”陈万说,“它已经成了任务流程中的一部分。”

一家做内容产品的团队有类似体会。团队的一位开发者在沟通会上说,他们原来自建的 AI 搜索“只能说能用”,Agent 常常先找出十几个网站,再反复调整。通过 Skill 接入元宝搜索后,“速度快,也不用反复检索”,以前问同一个问题要找 20 个网页,现在 5 个就能解决。

虽然接入变简单了,但没有简单到什么都不用管。保管密钥、配置账号权限,并根据调用量安排请求频率。接口承接了一部分基础工作,但应用如何运行,仍由开发者掌握。

接入的另一端,是成本。

根据腾讯云目前公开的计费文档,元宝搜索提供极速版、标准版和旗舰版,按量计费价格分别为每千次 14 元、20 元和 26 元,其中旗舰版仅限企业用户开通。

此外,填写邀请码后可获得每月 6000 次免费调用额度,按日均计算约 200 次,大致够一个小团队做日常测试或轻量使用。

陈万这次采用的权威度字段,属于旗舰版能力。

据腾讯产品团队介绍,元宝搜索定位于被调用方,不做独立的搜索入口,面向用户的入口由各个应用承担。它的调用方既包括腾讯内部产品,也包括外部 AI 助手和大模型公司。

过去一年,陈万的程序换过多次底层模型,从 DeepSeek 到通义千问,再到智谱,最后又换回 DeepSeek。搜索接口是第一次换。“模型换了,信息质量基本看不出来,”他说,“但搜索换了,效果完全不一样。”

交出去的,与留下的

删掉文件之后,陈万的搜索照常推送。

他做了一次最终检查。当天的公告和行业新闻覆盖率基本符合需要,来源里还多了几个此前较少涉及的站点;最近一周,也没有订阅者来信追问数据出处。

他维护了两年的文件,最终被一个搜索接口替代,“没有什么不舍,只是觉得轻松。”他说,并不是他的代码能力不好,而是这类代码本就不应该让每个人自己写。

现在,陈万可以把时间更多地用在核实关键数据、比较产业变化和组织研究判断上。

元宝搜索表示,这种调用需求正快速增长,目前最看好的是两个方向。一是智能办公和企业级 Agent:一款内部产品全面推广后,其调用量从低谷时的几十万次,增长到单日接近千万次。二是金融和投研:“研报和行情信息可能需要按小时甚至按分钟更新”,一个金融大模型接入后,近期的调用量增长了几十倍。

陈万的付费研报,正好落在这类需求上。

对中文 Agent 开发者来说,这类独立接口相当于增加了一种分工方式:把过去通用的信息检索、内容提取和来源评估,交给公共服务直接完成。

这也是这件事超出个案的地方。至于未来规模能做多大,取决于接下来有多少应用建在它上面,也取决于价格能不能降到小团队愿意把它设成默认能力。

陈万删掉的是两份文件,但也留下了对信息的更高要求。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三外援全都清洗掉?广东队惨遭重大打击,亚帅坑惨小陈总!‍

三外援全都清洗掉?广东队惨遭重大打击,亚帅坑惨小陈总!‍

绯雨儿
2026-10-21 12:48:19
当年迷倒一片男人的女神,如今再看,一脸凶相,真是意想不到

当年迷倒一片男人的女神,如今再看,一脸凶相,真是意想不到

可乐谈情感
2026-10-22 02:27:12
删帖、全网屏蔽:法务部越强,车越不能买!

删帖、全网屏蔽:法务部越强,车越不能买!

章北海
2026-10-19 22:19:23
陈小鲁临终事宜早有安排:遵照本人意愿尊严离世,因病突发遗愿未能实行

陈小鲁临终事宜早有安排:遵照本人意愿尊严离世,因病突发遗愿未能实行

壁炉公子
2026-10-21 08:50:11
深圳“硅姬”10天狂卖4000单:买的不是机器人是4000个男人的故事

深圳“硅姬”10天狂卖4000单:买的不是机器人是4000个男人的故事

音乐时光的娱乐
2026-10-22 00:21:28
乌克兰摧毁俄罗斯最大的苏尔古特油气加工厂!轮到天然气了?

乌克兰摧毁俄罗斯最大的苏尔古特油气加工厂!轮到天然气了?

项鹏飞
2026-10-17 20:09:32
10月21日:属马的可能大哭了!躲不掉!这都是老天爷的安排

10月21日:属马的可能大哭了!躲不掉!这都是老天爷的安排

牛锅巴小钒
2026-10-22 02:59:43
想蹭APEC却没人请,高市早苗被晾一边,台阶找得太滑稽

想蹭APEC却没人请,高市早苗被晾一边,台阶找得太滑稽

华山穹剑
2026-10-21 20:47:55
谭松韵被人摁着灌药的戏,拍完直接瘫在地上起不来了

谭松韵被人摁着灌药的戏,拍完直接瘫在地上起不来了

阿废冷眼观察所
2026-10-21 01:31:15
比亚迪回应海鸥无仪表盘设计:就算中控黑屏 关键信息也能显示

比亚迪回应海鸥无仪表盘设计:就算中控黑屏 关键信息也能显示

快科技
2026-10-21 10:38:11
CBA新赛季最大误判!没任何接触却判3分犯规,廖三宁真的是假摔吗

CBA新赛季最大误判!没任何接触却判3分犯规,廖三宁真的是假摔吗

探长影视解说
2026-10-21 19:34:32
连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

怪罗
2026-10-21 17:42:19
45岁不上班了,可做这6个冷门生意,不起眼但一天挣个500元不难

45岁不上班了,可做这6个冷门生意,不起眼但一天挣个500元不难

夜深爱杂谈
2026-10-18 21:15:08
陈云晚年首次披露:遵义会议上这两个人死活不同意毛主席,吵得面红耳赤

陈云晚年首次披露:遵义会议上这两个人死活不同意毛主席,吵得面红耳赤

老杉说历史
2026-03-21 17:38:44
平潭法院公开开庭审理平潭县人民政府原副县长丁某某受贿、利用影响力受贿一案

平潭法院公开开庭审理平潭县人民政府原副县长丁某某受贿、利用影响力受贿一案

平潭综合实验区人民法院
2026-10-21 20:26:57
大哥寒心讲述自己不懂感恩的女儿

大哥寒心讲述自己不懂感恩的女儿

张晓磊
2026-10-09 12:05:30
俄罗斯令中国心寒?比西方围堵更恐怖的,是我们看轻了自己的实力

俄罗斯令中国心寒?比西方围堵更恐怖的,是我们看轻了自己的实力

梁濆爱玩车
2026-08-31 23:53:08
“中国富强之后,第一件事就是灭掉小日本!”

“中国富强之后,第一件事就是灭掉小日本!”

孝沛与世界
2026-09-24 01:40:26
“断齑画粥”,正确读音是什么?没看到有人会

“断齑画粥”,正确读音是什么?没看到有人会

语丝纪
2026-10-22 00:29:30
我楼上住着一个女邻居,33岁长得挺漂亮,她老公却留她一个人守家

我楼上住着一个女邻居,33岁长得挺漂亮,她老公却留她一个人守家

千秋文化
2026-03-13 21:00:35
2026-10-22 04:56:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13096文章数 52114关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

纯电/插混动力+乾崑智驾 北汽星钽5X预售价13.99万起

态度原创

本地
数码
教育
旅游
家居

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

数码要闻

康佳退市!昔日彩电一哥缘何在今天被挤下牌桌?

教育要闻

直到孩子上了高中才发现:我曾坚决反对“超前学”,错得有多离谱

旅游要闻

延庆将分阶段推进长城大景区建设

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版