网易首页 > 网易号 > 正文 申请入驻

刚刚,Dataify 发布了 AI Web API 1.0,一手实测来了!

0
分享至


当 AI Agent 开始替人读网页、做研究、跑自动化流程时,行业真正的瓶颈已经从“模型能力本身”,变成了“它能不能在正确的时间拿到正确、干净、足量的信息”。

众所周知,Deep Research、浏览器 Agent、各类自动化工作流,本质上都在做同一件事——替人去读网页。可今天的网页是为人眼设计的:导航、广告、弹窗、脚本、动态渲染……人一眼就能略过,模型却要为每一个无效 Token 买单。更棘手的是时效——模型的记忆停在过去,而 Agent 要回答的是此刻。

所以对于 Agent 来说:一是要筛出干净内容,二是要找到最新信息。

于是,一个新的基础设施层正在成形:面向 AI 的 Web 接口。

Dataify 这次发布的 AI Web API 1.0,切入的正是这一层。

接下来进入实测环节。


我们对 AI Web API 的三项能力进行了实测

先展示大家最关心的指标,然后再测:

P50 < 1.5s

P90 < 3s

成功率 > 99.9%

三个接口实测下来,我最直观的感受是:搜索结果带着标题、摘要和来源,正文能按需转成 Markdown,站点页面也能先整理成清单。对使用者来说,拿到结果后继续筛选、阅读和处理,路径比较清楚。

功能1 Search API

Search 通过 unique_id=search_web 指定工具,用 query 传入关键词,source 指定搜索类型(示例为 web),再由 max_results、country、language 控制返回数量与地区语言。

输入 · Python

print(response.text)

响应示例 · JSON

]

直接返回经去重、排序的数组,每条包含 title、url、snippet,部分结果还会带 date。

把 extract_content 设为 true 时,还可以在搜索结果中一并取回正文,使用者不必再分别拼接“搜索 API+网页采集+正文解析”三套流程。搜索不再只是返回一串 URL,而可以直接成为内容处理的起点。


图 1|Search 控制台返回结果(JSON 视图)

功能2 Extract API

找到页面之后,下一个问题是:网页到底该怎么读?

如果把完整 HTML 直接塞给模型,导航栏、按钮、脚本和页脚也会一起进入上下文。信息不少,真正有用的内容却可能只有一部分。

Extract 的思路很直接:传入 URL,按任务选择需要的内容形式。

目前支持提取 Markdown、原始 HTML、清洗后的 HTML 和页面链接;开启 only_main_content 后,可以进一步聚焦正文区域。

以抓取dataify.com为例:

输入 · Python

print(response.text)

响应示例 · Markdown(节选)

…(后略:完整返回还包含该页面的其他正文与链接)


图 2|Extract 控制台返回结果(Markdown 视图)

从返回看,页面内容已经转成 Markdown,省去了自行解析 HTML 的步骤。示例中仍保留了“正在请求…”等界面文字,使用时可以继续按任务筛选。

这些内容可以交给模型总结,或在应用侧继续切片、向量化和入库;返回的页面链接也能作为后续采集入口。

功能3 Map API

Extract 提取单页内容,Map 则帮助发现站点中的页面。

输入一个起始 URL,Map 可以发现站点内的页面地址、标题和描述。通过 domain_filter、limit 和 sitemap 等参数,还能控制发现范围、数量及站点地图的使用方式。

它适合处理另一类问题:“这个文档站里到底有哪些页面”。

比如搭建产品文档知识库时,可以先用 Map 找到页面入口,再逐页调用 Extract 提取正文;做竞品研究时,也可以先盘点官网内容,再选择需要深入分析的页面。

以抓取dataify.com为例:

输入 · Python

print(response.text)

响应示例 · Links 视图

https://www.dataify.com/products/dataset/store/dataset-vimeo_user_result

控制台的 Links 视图把结果按行展示;API 原始响应为 JSON 数组 [{"url": "..."}],返回上限由 limit 控制。


图 3|Map 控制台返回结果(Links 视图)

到这里,三项能力的分工就清楚了:

Search 检索相关网页,Extract 提取页面内容,Map 发现站点页面。


这两类使用者能用 AI Web API 做什么?

大模型厂商

RL 强化学习阶段

在需要联网检索的强化学习任务中,用 Search 查找相关网页,再按需提取正文,为模型训练信息检索、证据使用与复杂任务求解能力提供数据支持。

AI Agent 厂商

RAG 预检索增强阶段

按需提取干净正文,为 Agent 补充更新、更集中的参考内容,提升信息质量与时效性。

具体到运行过程,使用者提出问题后,Agent 先判断是否需要补充实时信息;需要时调用 Search 检索相关网页,并按需调用 Extract 提取正文,将经去重、重排与清洗后的数据用于Agent 后续推理与回答。


Dataify AI Web API 1.0 的真正价值是什么?

Dataify AI Web API 为 AI Agent 和 AI 应用提供实时、结构化、可接入的公开网页数据能力,并通过 MCP/Skills 与多模态数据服务,帮助团队更快把外部数据转化为可用数据资产。

当然,1.0 只是这条路的起点。期待后续版本在结构化输出、批量调度和更多数据源上继续演进,把“让 AI 看见此刻世界”这件事做深做透——AI 迟早都需要这样一条实时数据链路,祝 Dataify 把它做扎实、走得更远。

如果你正在做 Agent、行业研究工具或 RAG 知识库,你会如何利用 AI Web API?

如果你正在为大模型训练或 AI Agent 应用寻找干净、实时的网页数据,想进一步沟通测试需求与接入方案,可以联系 Dataify 团队:


Dataify 客户发展总监:Senlina

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!黄仁勋正考虑创办一家全新的半导体公司

突发!黄仁勋正考虑创办一家全新的半导体公司

大厂财经社
2026-11-20 11:12:34
沉痛送别!斯琴高娃离世,网友悼念错了:那位76岁老戏骨还在拍戏

沉痛送别!斯琴高娃离世,网友悼念错了:那位76岁老戏骨还在拍戏

月光作笺a
2026-11-20 07:11:51
女子带闺蜜回家,闺蜜上了爸爸的床:他们结婚那晚,闺蜜被杀死了|法堂

女子带闺蜜回家,闺蜜上了爸爸的床:他们结婚那晚,闺蜜被杀死了|法堂

汉史趣闻
2026-11-20 15:02:57
特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

麓谷隐士
2026-11-20 06:44:04
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

火山詩话
2026-11-20 09:53:44
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

小徐讲八卦
2026-11-20 06:39:39
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

社会日日鲜
2026-11-20 10:27:11
克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

邵旭峰域
2026-11-20 15:03:48
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
2026-11-20 19:03:00
CSDN incentive-icons
CSDN
成就一亿技术人
27177文章数 242346关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

交付破16万台背后 全新ES8凭什么成为「高端纯电第一车」?

态度原创

亲子
家居
手机
艺术
公开课

亲子要闻

奶奶给大孙买的草莓真甜,姥姥给的高粱米做一锅,焦黏喷香都爱吃

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

华为星芒首款旗舰降临 OSTA O1 Pro发布:5499元起

艺术要闻

这才是怀素《自叙帖》原貌,台北故宫秘藏几十年,揭露唐人草书真实笔法!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版