网易首页 > 网易号 > 正文 申请入驻

Gemini文件搜索升级:图片也能搜,还能定位到PDF第几页

0
分享至

谷歌Gemini API的File Search工具刚加了三个功能,但最让我意外的是——它终于能看懂图片了。

不是识别图片里的文字,是理解图片本身。一张海报的情绪基调、一套UI的视觉风格,现在都能变成搜索条件。


一图看懂:这次升级到底改了什么

官方给出的结构很清晰:多模态检索、自定义元数据过滤、页码级引用。三个功能指向同一个目标——让RAG(检索增强生成)系统能处理更乱的数据,同时让用户能验证答案从哪来。

https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2026%2F0506%2Fc66190b0j00tektjl000cd000go006zp.jpg&thumbnail=660x2147483647&quality=80&type=jpg

我们按这张图逐层拆。

第一层:图片终于不是"二等公民"

以前的RAG系统,图片基本靠OCR转文字或者人工打标签。Gemini Embedding 2模型现在直接理解原生图像数据,把图片和文字放在同一个向量空间里检索。

官方举的例子很具体:创意 agency 要找一张"符合某情绪基调的视觉素材",不用翻文件名,直接描述"温暖、复古、胶片感",系统能从整个图库里捞出匹配的图。

这对谁有用?

电商运营找历史爆款主图、设计师复用品牌资产、法务团队核对合同扫描件里的印章位置——所有"我知道长什么样但说不清文件名"的场景,都从不可能变成了可行。

技术细节没公布,但"原生图像理解"这个表述很关键。说明不是走"图像→描述文字→文本检索"的弯路,是模型直接看、直接比。

第二层:给混乱的数据库贴标签

第二个升级容易被忽略,但可能是企业场景最实用的:自定义元数据过滤。

原理很简单——上传文件时附加键值对标签,比如 department: Legal、status: Final、project: Q3Campaign。查询时先过滤标签,再进向量检索。

为什么重要?

企业知识库的典型困境: dumping 文件进去容易,精准找出来难。一个律所的案例库可能有几万份文档,但当前案子只需要"2023年后、已结案、知识产权类"的那37份。

没有元数据过滤,系统得先全文检索再人工筛;有了它,查询范围直接缩到目标切片。官方说法是"显著降低无关文档的噪音",实际就是省算力、省时间、少幻觉。

这对做B端产品的团队是个信号:RAG的竞争已经从"能不能答"转向"答得快不快、准不准、贵不贵"。

第三层:答案必须能溯源到PDF第几页

第三个功能最"较真":页码级引用。

系统现在会记录每条索引信息的原始页码,生成答案时把来源精确到PDF的具体页面。用户点击引用,直接跳到那一页。

这个设计指向RAG的一个核心痛点:可信度。大模型胡说八道的时候,用户没法证伪;现在至少能去原文件里对质。

官方用了一个很重的词:"rigorous fact-checking"(严格的事实核查)。应用场景也很明确——金融研报、法律文件、医疗记录,所有"说错一个字就出事"的领域。

有意思的是,这个功能同时服务两个角色:终端用户要信任,产品经理要免责。溯源能力成了RAG系统的合规基础设施。

为什么这三个功能一起发布

分开看,多模态、元数据、页码引用是三个独立优化。合起来看,谷歌在押注一个趋势:RAG正在从"技术demo"变成"生产工具"。

多模态处理真实世界的混乱数据(图片、扫描件、设计稿);元数据过滤应对企业场景的权限和分类需求;页码引用解决高 stakes 场景的审计要求。

官方文案里有个细节:Whether you are prototyping a weekend project or scaling a production application for thousands of users。周末项目和千级用户生产环境,用同一套工具。

这是云服务的经典打法——降低从0到1的门槛,同时承诺从1到100的能力。对开发者友好,对谷歌的商业化更友好。

对国内开发者的实际意义

三个判断:

第一,多模态RAG的门槛被拉低了。以前要做图像检索,得自己训模型或者接第三方服务;现在Gemini API原生支持,创业公司可以少踩很多坑。

第二,"可验证性"会成为RAG产品的标配。页码引用这个功能,国内大模型厂商大概率会跟进。做企业服务的团队,现在就该考虑怎么在交互里埋溯源链路。

第三,元数据过滤提示了一个被低估的方向:RAG的优化空间不仅在模型层,更在数据层。怎么给非结构化数据打标签、建索引,可能是比调prompt更ROI的投入。

谷歌没公布价格,但File Search的定位是"处理重基础设施,让你专注做产品"。翻译一下:按调用量收费,但帮你省了向量数据库的运维成本。

如果你正在做需要处理图片、PDF、混合文档的AI产品,现在可以去翻开发者指南了。三个功能都已经上线,文档和API参考在Gemini官网。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3200 万人请愿赶他走!姆巴佩破耻辱吉尼斯纪录,进 41 球没用!

3200 万人请愿赶他走!姆巴佩破耻辱吉尼斯纪录,进 41 球没用!

奶盖熊本熊
2026-05-08 00:29:53
在西藏遇到白色帐篷,为啥要躲着?老牧民直言:进去谁也帮不了你

在西藏遇到白色帐篷,为啥要躲着?老牧民直言:进去谁也帮不了你

抽象派大师
2026-05-07 00:28:27
交通银行:坚决拥护党中央决定

交通银行:坚决拥护党中央决定

新京报
2026-05-07 12:30:05
14岁被送上导演的床,17岁拍全裸写真,被操控半生,如今怎样了?

14岁被送上导演的床,17岁拍全裸写真,被操控半生,如今怎样了?

阿讯说天下
2026-04-18 11:52:55
纳瓦尔:不要去管别人,只管早睡、运动和读书

纳瓦尔:不要去管别人,只管早睡、运动和读书

书窗小记
2026-05-06 21:38:32
福建骂学生的副校长被扒!是"惯犯",真容曝光很漂亮 丈夫身份被爆

福建骂学生的副校长被扒!是"惯犯",真容曝光很漂亮 丈夫身份被爆

小鋭有话说
2026-05-07 21:18:55
河南一景区海报文案欠妥引人不适,景区致歉:系追忆不同年代场景长廊,已下架整改更换

河南一景区海报文案欠妥引人不适,景区致歉:系追忆不同年代场景长廊,已下架整改更换

潇湘晨报
2026-05-07 18:55:16
先是海参崴,再是图瓦和库页岛,俄罗斯对中国,心态完全变了

先是海参崴,再是图瓦和库页岛,俄罗斯对中国,心态完全变了

番外行
2026-05-07 10:07:04
心酸!公司3个月无进账、仅剩4万余元,老板哭诉10年创业断臂求生

心酸!公司3个月无进账、仅剩4万余元,老板哭诉10年创业断臂求生

火山詩话
2026-05-07 11:21:26
烂泥扶不上墙!梁靖崑又输了,0-3爆冷惨败,马龙刘诗雯目睹败仗

烂泥扶不上墙!梁靖崑又输了,0-3爆冷惨败,马龙刘诗雯目睹败仗

以茶带书
2026-05-07 17:11:32
搞垮中国交通的罪魁祸首,并非是车太多?这几座山不移除就白搭了

搞垮中国交通的罪魁祸首,并非是车太多?这几座山不移除就白搭了

原来仙女不讲理
2026-05-07 23:09:21
3-0!3-1!世乒赛4强浮出水面,中国队不惧对手 日本命悬一线!

3-0!3-1!世乒赛4强浮出水面,中国队不惧对手 日本命悬一线!

曹说体育
2026-05-07 16:49:02
吴宜泽夺冠后,姐姐吴宜然凭颜值火出圈,身材火辣是机车爱好者

吴宜泽夺冠后,姐姐吴宜然凭颜值火出圈,身材火辣是机车爱好者

胡一舸南游y
2026-05-07 23:59:00
“有这种妈,抑郁症就好不了!”一段母子俩出游视频,令人窒息

“有这种妈,抑郁症就好不了!”一段母子俩出游视频,令人窒息

妍妍教育日记
2026-05-07 10:30:13
退票!多景区暂停网红高空项目

退票!多景区暂停网红高空项目

南方都市报
2026-05-07 20:58:34
俄媒:俄总统助理称,普京访华事宜正在积极筹备中

俄媒:俄总统助理称,普京访华事宜正在积极筹备中

环球网资讯
2026-05-07 22:29:12
得知好几个老同学离婚的原因后,我才发现:没钱的婚姻就是个笑话

得知好几个老同学离婚的原因后,我才发现:没钱的婚姻就是个笑话

小马达情感故事
2026-05-06 19:45:03
英媒:特鲁姆普最服气的中国球员还在禁赛期,00后天才打法折磨人

英媒:特鲁姆普最服气的中国球员还在禁赛期,00后天才打法折磨人

杨华评论
2026-05-07 17:27:40
98.6%!挪威基本没人买油车了!

98.6%!挪威基本没人买油车了!

王煜全
2026-05-06 15:16:01
5月8日24时,国内成品油价格将迎调整

5月8日24时,国内成品油价格将迎调整

南昌青云谱发布
2026-05-07 10:42:25
2026-05-08 06:39:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
2284文章数 42关注度
往期回顾 全部

科技要闻

月之暗面完成20亿美元融资,估值突破200亿

头条要闻

伊朗武装部队:美军违反停火协议空袭伊朗 已反击

头条要闻

伊朗武装部队:美军违反停火协议空袭伊朗 已反击

体育要闻

巴黎再进欧冠决赛,最尴尬的情况还是发生了

娱乐要闻

Lisa主持!宁艺卓观看脱衣秀风波升级

财经要闻

人均年薪406万,这家ST公司惊呆市场!

汽车要闻

雷克萨斯全新纯电三排SUV 全新TZ全球首发

态度原创

家居
手机
数码
公开课
军事航空

家居要闻

破茧成蝶 土味精装房爆改

手机要闻

0.5mm边框+2亿像素+8000mAh,小米这台AI概念机,每一项都离谱

数码要闻

存储芯片价格飙升 AMD警告:下半年PC及游戏市场需求恐将下滑

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普:美伊"很可能"达成协议

无障碍浏览 进入关怀版