网易首页 > 网易号 > 正文 申请入驻

他的AI助手从不碰数据库,却把泄露风险堵死了

0
分享至

大多数AI助手的演示,都是把模型架在数据库上面。给智能体配一个“查询”工具,用户提问,模型写查询语句。演示时效果很好。到了生产环境,这意味着用户的判断和别人的数据之间,只隔着模型这一道关。

我正在把AI智能体做进The Arsenal,一个面向寿险代理人的平台。第一版故意做得很“无聊”:只读性能数据、回答问题,什么都不写。但即便是只读智能体,也坐在客户记录之上,所以在智能体成型之前,我按OWASP的LLM应用十大风险清单逐条过。这篇讲第二条——敏感信息泄露,以及由此得出的设计决策。

数据访问层是唯一的门

模型从不接触数据库。它只调用一小批窄接口,比如“取我本周的管道统计”。没有通用查询工具,没有裸SQL,没有例外。如果某个问题没有对应的函数,智能体就答不了——这正是设计意图。

所有安全问题都收敛到一个地方:数据访问层放行了什么。

身份来自会话,绝不来自模型

模型会索要线索ID、客户ID这类东西。那些是参数。真正承担安全职责的字段是“谁在问”,而模型从不提供它,由已认证的会话提供。数据访问层把调用者身份盖在每条查询上,并按该身份允许的范围过滤行。

如果模型能传“用户等于Alex”,它就能传任何人。所以它压根不该传用户。

字段只打一次标签,且默认关闭

一个KPI问题永远不需要客户的电话号码或出生日期。所以模型根本不该收到它们。它没见过的东西,泄不出去。

与其给每个函数手写白名单,不如让模式里的每一列都带一个标签:公开、生产、客户PII。每个函数声明自己的层级,数据层拒绝返回高于该层级的任何内容。真正要紧的规则是:有人新增一列却忘了打标签时怎么办——它会被当作PII,永不返回。忘打标签的结果是一个缺失的数字,而不是一次泄露。

模型说“不”不算控制

智能体会礼貌地告诉用户,电话号码不在范围内。那是用户体验,不是安全。模型拒绝是我要求的行为;数据层永不返回该字段才是保证。就算提示注入说服模型放弃拒绝,它依然什么都拿不到。

那些会泄露的小地方

  • 错误信息:用户看到通用提示,真实错误带着请求ID进服务器日志。
  • 存在性泄露:“我不能给你看Maria Lopez的记录”等于确认她是客户。越界查询返回的错误,和打错字时一模一样。
  • 对话记录与日志:两者都含客户数据,因此套用同样的访问控制,对话记录另加三十天清除。

这套设计没解决什么

它假设数据访问层本身是对的。在测试之前,这只是假设,所以审计阶段包括:以某个下级用户的身份登录,试着通过模型拉取另一个代理人的数据行。它也不覆盖第二版给智能体写入能力之后的情况——那会把上面每个问题重新打开。至于模型提供商自己的留存与训练条款,那是合同审查的事,不是改代码能解决的。

这是一个寿险平台里一个智能体的第一版。我正按同样的方式过完OWASP清单剩下的条目,边做边写。目标是恰好从保险起步的智能体安全,而不是保险安全。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
骨质疏松最危险的信号,不是骨痛,而是频繁出现这4种异常

骨质疏松最危险的信号,不是骨痛,而是频繁出现这4种异常

侯医生谈健康
2026-10-21 03:20:03
记者暗访四川硫磺熏竹笋:村民大大方方说“不怕查,山上找都找不到”,去年查获1900公斤只罚了500元

记者暗访四川硫磺熏竹笋:村民大大方方说“不怕查,山上找都找不到”,去年查获1900公斤只罚了500元

一丝不苟的法律人
2026-10-21 11:34:35
下一代最大的危机:不是穷,是被养得精致又冷漠

下一代最大的危机:不是穷,是被养得精致又冷漠

青苹果sht
2026-10-19 06:23:46
奥斯陆峰会结束,乌克兰和欧洲妥协了?

奥斯陆峰会结束,乌克兰和欧洲妥协了?

山河路口
2026-10-21 13:15:20
红果新剧榜杀疯了!从第10名看到第1名,老牌IP竟然集体掉队

红果新剧榜杀疯了!从第10名看到第1名,老牌IP竟然集体掉队

东方不败然多多
2026-10-22 04:39:42
问界回应神木碰撞起火事故:车辆处于人驾状态,事发车速139.1公里/小时

问界回应神木碰撞起火事故:车辆处于人驾状态,事发车速139.1公里/小时

观察者网
2026-10-21 15:44:25
北京楼市开始离谱了!丰台区丽泽商务区板块从11.8万变成7.2万

北京楼市开始离谱了!丰台区丽泽商务区板块从11.8万变成7.2万

林子说事
2026-10-22 07:48:31
车间实拍流出!特斯拉Roadster高压氮气罐引争议,网友:这要炸了,不死也得死啊

车间实拍流出!特斯拉Roadster高压氮气罐引争议,网友:这要炸了,不死也得死啊

火山詩话
2026-10-20 17:01:23
创业板指跌逾2% 下跌个股近3700只

创业板指跌逾2% 下跌个股近3700只

新浪财经
2026-10-22 10:10:56
于和伟曝女儿每天都追他演的《伟大的长征》,说出评价大家都笑了

于和伟曝女儿每天都追他演的《伟大的长征》,说出评价大家都笑了

娱最资讯
2026-10-22 09:48:20
女体育生穿“黑纱裤”训练,心思被戳穿:你这种高六都考不上大学

女体育生穿“黑纱裤”训练,心思被戳穿:你这种高六都考不上大学

熙熙说教
2026-10-18 14:36:19
《小城良方》口碑大爆,本是冲着肖战姜妍来的,却被57岁男配惊艳

《小城良方》口碑大爆,本是冲着肖战姜妍来的,却被57岁男配惊艳

寒士之言本尊
2026-10-21 22:02:28
我国越来越多的人患糖尿病?建议:停止食用“8物”,保护胰岛

我国越来越多的人患糖尿病?建议:停止食用“8物”,保护胰岛

任医生聊健康
2026-10-19 22:25:07
土耳其的距离哲学,对 4500 公里外的新疆喊话,对 200 公里外的希腊沉默

土耳其的距离哲学,对 4500 公里外的新疆喊话,对 200 公里外的希腊沉默

海外说事
2026-10-20 13:03:29
我国第二个上海已起飞!强势角逐西部第一城,人口将赶超北京?

我国第二个上海已起飞!强势角逐西部第一城,人口将赶超北京?

抽象派大师
2026-09-22 18:51:48
eBay上海被曝裁员80%,又一个外企撤离

eBay上海被曝裁员80%,又一个外企撤离

西虹市闲话
2026-10-21 15:05:21
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
1941年,毛主席开会猛批张闻天,张:我缺乏实际经验,现在去农村补课

1941年,毛主席开会猛批张闻天,张:我缺乏实际经验,现在去农村补课

帝哥说史
2026-10-21 22:59:00
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
西语诺奖为何破例给了梅西?

西语诺奖为何破例给了梅西?

林子说事
2026-10-22 05:10:24
2026-10-22 11:24:49
固件更新中
固件更新中
有态度网友ytd
235文章数 83关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

牛弹琴:泽连斯基突然接受保留75%领土 释放一个信号

头条要闻

牛弹琴:泽连斯基突然接受保留75%领土 释放一个信号

体育要闻

热闹的NBA回来了,他却倒在新赛季大门口

娱乐要闻

杜淳王灿近况曝光:铁婚六年甜上热搜

财经要闻

为卖房,有房企花20万拍短剧

汽车要闻

有七座/续航提升 领克900L曝光还可选双色车身+大饼轮毂

态度原创

教育
家居
健康
时尚
手机

教育要闻

线段AB=BC=CD,求∠D=?

家居要闻

2026建博会(广州) 公装联探展交流活动

痘痘能根治吗?皮肤科医生说实话

中年男人,开始抢着打针回春

手机要闻

初探苹果iPhone Duo铰链耐用性:约3.2万次折叠后开合手感基本如初

无障碍浏览 进入关怀版