网易首页 > 网易号 > 正文 申请入驻

AI 不需要永远正确,我们只需要守住最后一道底线

0
分享至


本文来自微信公众号: HavenlonLabs ,作者:HavenlonLabs

现在谈AI安全,很多人的第一反应都是:怎样让模型少犯错?

减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型,再用另一个Agent检查前一个Agent。

这些工作当然有价值。

但它们容易让人产生一种错觉:只要模型足够聪明、提示词足够完善、检测系统足够复杂,AI就可以安全地完成一切。

问题是,AI真的可能永远正确吗?

答案恐怕是否定的。

我们无法消灭所有错误

AI Agent面对的不是一道标准答案明确的考试题,而是不断变化的现实环境。

它读取的邮件可能是伪造的,访问的网页可能包含恶意指令,接收到的数据可能已经被污染,用户给出的任务也可能存在歧义。

即使模型本身没有受到攻击,它也可能误解目标、遗漏条件,或者基于不完整的信息作出一个看起来合理的决定。

我们可以持续提高模型的准确率,却很难证明它在下一次任务中一定不会犯错。

试图让AI永远正确,是在追求一个无法验证的目标;阻止危险结果发生,才是一条可以真正落地的边界。

真正的问题不是AI会不会犯错。

它一定会。

真正的问题是:当它犯错以后,系统是否会毫无阻碍地把这个错误执行出去。

模型错误不一定等于现实损失

一个AI在聊天窗口里回答错误,造成的可能只是一次糟糕的体验。

但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后,错误的性质就完全不同了。

它可能把钱转给错误的地址,删除重要数据,修改生产环境,扩大成员权限,或者关闭本应保留的审计记录。

模型只是产生了一个错误判断。

真正把错误变成事故的,是后面的执行能力。

模型犯错只是答案错了,执行失控才是真的出事。

这也是为什么,AI安全不能只盯着模型内部。

我们当然要防提示词注入,要提高推理能力,也要检测恶意输入。但即使前面的所有防线都失效了,系统仍然应该保留一道最后的底线。

这道底线不负责判断AI为什么犯错。

它只负责确认:这件事到底能不能发生。

守住钱袋子,比猜出所有骗子更现实

假设一个AI Agent正在替企业处理付款。

我们可以训练它识别诈骗邮件,可以要求它核对合同,可以增加一个模型复核收款信息。

但我们无法保证它永远认得骗子。

骗子会改变话术,邮件账号可能被入侵,真实员工也可能被冒充。即使多个模型同时参与判断,它们仍可能基于同一份错误信息得出相同结论。

更现实的做法,是直接守住付款的底线:

单笔金额不能超过限制;新收款地址不能立即付款;审批后收款目标不能被替换;超出风险阈值必须经过独立确认;任何远程管理员都不能临时关闭这些规则。

这样,即使AI被欺骗,损失仍然会被限制。

你不需要保证AI永远认得骗子,只需要保证骗子无法轻易带走你的钱。

这就是大道至简。

前面可以有复杂的模型、提示词、工作流和检测系统。

最后只需要一条明确的边界:

不符合条件,就不执行。

最后的系统不必比AI更聪明

很多人认为,保护AI的安全系统也应该是一套更强大的AI。

但位于最后一道边界的系统,未必需要理解自然语言,也不需要参与复杂推理。

它只需要知道几个确定事实:

这次操作要转多少钱,目标是谁,权限是否发生变化,数据是否可以恢复,风险条件有没有超限。

这些事实不满足,就拒绝。

安全不一定要比风险更聪明,它只需要守住风险最终必须经过的那道门。

越靠近最终执行,系统反而越应该简单、独立和保守。

因为复杂意味着更多配置、更多依赖、更多攻击面,也意味着系统可能被前面的同一套错误逻辑同时影响。

真正的最后防线,不应该和Agent使用同一个提示词、同一个上下文、同一套权限,也不应该因为SaaS中有人点击了“强制执行”就自动失效。

它存在的意义,就是在所有人都认为可以继续时,依然保留拒绝的能力。

底线应该由人提前决定

当然,底线并不是系统自己创造的。

企业需要提前决定,什么事情绝对不能由AI单独完成。

可能是一笔超过限额的付款,可能是删除核心数据库,可能是修改管理员权限,也可能是让现实设备进入不可逆状态。

这些边界一旦确定,就不应该交给Agent在执行过程中临时解释。

真正的安全,不是让AI在最后一秒重新思考,而是让人类在风险发生之前提前划清边界。

AI可以负责分析、规划、推荐,甚至完成绝大部分自动化工作。

但越是不可逆、越是高价值、越可能造成现实损失的操作,越需要一道独立于AI判断的最终约束。

AI安全的终点,不是把模型训练成永不犯错的圣人,而是让系统在模型犯错时依然守得住自己的底线。

未来的AI一定会越来越聪明,也会获得越来越多的工具和权限。

我们没有必要因为它可能犯错,就拒绝所有自动化。

但我们也不能因为它越来越强,就默认把最后的决定权一起交出去。

最后想和大家讨论一个问题:

对你来说,AI最不能越过的底线是什么——钱、管理员权限、核心数据,还是现实设备的控制权?

本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 tougao@huxiu.com。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4876854.html?f=wyxwapp

声明:包含AI生成内容

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
金敬道还能踢球!记者苗原:他可以继续搞足球

金敬道还能踢球!记者苗原:他可以继续搞足球

建哥说体育
2026-11-22 11:11:25
万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

懂球帝
2026-11-22 04:52:29
英超弃将成意甲射手王!客场上演大四喜 连续8场参与进球

英超弃将成意甲射手王!客场上演大四喜 连续8场参与进球

球事百科吖
2026-11-22 06:12:57
世界最大驱逐舰,要开工了?

世界最大驱逐舰,要开工了?

晋说
2026-11-21 12:37:59
76人1日内3喜临门!詹姆斯连轰4大纪录又封神,这次保底总决赛?

76人1日内3喜临门!詹姆斯连轰4大纪录又封神,这次保底总决赛?

小路看球
2026-11-22 14:56:15
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
多家品牌宣布:下调金饰克价

多家品牌宣布:下调金饰克价

极目新闻
2026-11-21 19:27:16
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
为什么巩晓彬再度成为中国篮坛的流量顶流?很多人装正经,他装不正经

为什么巩晓彬再度成为中国篮坛的流量顶流?很多人装正经,他装不正经

姜大叔侃球
2026-11-22 12:41:38
只知道领退休金就亏了!国务院文件明确企退人一共能享受这些待遇

只知道领退休金就亏了!国务院文件明确企退人一共能享受这些待遇

音乐时光的娱乐
2026-11-22 16:25:10
哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

共工之锚
2026-11-17 00:29:44
F1拉斯维加斯大奖赛:维斯塔潘夺冠!拉塞尔失好局,法拉利叒内斗

F1拉斯维加斯大奖赛:维斯塔潘夺冠!拉塞尔失好局,法拉利叒内斗

天光破云来
2026-11-22 13:48:05
900万台!苹果3款旗舰发货量曝光,iPhone Duo降价1300元

900万台!苹果3款旗舰发货量曝光,iPhone Duo降价1300元

超维界数码
2026-11-22 16:28:51
女子30万块买二手帕拉梅拉,过户时工作人员:后备箱怎么焊了夹层

女子30万块买二手帕拉梅拉,过户时工作人员:后备箱怎么焊了夹层

悬案解密档案
2025-08-04 10:34:42
特朗普:信用卡公司“已经赚了很多钱”,愿与民主党合作,将信用卡利率上限设为10%;美银行业强烈反对

特朗普:信用卡公司“已经赚了很多钱”,愿与民主党合作,将信用卡利率上限设为10%;美银行业强烈反对

大风新闻
2026-11-22 09:03:07
沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

萌兰聊个球
2026-11-22 10:51:49
《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

自愈小日子
2026-11-21 04:07:16
宁波一司机开车途中手机没电,伸手去拿手机准备连接充电器,方向盘突然失控车子瞬间冲上花坛

宁波一司机开车途中手机没电,伸手去拿手机准备连接充电器,方向盘突然失控车子瞬间冲上花坛

环球网资讯
2026-11-22 15:01:09
46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

洲洲影视娱评
2026-11-22 10:20:20
不要面皮!市价5.3万RTX 5090送修被强行报废:只退原价1.8万

不要面皮!市价5.3万RTX 5090送修被强行报废:只退原价1.8万

快科技
2026-11-21 08:31:22
2026-11-22 17:48:49
虎嗅APP incentive-icons
虎嗅APP
个性化商业资讯与观点交流平台
28154文章数 688146关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
游戏
手机
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

手机要闻

星芒OSTA O1 Pro新机确认支持华为自研Wi-Fi 7+芯片级协同技术

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版