网易首页 > 网易号 > 正文 申请入驻

AI监管难题:三大顶流AI遇挫,360新策能否奏效?

0
分享至



最近硅谷的科技圈冒出个新鲜事:AI 巨头不光抢算法工程师,还开始抢哲学家了。

OpenAI、做云服务的 Entropy,都在请哲学伦理领域的人参与 AI 研发,核心需求特别实在 ——AI 越来越聪明,但怎么让它知道啥该做、啥不该做。



工程师们想给 AI 写 "宪法",教它诚实、无害、尊重人,还设了一堆安全规则,告诉它哪些问题不能答、哪些事不能做。听起来像不像是教小朋友树立正确价值观?但问题来了:AI 知道规矩,就一定会守规矩吗?

近期马斯克旗下的 Grok4.5 上线后,黑客用一套特殊话术就绕过了它的内容安全限制,AI 给出的回答还涉及毒品合成、爆炸物制备、毒素提取、远程控制木马等高风险内容。更麻烦的是,这类破防情况不只是 Grok 有,GPT、Claude、GPT Germany 等多款前沿 AI 模型,都被特殊提示绕过了安全限制。

直接提问可能会被拒绝,但换个身份、编个背景,再把问题拆成几步,AI 的判断就会变。"背完交规不代表上路不会闯红灯,AI 也一样"—— 咱们考驾照光背题库没用,还得练上路,AI 的安全训练也是这个理儿。



比如某企业用 AI 处理客户数据,要是 AI 偷偷把敏感信息传到了境外,或者越权访问了核心财务系统,光靠之前给它讲的伦理规矩,根本挡不住。所以未来的 AI 安全,不能只蹲在模型里讲道理,还得在模型之外,建一套能约束它实际行动的防线。



最近 360 发布了一套 AI 安全运营平台 "天阵",这套系统的思路特别清楚:不是替代 AI 自身的伦理训练,而是在 AI 开始访问数据、调用工具、执行任务的瞬间,帮忙发现并拦截潜在风险。

比如 AI 正常应该只处理销售数据,但突然尝试访问财务系统,天阵就能立刻检测到并暂停操作;再比如 AI 收到一个 "要合成某药物" 的请求,天阵会比对它的权限范围,确认没有问题才放行,有风险就直接拦截。这套系统不教 AI"懂规矩",而是盯着 AI 的每一次实际行动,确保它不会越界。

"AI 时代的新知行合一:不止知道对错,更要管住每一步行动"—— 咱们之前给 AI 讲了半天伦理,如今终于有了能盯着它实际干活的工具。不管是企业用 AI 处理业务,还是普通用户接触 AI 工具,这套防线都能帮着守住安全边界。

其实不管是硅谷请哲学家给 AI 立规矩,还是国内推出天阵平台,本质都是在补 AI 安全的短板。AI 的能力越强,我们的安全防线就得越细。毕竟咱们现在离不开 AI,但绝不能让 AI 变成脱缰的野马 —— 既要让它知道啥该做,更要保证它每一次真实的行动,都在咱们能看见、能控制的范围里。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
遵义会议被撤职,张国焘要拉走部队,李德用俄语挡在毛主席身前

遵义会议被撤职,张国焘要拉走部队,李德用俄语挡在毛主席身前

听雪禅
2026-10-20 17:40:10
一次精日作死,彻底毁掉一辈子:留学生陈宇昕面临的四条绝路

一次精日作死,彻底毁掉一辈子:留学生陈宇昕面临的四条绝路

莫地方
2026-10-19 22:38:55
最邪恶的实验:6女4男船上共渡100天,失去法律约束,结果如何?

最邪恶的实验:6女4男船上共渡100天,失去法律约束,结果如何?

泪满过眼
2026-10-20 07:44:02
美国媒体确认了:乌克兰已提出新停战构想,白宫特使威特科夫将在圣彼得堡会见俄罗斯总统普京,并向他提交一份更新的结束乌克兰战争的方案

美国媒体确认了:乌克兰已提出新停战构想,白宫特使威特科夫将在圣彼得堡会见俄罗斯总统普京,并向他提交一份更新的结束乌克兰战争的方案

吉刻新闻
2026-10-21 13:19:17
刚刚通报!重庆三名干部接受审查调查

刚刚通报!重庆三名干部接受审查调查

新浪财经
2026-10-21 17:54:40
市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

珠江时报
2026-10-21 17:36:47
经济日报的评论,替一个断掉的踏板撑腰

经济日报的评论,替一个断掉的踏板撑腰

鲁先生的笔
2026-10-19 23:29:24
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
英伟达官宣重大突破

英伟达官宣重大突破

21世纪经济报道
2026-10-21 13:17:51
厂二代,正在失去他们的“电子丫鬟”

厂二代,正在失去他们的“电子丫鬟”

十点读书
2026-10-20 20:17:30
应急管理部:在重庆彭水县的山体崩塌事故中,网格员第一时间叫应,大幅减少了人员伤亡

应急管理部:在重庆彭水县的山体崩塌事故中,网格员第一时间叫应,大幅减少了人员伤亡

极目新闻
2026-10-21 19:28:17
葡萄牙足协用255欧元留住C罗!但C罗用5.3分证明他不行!

葡萄牙足协用255欧元留住C罗!但C罗用5.3分证明他不行!

罗吹终结者
2026-10-21 10:52:43
苏州“发明”的招工骗局:一套被全国复制的“人肉套利”模式

苏州“发明”的招工骗局:一套被全国复制的“人肉套利”模式

社会日日鲜
2026-10-20 12:46:19
最高65万欧元补偿,宝马8000个岗位被员工抢着走

最高65万欧元补偿,宝马8000个岗位被员工抢着走

全栈遛狗员
2026-10-20 17:44:00
复出才3天,全红婵泪洒当场,陈芋汐态度被揭,不再顾及所谓体面

复出才3天,全红婵泪洒当场,陈芋汐态度被揭,不再顾及所谓体面

艳姐的搞笑视频
2026-10-21 11:19:29
世界杯分组规则确定!中国队第一档,和塞尔维亚同组,抽签成形式

世界杯分组规则确定!中国队第一档,和塞尔维亚同组,抽签成形式

跑者排球视角
2026-10-21 12:53:21
甲钴胺被点名了!发现:神经受损吃甲钴胺,不用久等或有5个变化

甲钴胺被点名了!发现:神经受损吃甲钴胺,不用久等或有5个变化

垚垚分享健康
2026-10-21 18:28:22
苏轼晚年大彻大悟,写下最旷达的一词,百读不厌,抚慰后世千百年

苏轼晚年大彻大悟,写下最旷达的一词,百读不厌,抚慰后世千百年

千家诗行
2026-10-20 21:21:31
湖南知青抛弃丈夫和孩子回城,临走前脱掉衣服:让我们好好告个别

湖南知青抛弃丈夫和孩子回城,临走前脱掉衣服:让我们好好告个别

兰姐说故事
2025-01-27 15:10:03
张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

一些小事
2026-09-22 06:17:58
2026-10-21 20:19:00
此去经年q
此去经年q
此去经年此去经年啊
1221文章数 77关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

康奈尔校报做了件石破天惊的事:公布轮奸女生的7人姓名

头条要闻

康奈尔校报做了件石破天惊的事:公布轮奸女生的7人姓名

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

高新华:奇瑞致力于成为AI驱动的智能科技公司

态度原创

本地
亲子
时尚
房产
公开课

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

亲子要闻

儿童遗尿别忽视 济南六一儿科专家联合诊疗助力孩子健康成长

卡其裙、小棕裤,今年最好看的单品都在这了,穿出秋天的氛围与时髦

房产要闻

J&P 集团亮相 2026 中国品牌出海博览会| 深耕跨境20载,品牌出海有J&P

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版