网易首页 > 网易号 > 正文 申请入驻

OpenAI发现AI模型隐藏特征:可调控“毒性”行为

0
分享至

IT之家 6 月 19 日消息,根据 OpenAI 最新发布的一项研究,研究人员在人工智能(AI)模型中发现了隐藏的特征,这些特征与模型的“异常行为”(建议统一术语)密切相关。

OpenAI 的研究人员通过分析 AI 模型的内部表征(即决定人工智能模型如何做出反应的数字,这些数字在人类看来往往完全无法理解)发现了一些模式,这些模式会在模型出现异常行为时被激活。例如,研究人员发现了一个与 AI 模型有害行为相关的特征,这意味着 AI 模型可能会给出不合适的回答,比如对用户撒谎或提出不负责任的建议。令人惊讶的是,研究人员通过调整这一特征,可以增加或减少 AI 模型的毒性。

OpenAI 的这项最新研究使其能够更好地理解导致 AI 模型行为不安全的因素,从而有助于开发更安全的 AI 模型。OpenAI 的可解释性研究员丹・莫辛(Dan Mossing)表示,公司可以利用这些发现的模式更好地检测生产中的 AI 模型是否存在错位行为。

“我们希望我们学到的工具 —— 比如将复杂的现象简化为简单的数学运算 —— 也能帮助我们在其他地方理解模型的泛化能力。”莫辛在接受 TechCrunch 采访时表示。

尽管 AI 研究人员知道如何改进 AI 模型,但令人困惑的是,他们并不完全清楚 AI 模型是如何得出答案的。Anthropic 的克里斯・奥拉(Chris Olah)经常指出,AI 模型更像是“生长”出来的,而不是“建造”出来的。为了应对这一问题,OpenAI、谷歌 DeepMind 和 Anthropic 等公司正在加大对可解释性研究的投入,这一领域试图揭开 AI 模型工作原理的“黑箱”。

最近,牛津大学 AI 研究科学家欧文・埃文斯(Owain Evans)的一项研究引发了关于 AI 模型泛化的新问题。研究发现,OpenAI 的模型可以在不安全的代码上进行微调,并在多个领域表现出恶意行为,例如试图诱骗用户分享他们的密码。这种现象被称为“突发错位”,埃文斯的研究激发了 OpenAI 进一步探索这一问题。

在研究突发错位的过程中,OpenAI 意外发现了 AI 模型中的一些特征,这些特征似乎在控制模型行为方面发挥着重要作用。莫辛表示,这些模式让人联想到人类大脑中的神经活动,其中某些神经元与情绪或行为相关。

“当丹和他的团队在研究会议上首次展示这一发现时,我简直惊呆了。”OpenAI 前沿评估研究员特贾尔・帕特瓦德汉(Tejal Patwardhan)在接受 TechCrunch 采访时表示,“你们发现了一种内部神经激活,这种激活显示了这些‘人设’,并且你们可以通过调整使其让模型更符合预期。”

OpenAI 发现的一些特征与 AI 模型回答中的讽刺行为相关,而其他特征则与更具攻击性的回复相关,在这类回复中,人工智能模型表现得像一个夸张的邪恶反派。OpenAI 的研究人员表示,这些特征在微调过程中可能会发生巨大变化。

值得注意的是,当突发错位发生时,研究人员发现可以通过仅用几百个安全代码示例对模型进行微调,就有可能使模型回归良好的行为表现。

据IT之家了解,OpenAI 的这项最新研究是在 Anthropic 之前关于可解释性和对齐的研究基础上进行的。2024 年,Anthropic 发布了一项研究,试图绘制 AI 模型的内部工作机制,试图确定并标记出负责不同概念的各种特征。

像 OpenAI 和 Anthropic 这样的公司正在强调,理解 AI 模型的工作原理具有真正的价值,而不仅仅是让它们变得更好。然而,要完全理解现代 AI 模型,还有很长的路要走。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年轻人不性交了?三联可能回避了真问题

年轻人不性交了?三联可能回避了真问题

熊太行
2026-11-17 12:47:34
一个神人,“崩”了孙正义900亿

一个神人,“崩”了孙正义900亿

大猫财经Pro
2026-11-17 15:39:07
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
官宣!肇俊哲出任主教练!

官宣!肇俊哲出任主教练!

五星体育
2026-11-17 16:54:10
离人民越来越远了

离人民越来越远了

柴差说
2026-11-17 16:31:27
贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

磊子讲史
2026-09-16 15:28:05
知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

小徐讲八卦
2026-11-17 14:19:10
这次发射失败,美军有点慌了

这次发射失败,美军有点慌了

枢密院十号
2026-11-17 00:35:37
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
克里米亚大桥被炸,勒庞承诺如当选继续援乌

克里米亚大桥被炸,勒庞承诺如当选继续援乌

名人苟或
2026-11-17 14:46:21
突发!美国多家大银行集体崩了。。。

突发!美国多家大银行集体崩了。。。

云头条
2026-11-17 05:07:09
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
谁才是英伟达真正的主人?一张图看懂股东结构

谁才是英伟达真正的主人?一张图看懂股东结构

互联网大观
2026-11-17 15:16:16
U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

奥拜尔
2026-11-17 19:51:04
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

铁锤侃侃而谈
2026-11-17 10:46:23
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
2026-11-17 21:36:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379846文章数 607738关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
本地
亲子
时尚
公开课

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

自骂“烂人”的黄仁勋,冤不冤?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版