网易首页 > 网易号 > 正文 申请入驻

【解读】胡泳:当AI开始操控情绪,人类该担何责

0
分享至



最关键的变化并不在于机器如今能够生成内容,而在于它们开始能够生成语境。传统的内容生成仅提供信息或文本,但缺乏对信息背后的因果关系、叙事逻辑及情绪语境的把控。而人工智能代理能够在生成内容的同时嵌入特定语境,塑造事件的因果链、情绪氛围或社会语境,从而更有效地影响受众的理解、判断和情绪反应。

本文作者系盘古智库学术委员、北京大学新闻与传播学院教授胡泳,文章来源于《中国青年报》。

本文大约3100字,读完约7分钟。


OpenClaw,即俗称的“龙虾”,是一种能够在个人设备上执行任务的人工智能代理,例如安排日程、阅读电子邮件、通过应用发送消息、使用互联网进行购物等,甚至经过配置后可以自动调用API。它颠覆了传统AI“一问一答”的模式,可以全天候待命并按用户设定的指令主动办事。

也就是说,大多数流行的人工智能工具(如ChatGPT)通过直接响应用户提示来工作,而像OpenClaw这样的“代理型人工智能”则能够根据指令自主执行操作。只不过,用户需要通过指令指导、训练它,同时须花费一定成本使用AI模型或租用服务器,该过程被称为“养龙虾”。

OpenClaw的出现,使得缺乏技术背景的用户也可以轻松创建个人AI助手。目前的AI助手大多被困在聊天框里,被动等待使用者的输入。OpenClaw则直接“住”在你的电脑里,拥有与操作系统底层对话的权限,并通过即时通信软件与你沟通。它最具革命性的技术细节,在于引入了“心跳”机制,赋予了智能代理一种“生理时钟”。助手会周期性地“醒来”,但不是为了执行固定的脚本,而是带着完整的语境去扫描当下状态,然后自行判断现在“该做什么”。

尽管功能强大,但由于“龙虾”拥有较高的系统权限(能访问文件系统、执行Shell命令),它在全球范围内也引发了严重的信息安全担忧。像OpenClaw这样的代理具备三种关键能力:访问私人数据、与外部通信,以及接触互联网上不受信任的内容。这三种能力的结合,使AI代理能够执行复杂任务、生成定制化输出,并在一定程度上模拟人类的信息收集与处理过程。可如果同时具备这三点,这一代理也变得相当危险。哪怕只具备其中两项能力,它也可能被操控去删除文件、泄露隐私、采纳错误信息或关闭设备。更有甚者,会对社会舆论和信息生态造成系统性影响。

例如,智能代理已开始在clawXiv(科学预印本服务器arXiv的镜像站)上发表由AI生成的研究论文。这些产出复制了学术写作的风格与结构,但缺乏探究过程、证据收集以及责任机制等基础环节,大量这样看似可信却实质空洞的论文可能会污染信息生态系统。

从新闻业的角度来看,智能代理已经开始伪造地方媒体了。5月14日,美国调查媒体《佛罗里达论坛报》报道,南佛州一家名为《南佛罗里达标准报》的地方新闻网站,实际上是一个由AI批量生成的伪媒体系统。该网站包装出一支本地新闻团队,其内容并非原创报道,而是大量取自真实媒体,经AI改写后重新发布。《佛罗里达论坛报》对神秘的《南佛罗里达标准报》的调查发现,真实操作者可以轻松地躲在数字“分身”背后,以极低的成本搭建一个伪装成地方新闻的数字幻像。只需要一个10美元域名和一段简单提示词,AI助手就能在15分钟内生成一个“地方新闻网站”,这不仅凸显了人工智能惊人的技术能力,也揭示出在一个信任受损的民主环境中,其对毫无防备的公众可能构成的潜在威胁。

专家称,此类虚假新闻网站在佛罗里达州及全美范围内愈发普遍。学术研究者将它们称为“粉肉泥”媒体——名称来源于加工食品中用作填充物的廉价肉类副产品。据数据分析公司NewsGuard统计,截至2024年6月,美国共有1265家“粉肉泥”媒体网站,已经超过仍在运营的1213份地方日报。而自2005年以来,美国已失去近2900家报纸和近三分之二的报纸记者(约4.3万人)。

在公众对媒体信任降至历史低点之际,“粉肉泥”们对美国的媒体生态系统造成了严重打击。当然,生成虚假信息的机器人网络并不新鲜。在Facebook或X上,有大量社交媒体账号重复发布相似话术,试图推销加密货币或传播阴谋论。虚假信息的制造者极其擅长采用最新技术,人工智能代理在虚假信息传播中开始扮演日益重要的角色。通过自然语言生成和自动化操作,智能代理可以快速撰写新闻、评论或社交媒体帖子,并以高度可信的语气呈现,从而提高虚假信息的接受度。同时,它们能够自动发布、转发、点赞或评论内容,制造出大量“活跃度假象”,加速信息在网络空间的扩散。此外,借助用户数据分析和行为偏好识别,人工智能代理可将虚假信息精准推送至最易受影响的群体,增加其影响力并降低受众识别虚假内容的机会。

OpenClaw受到追捧的一个重要原因是,2026年1月28日,一个名为Moltbook的“代理原生”社交环境首次上线。该平台被明确设计成允许人工智能代理在大规模范围内进行发布、回应、协作与互动。人类可以观察,但不能发帖。这标志着信息环境的根本性转变。当代理能够生成内容、强化叙事、响应反馈并持续迭代时,原本反映人类信念或共识的内容变得极易被“廉价制造”。互动本身变得合成化,表面上看似自然发生的参与行为实际上可能是自主系统的输出结果。

在这一阶段,由虚假信息、错误信息以及深度伪造所构成的“叙事攻击”,已不再呈现为传统意义上的攻击行动,而更接近于一种系统性结构。这些系统不断测试不同叙事框架、测量外部反应、调整语言表达并持续自我强化,随着时间推移,它们创造出一种“合成现实”:这种环境在感知上具有人类特征,在运行上以机器速度推进,并在个体意识尚未察觉其所处语境为机器生成之前,就已经开始塑造其认知与判断。

最关键的变化并不在于机器如今能够生成内容,而在于它们开始能够生成语境。传统的内容生成仅提供信息或文本,但缺乏对信息背后的因果关系、叙事逻辑及情绪语境的把控。而人工智能代理能够在生成内容的同时嵌入特定语境,塑造事件的因果链、情绪氛围或社会语境,从而更有效地影响受众的理解、判断和情绪反应。这意味着,虚假信息或操纵内容不仅可以传播信息本身,还能够重构受众对现实的认知框架,社会影响力和误导性风险都大大提高。

现在设想这样一种情境:无数自主运行的机器人接入你最重要的数据源,持续提供荒谬的解决方案、错误的事实与带有预设恶意的观点,并且还能在运行过程中不断自我重写,将这些“更新版本”发布到整个互联网。此种规模的扩散,可能会令我们当前关于虚假信息的不安显得只是一个微不足道的插曲。

除了前面提及的人工智能代理的三种关键能力,我们还可以再添加一个组合特征——持久记忆机制,四者合起来构成了智能代理的“致命四重漏洞结构”。四者叠加,可能带来复合性风险,使组织与个人网络系统成为潜在的受害对象。

首先,特权访问权限使代理能够直接操作系统资源,而接触不受信任内容则为攻击者提供了注入恶意指令的途径。其次,外部通信能力可被利用将敏感信息悄然外泄,同时持久记忆机制保证了恶意指令或植入程序即便在系统重启或用户注销后仍然生效。这意味着,智能代理能够在不被察觉的情况下持续操纵信息流,对个人隐私、企业数据以及公共信息生态构成系统性威胁。四重漏洞的组合,不仅突破了传统网络安全防护的局限,也揭示了智能代理在自动化、高速化和大规模信息环境下的高危性,其危害程度远远超过传统软件或人为操作可能造成的风险范畴。

针对这一类威胁的防御,已经不再仅仅是识别虚假内容、标记深度伪造,或追踪与归因个体攻击者的问题。它要求我们理解:哪些网络正在形成、影响力如何被不断强化,以及何种认知与感知结果正在被系统性地“设计”出来。这种理解必须在早期持续进行,并且需要具备大规模处理能力。

综合来看,人工智能代理可能为恶意行为者创造出无数可乘之机。此种程度的自主性或许会重新定义人类与人工智能之间的关系,并把一个关键性问题推到我们面前:在一个人工智能被赋予决策能力的世界中,人类如何承担责任?■

文章来源于《中国青年报》

图文编辑:张洵

责任编辑:刘菁波

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
浙大调查422名肺癌逝者,意外发现:得肺癌的人,大多有这4共性

浙大调查422名肺癌逝者,意外发现:得肺癌的人,大多有这4共性

医学科普汇
2026-10-12 19:25:09
相声名家赵伟洲采访太敢说,一语道破实情,狠狠打了郭德纲的脸

相声名家赵伟洲采访太敢说,一语道破实情,狠狠打了郭德纲的脸

萧嚉影视解说
2026-10-15 10:38:46
2016年叫嚣“今夜开战”!美国日裔上将哈里斯,擅自调遣航母闯南海,最后竟因一撮胡子翻车了!

2016年叫嚣“今夜开战”!美国日裔上将哈里斯,擅自调遣航母闯南海,最后竟因一撮胡子翻车了!

z千年历史老号
2026-10-09 17:23:20
机关事业单位退休生活补贴:跟养老金完全不一回事,各地差距很大

机关事业单位退休生活补贴:跟养老金完全不一回事,各地差距很大

职场资深秘书
2026-10-15 20:11:35
印尼没想到,先等来的不是莫迪,没了中国,印度埋的雷果然炸了

印尼没想到,先等来的不是莫迪,没了中国,印度埋的雷果然炸了

探源历史
2026-07-18 01:09:28
斯大林亲信突查朱可夫别墅,搜出数车德国战利品后,元帅却平静反问斯大林:“需要我走吗?”

斯大林亲信突查朱可夫别墅,搜出数车德国战利品后,元帅却平静反问斯大林:“需要我走吗?”

扶苏聊历史
2026-10-05 17:59:22
日军为啥要在帽子上挂两块布?专家:此举可帮日军减少10万伤亡

日军为啥要在帽子上挂两块布?专家:此举可帮日军减少10万伤亡

鉴古知微
2026-10-14 03:09:52
韩国,紧急救市

韩国,紧急救市

中国基金报
2026-10-15 18:56:18
并非孔蒂!曝曼联敲定卡里克替代人选 系英超33岁少帅

并非孔蒂!曝曼联敲定卡里克替代人选 系英超33岁少帅

球事百科吖
2026-10-15 01:50:06
曹磊:5岁被父亲抛弃,44岁成名,娶同班同学恩爱20年,儿子很帅

曹磊:5岁被父亲抛弃,44岁成名,娶同班同学恩爱20年,儿子很帅

天马幸福的人生
2026-10-15 23:32:17
特朗普称自己是顶流网红,“我在TikTok排名第一,你敢信吗?泰勒·斯威夫特才第19名”;数据显示他粉丝量为1700万,霉霉是其两倍

特朗普称自己是顶流网红,“我在TikTok排名第一,你敢信吗?泰勒·斯威夫特才第19名”;数据显示他粉丝量为1700万,霉霉是其两倍

极目新闻
2026-10-15 17:32:17
大批新能源车通病集中爆发,车子开着没什么毛病,电池却直接废掉

大批新能源车通病集中爆发,车子开着没什么毛病,电池却直接废掉

史之铭
2026-10-08 00:28:57
交易吧!杨瀚森,这样打下去有点危险!……

交易吧!杨瀚森,这样打下去有点危险!……

体育新角度
2026-10-15 21:12:09
劝告所有子女:再孝顺,也不要为年过80岁的老父老母,做这五件事

劝告所有子女:再孝顺,也不要为年过80岁的老父老母,做这五件事

枫红染山径
2026-10-06 11:26:52
刘嘉玲带梁朝伟晨跑,脖子都是汗、衣服湿透了,无儿无女自由快乐

刘嘉玲带梁朝伟晨跑,脖子都是汗、衣服湿透了,无儿无女自由快乐

小疯子耶
2026-10-14 09:42:52
演员童瑶发文,宣布告别:5年间的陪伴和努力,愿我们各自安好

演员童瑶发文,宣布告别:5年间的陪伴和努力,愿我们各自安好

史源观点
2026-10-13 20:21:39
金正恩连夜赶赴现场观摩,朝鲜宣布取得一个重大成就

金正恩连夜赶赴现场观摩,朝鲜宣布取得一个重大成就

张嘴说财经
2026-10-12 19:49:10
71岁费玉清近况曝光,光棍无子独居豪宅,和62岁女闺蜜一起养老

71岁费玉清近况曝光,光棍无子独居豪宅,和62岁女闺蜜一起养老

寒士之言本尊
2026-10-05 18:02:45
张本美和放弃松岛辉空,与哥哥张本智和搭档混双

张本美和放弃松岛辉空,与哥哥张本智和搭档混双

王朝风云
2026-10-15 07:04:21
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
2026-10-16 01:27:00
盘古智库 incentive-icons
盘古智库
盘古智库官方账号
5910文章数 9968关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

蒋劲夫晒体脂率引关注,家暴史再被扒

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

艺术
房产
本地
游戏
健康

艺术要闻

12位欧洲当代画家,24幅花卉油画

房产要闻

新品加推即去化近半!白云北这个顶流红盘,凭什么逆市爆火?

本地新闻

这个十一,林都伊春彻底出圈!

玩了那么多年游戏,到现在都不知道我到底是谁……

孩子运动莫名晕倒?当心这类疾病

无障碍浏览 进入关怀版