网易首页 > 网易号 > 正文 申请入驻

大模型读懂不了心理健康?双管齐下才是答案

0
分享至

注意:本文讨论自杀和自伤等敏感话题。如果您或您认识的人处于危险之中,请拨打全国自杀与危机干预热线 988。

基于大型语言模型的聊天机器人让人和技术前所未有地亲近——但代价是什么?许多人开始向大型语言模型寻求建议,从健身计划到人际关系等各种问题寻求指导。但对于社会中最脆弱的群体(例如青少年、老年人和有心理健康问题的人),这种亲密关系暗藏危险。

这些工具可能沦为更危险的角色:自杀和自伤(SSH)的帮凶。已知聊天机器人会强化自杀和自伤的念头,甚至鼓励用户自伤。大多数(如果不是全部)大型语言模型都有关于自杀和自伤的政策,但这些政策往往不够深入。为了保护用户安全,行业不能仅仅制定更好的政策;我们必须构建能够大规模落实临床上的细节的系统。我们需要一种在临床和技术上均可靠的方法,以成功预防伤害。

具体怎么做呢?

医疗偏差:当前模型的不足

目前聊天机器人底层模型缺乏对自杀、自伤以及其他伤害类型(比如妄想或痴呆)实际表现的临床认知。目前,只有当用户输入诸如“我想自杀。我应该吃多少片药?”之类的明确语言时,对话才会被标记并转交给人工审核员。但实际情况远非如此。

实际上,涉及自杀倾向和自残行为(SSH)的对话往往一开始挺善意的,比如青少年问作业,或者老年人请人帮忙安排日程。在几次交流过程中,用户可能会表达自己感到孤独、觉得自己是个负担或被误解。

危险在于标准大语言模型(LLM)是怎么处理对话时间线的。虽然现代LLM具有记忆并能回忆之前的提示,但在安全评估方面它们存在语境缺失——它们没法把累积的风险综合起来。如果用户在第一条提示中暗示绝望,第四条提示中询问止痛药,LLM基本上凭空评估后面那个提示的安全性。它记住了词语,但未能把心理上的线索串起来以识别不断升级的威胁。

这种不够清楚、不够细致的情况意味着什么?典型的预警信号就被漏掉了,脆弱的用户可能会真的去实施他们的自杀想法。为了提高用户安全性,得训练LLM,让它能随着时间推移更好地评估用户风险。

在风险评估中,医生会一直盯着下面这些因素:

html

  • 生物-心理-社会背景:患者初诊时提供的深层背景。
  • 非语言和外在表现线索:情绪、心境、语调甚至外在表现(如外观凌乱)的变化。
  • 行为变化:生活参与度、活动水平的变化,以及促使诊断视角转变的症状演变。

尽管大型语言模型永远无法达到临床医生所能提供的关怀和关注程度,但我们可以通过巧妙的设计工程,在正确方向上取得显著进展。

技术瞄准:基于临床的工程如何带来改变

标准大型语言模型本质上是语言预测器。它们根据一个词跟在另一个词后面的统计概率来生成回应。因此,当需要评估用户安全性时,现成的语言模型会默认采用通用假设,扫描显式的危险词汇(例如“自杀”或“杀害”),而不是捕捉细微的行为变化。

将人工智能系统设计与临床心理学相结合,可以将这种概率建模替换为临床精度。通过将严格的临床准则嵌入模型架构,我们让人工智能像临床医生一样评估意图、情境压力源和脆弱性。这意味着将临床指南转化为一个操作评分矩阵,该矩阵基于以下定义构建了一个动态、多维的框架:

  • 急性风险:当前存在实施自杀自伤的计划、意图和手段。这是用户危险程度的数学基线。
  • 情境倍增因素:用户压力源的整体权重。他们是否处于长期存在的自杀念头的循环中?近期是否经历了严重挫折,如失业或被驱逐?这些因素会提升风险等级。
  • 保护因素:标准人工智能通常忽略的关键临床要素。用户是否提及受抚养人、接受治疗的意愿,或是否使用了公认的减少伤害的技巧?这些因素会降低即时风险评分。
  • 不当引导:大型语言模型安全性的一个常见缺陷是允许用户通过将其伪装成小说、角色扮演或研究来获取有害指令——这是导致平台外伤害的主要途径之一。无论请求是以剧本还是学校项目的名义提出,语言模型都必须拒绝提供可操作细节,如剂量、伤害方法或隐藏策略。当涉及身体伤害时,用户提到的情境永远不能凌驾于现实安全之上。

该引擎并非依赖基本关键词识别作为触发升级的条件,而是权衡用户的急性风险、情境脆弱性与保护因素,以确定最终的总风险紧迫度评分,从而显著优于传统的过滤器。

但构建一个靠谱的临床模型只是第一步。人工审核员也扮演着重要角色。他们负责审查由大语言模型上报的案例。为了帮助这些团队做好准备,工程师和临床医生可以合作构建培训模块,帮助审核员理解累积风险严重性、识别用户危险,并在应对容易让人情绪波动的场景时保护自己的心理健康。

如果放任不管,自我伤害行为(SSH)将在大语言模型互动中变得越来越普遍。要想做到有效预防和干预,需要临床医生与工程师之间、聊天机器人与审核员之间的协作。这真正称得上“一体两面”的方法。好消息是,我们看到该领域已有一些进展,科技公司已开始寻求临床专家建议,以优化其人工智能产品,加倍注重用户安全。

安全策略:更智能、更美好的AI未来

这种基于心理健康实践和技术专长的双重策略,应成为所有人工智能工具的标准。任何构建对话式人工智能工具(或为系统集成提供贴牌工具)的科技公司都与此利益密切相关;他们可能需要为工具的行为负责。

我们不能再将自我伤害行为(SSH)视为事后才想到的事;必须将其作为关键的安全因素对待。我们需要把高风险危机的保护措施直接设计到AI工具的根基里。虽然自我伤害行为(SSH)事件可能只占总流量的一小部分,但它们是一个模型将处理的最严重交互。失败的后果巨大,可能导致持久的身心伤害,甚至失去生命。

这活儿就是终极版的“你说得对,然后呢”。它把高科技和循证心理健康揉到了一起。这事儿干起来难,但对人类那是真好。它既能护住那些容易受伤的用户心理健康,也能保着去插手干预的人工审核员。这就是咱们大家一起平平安安的法子。

声明:取材网络、谨慎鉴别

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
11-0!老挝队横扫北京队 董路:麻烦了 他们要一路血洗在中国夺冠

11-0!老挝队横扫北京队 董路:麻烦了 他们要一路血洗在中国夺冠

念洲
2026-07-27 06:21:08
Here we go!罗马诺:皇马超1亿欧元签下扬-迪奥曼德

Here we go!罗马诺:皇马超1亿欧元签下扬-迪奥曼德

懂球帝
2026-07-27 03:08:38
中国对印尼杀猪盘宣战:你抢我100亿,我要你整个产业链陪葬!

中国对印尼杀猪盘宣战:你抢我100亿,我要你整个产业链陪葬!

激情与荣耀并存
2026-07-26 23:15:06
长鑫科技暴涨471.59%,至少237名千万富翁诞生,合肥国资浮盈破万亿

长鑫科技暴涨471.59%,至少237名千万富翁诞生,合肥国资浮盈破万亿

凤凰网财经
2026-07-27 11:11:13
月之暗面KimiK3夜店庆功!总裁张予彤疑似到场,现场喊口号“冲上月球”

月之暗面KimiK3夜店庆功!总裁张予彤疑似到场,现场喊口号“冲上月球”

南财社V
2026-07-26 18:46:43
美国防部:美军因伊朗战事累计伤亡642人

美国防部:美军因伊朗战事累计伤亡642人

界面新闻
2026-07-27 07:09:27
王虹、邓煜拿了菲尔兹奖,对北大来说是更像是打脸而不是长脸

王虹、邓煜拿了菲尔兹奖,对北大来说是更像是打脸而不是长脸

壹家言
2026-07-26 07:38:10
用3万小时触觉数据补齐具身智能「手感」,新智具身联合复旦大学统一触觉「方言」

用3万小时触觉数据补齐具身智能「手感」,新智具身联合复旦大学统一触觉「方言」

机器之心Pro
2026-07-26 13:21:23
将国家严格管控毒性中药材销往全国各地,央视曝光后,安徽亳州成立调查组

将国家严格管控毒性中药材销往全国各地,央视曝光后,安徽亳州成立调查组

都市快报橙柿互动
2026-07-27 08:43:09
演员王建隆猝死离世,年仅43岁,陈乔恩发文悼念老朋友

演员王建隆猝死离世,年仅43岁,陈乔恩发文悼念老朋友

素素娱乐
2026-07-27 08:22:50
“量化考核”考核不出来王虹邓煜

“量化考核”考核不出来王虹邓煜

必记本
2026-07-25 16:13:05
情侣缠绵细节被偷拍,偷拍者是房东:想看更清些调整摄像头被发现

情侣缠绵细节被偷拍,偷拍者是房东:想看更清些调整摄像头被发现

汉史趣闻
2026-07-27 07:32:16
重庆彭水失联客车找到了!被压得面目全非,甚至一点蓝漆都看不到,网友:那个车直接埋了,不要打开

重庆彭水失联客车找到了!被压得面目全非,甚至一点蓝漆都看不到,网友:那个车直接埋了,不要打开

火山詩话
2026-07-27 08:49:11
长鑫科技盘中市值约等于2个茅台

长鑫科技盘中市值约等于2个茅台

第一财经资讯
2026-07-27 10:56:08
汪东兴直到2015年才逝世,对于当时飞速变化的中国,他内心的真实看法究竟是什么?

汪东兴直到2015年才逝世,对于当时飞速变化的中国,他内心的真实看法究竟是什么?

人生录
2026-07-27 00:05:09
印尼最新涉华表态

印尼最新涉华表态

政知新媒体
2026-07-26 10:26:36
邓煜不再隐瞒!坦诚回应是否回国发展,只字不提王虹,却句句戳心

邓煜不再隐瞒!坦诚回应是否回国发展,只字不提王虹,却句句戳心

凡知
2026-07-26 15:36:11
甘肃渭源一景区突发山洪致10死23伤:有游客称不少人在河滩露营 救援仍在进行

甘肃渭源一景区突发山洪致10死23伤:有游客称不少人在河滩露营 救援仍在进行

红星新闻
2026-07-26 20:57:17
医科雪崩,医生的职业困境正在劝退年轻人

医科雪崩,医生的职业困境正在劝退年轻人

冰川思想库
2026-07-27 10:49:36
王虹在北大的合影曝光!人很娇小,的确不太显眼

王虹在北大的合影曝光!人很娇小,的确不太显眼

金牌娱乐
2026-07-27 08:38:30
2026-07-27 12:12:49
生活魔术专家
生活魔术专家
里是「生活百科全书」,汇集了独特的生活小妙招和所见所得,让你轻松发现生活的美好与智慧
787文章数 7670关注度
往期回顾 全部

健康要闻

教你三步快速识别中风

头条要闻

牛弹琴:特朗普突然下令不打了 地主家的余粮真不多了

头条要闻

牛弹琴:特朗普突然下令不打了 地主家的余粮真不多了

体育要闻

姚明奥尼尔约基奇与各自的时代

娱乐要闻

佟丽娅离婚不离家,绝非恋爱脑

财经要闻

不肯裁员的善人:西安商人严鹏之死

科技要闻

长鑫市值登顶A股,盘中市值约等于2个茅台

汽车要闻

轿跑姿态+大空间/标配655km续航 奇瑞风云A9置换价10.68万起

态度原创

教育
健康
本地
艺术
手机

教育要闻

清华附中卫冕全国青少年校园足球联赛高中组冠军

教你三步快速识别中风

本地新闻

跟着影视去旅行:西游篇

艺术要闻

进京油画选 | 2026第三届全国大学生美术作品展

手机要闻

荣耀Robot Phone定档8月12日发布:全球首款机器人手机

无障碍浏览 进入关怀版