上海
财联社10月28日讯（编辑 马兰）人工智能模型的安全性一直受到市场质疑。近期，一名美国青少年在咨询ChatGPT后自杀，进一步引发了社会对模型是否存在诱导用户尝试危险行为的怀疑，也迫使OpenAI加大了对用户心理健康问题的监控。
周一，OpenAI发布了一篇博文显示，每周有超过一百万ChatGPT用户发送包含潜在自杀计划或明确意图迹象的消息。除了自杀相关的问题外，OpenAI还称，每周约有56万名活跃用户可能表现出与精神病或躁狂症相关的心理问题迹象。
OpenAI警告，用户的此类对话很难检测或量化衡量，这些都只是初步分析。但这项发现是追踪ChatGPT处理敏感对话的最新进展之一，也是OpenAI就人工智能如何加剧心理健康问题所做出的最直接声明之一。
因病施药
上个月，美国联邦贸易委员会对包括OpenAI在内的人工智能聊天机器人公司展开了广泛调查，以了解这些公司如何控制对儿童和青少年的负面影响。
长期以来，人工智能研究人员和公共卫生倡导者一直对聊天机器人的立场表示担忧，因为模型可能会盲目认同用户的决定或妄想，无论这些决定或妄想是否有害。
心理健康专家也对人们使用人工智能聊天机器人寻求心理支持感到担忧，并警告称这可能会伤害心理脆弱的用户。
对此，OpenAI在博文中声称，其最新的GPT-5模型更新减少了大模型的不良行为，并在涉及1000多个有关自残和自杀的对话评估中提高了安全性以保护用户。其评估结果显示，新GPT-5模型符合期望行为的比率为91%，而未更新的GPT-5模型的符合率为77%。
OpenAI还表示，GPT-5 扩展了危机热线的访问权限，并增加了提醒用户在长时间会话期间休息的功能。
OpenAI补充称，为了改进该模型，近几个月来，该公司从全球医疗专家网络中招募了170名临床医生来协助其研究，包括评估其模型响应的安全性，并帮助聊天机器人撰写与心理健康相关问题的答案。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
