IT时代网11月17日消息,OpenAI 公布一组针对儿童性虐待材料(CSAM)的新工具,包括一款可检测 CSAM 图像(含 AI 生成内容)的图像分类器,以及 ChatGPT 内的警告与临时封禁机制,同时面向开发者发布了新的指引,并为执法部门提供了一套工具。
这款图像分类器通过 API 向经过筛选的公司免费开放。它在图像中寻找此前未见的滥用迹象,并给出评分,为审核人员处理 CSAM 提供方向性参考。OpenAI 表示该分类器是与美国国家失踪和受虐儿童中心(NCMEC)合作开发,并正与 Tech Coalition、ROOST 共享工具访问权限。早期合作测试中,分类器在找到同等数量滥用图像的前提下,标记量减少百分之四十八,被标记图像确认为滥用的概率是原来的两倍,显著减轻审核工作量。
ChatGPT 方面新增警告界面,用户尝试生成或访问性化儿童的内容时会收到警示,并被引导至专业支持资源,账号将被暂停 24 小时作为警告,已有应用会拦截 CSAM 内容及相关请求,多次违规将永久移除账号。相关警示文案与规则由 Protect Children、Lucy Faithfull Foundation 等组织及塔斯马尼亚大学研究者参与制定,后者对威慑信息试点做了独立评估。
OpenAI 还发布了开发者使用指引,帮助其预防、检测并协助用户举报 CSAM 内容。公司称早期测试中该指引已帮助多名开发者接入儿童安全工具并完成举报渠道注册。
![]()
编辑:林一舟
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.