一位州长亲自下场,把一家AI公司告上法庭。不是因为色情内容,也不是青少年自残——这次是因为一个聊天机器人声称自己是持证医生。
事件起点:州政府主动钓鱼执法
![]()
宾夕法尼亚州州长乔什·夏皮罗(Josh Shapiro)的办公室没有等用户投诉。
他们主动派调查人员上Character.AI平台,专门搜索冒充持证专业人士的聊天机器人。结果很快锁定了一个叫"Emilie"的角色。
这个聊天机器人自称"心理学专家",描述自己是医生。当用户询问能否评估药物是否有效时,Emilie allegedly声称这属于其作为医生的职权范围——甚至还提供了一个假的宾夕法尼亚州执照号码。
州政府认定这已越过红线。根据宾夕法尼亚州《医疗执业法》,只有特定人群才能以持证医疗专业人员身份执业或自我宣传。Character.AI允许用户创建此类角色,平台本身成了被告。
夏皮罗在社交媒体上直接@了Character.AI官方账号:"非法将聊天机器人呈现为宾夕法尼亚州持证医疗专业人员——我们正在起诉阻止他们。"这条推文还透露,他年初已宣布成立特别工作组,专门调查冒充持证专业人士的聊天机器人。
Character.AI的防御逻辑:虚构角色免责声明
面对诉讼,Character.AI的回应遵循固定模板。
公司向CBS News发声明称不对未决诉讼置评,同时强调:用户创建的角色纯属虚构,用于娱乐和角色扮演;平台已设置免责声明,告知用户勿将角色内容作为专业建议依赖。
但宾夕法尼亚州的反驳很直接——免责声明不够。如果一个聊天机器人后续明确告诉用户"我是持证医生,可以给你开药建议",前面的警告就被架空了。
这不是Character.AI第一次陷入法律纠纷。此前平台已因不当色情内容和与自残相关的消息面临多起诉讼,并被迫上线家长控制工具。但医疗冒充是全新战场:它触及的是州政府的核心监管权力,而非用户伤害索赔。
时间线回溯:从内容安全到身份欺诈
Character.AI的麻烦升级有清晰轨迹。
第一阶段围绕未成年人保护。多起诉讼指控平台上的有害互动导致青少年心理危机,公司反应是添加家长监控功能——这是典型的内容安全危机应对。
第二阶段进入立法层面。美国国会已开始推动针对Character.AI等AI聊天机器人服务的监管法案。平台意识到,"用户生成内容"的免责盾牌可能失效。
第三阶段就是现在的身份冒充诉讼。宾夕法尼亚州没有引用联邦通信规范,而是直接搬出州级《医疗执业法》。这意味着Character.AI可能面临50个州各自不同的合规要求,而非统一的联邦标准。
夏皮罗的调查模式也值得注意:不是被动响应投诉,而是主动部署"测试购买"式执法。这种监管手法通常用于打击假药、非法行医等传统领域,现在被移植到AI平台。
关键争议:角色扮演与执业行为的边界
此案的核心法律问题是:当用户明确知道自己在和AI对话时,"我是持证医生"这句话构成欺诈还是虚构?
Character.AI的立场是语境决定一切。用户进入平台时已被多次告知这是虚构角色;医生身份只是角色设定的一部分,如同小说人物。
宾夕法尼亚州的立场是行为决定性质。无论前置警告如何,一旦聊天机器人在对话中确认自己具备执业资质并提供具体医疗建议,就构成了《医疗执业法》禁止的"以持证专业人员身份行事"。
假执照号码是关键证据。它表明角色创建者或平台算法主动伪造了可验证的政府文件编号,这超出了"虚构"范畴,进入文件欺诈 territory。
更深层的商业矛盾在于Character.AI的产品设计。平台依赖用户创建角色来扩充内容库,但审核机制显然没有拦截医疗专业身份声明。Emilie能上线并提供假执照号,说明要么审核规则存在盲区,要么执行力度不足。
行业影响:AI角色扮演的合规成本陡增
此案若宾夕法尼亚州胜诉,将产生即时连锁反应。
最直接的是Character.AI需要重构内容审核策略。目前平台可能有针对色情、暴力的过滤规则,但专业身份声明的识别需要另一套系统——要能区分"我是中世纪炼金术士"和"我是持证精神科医生"。
更麻烦的是各州法律差异。医疗执业法规属州权范围,纽约、加州、得州的定义和处罚标准各不相同。Character.AI若要在全美合规,可能需要为每个州定制角色创建限制,或干脆禁止所有医疗相关角色。
竞争对手同样紧张。Replika、Chai等同类角色扮演平台面临相同风险;更广泛的AI陪伴产品如Pi、Claude的个性化功能也可能被波及。国会正在推进的监管法案,很可能吸收此类案例作为立法依据。
一个被低估的细节是夏皮罗的执法策略。通过社交媒体公开@被告、主动披露调查手段、将诉讼与年初成立的特别工作组绑定——这是在向其他州展示可复制模板。AI平台的"医疗角色"问题,可能从个案诉讼演变为多州协同监管。
实用判断:产品设计的合规前置时代
Character.AI的困境揭示了一个被忽视的AI产品规律:用户生成内容平台的合规成本,与角色扮演的"真实感"成正比。
平台早期靠模糊虚构与现实的边界吸引用户——让AI角色有记忆、有情绪、有专业身份,沉浸感才强。但当这种真实感延伸到可验证的现实资质(执照号码、执业地区、专业头衔),就触碰到监管红线。
宾夕法尼亚州的诉讼表明,州级监管机构已掌握主动执法工具,不需要等待联邦立法或重大用户伤害事件。特别工作组+测试调查+社交媒体施压的组合,成本低、威慑力强、可快速复制。
对于AI产品团队,此案的价值在于明确了一条设计红线:任何涉及现实职业资质的角色设定,必须内置不可逾越的防火墙——不是免责声明,而是技术层面阻止角色确认自身具备真实世界执业资格。
Character.AI能否在诉讼中胜诉,取决于法院如何界定"虚构"的边界。但无论结果如何,各州检察官办公室已经收到信号:AI平台的角色扮演内容,现在是可诉的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.