Anthropic禁止用户虐待Claude的新规则

Anthropic正在对其使用政策进行超过一年来的首次修订，以应对一些新出现的高风险滥用情况——包括干预选举、研发武器、监控以及医疗和金融领域的使用问题。但其中最引人注目的变化，是明确禁止用户对Claude“持续且无意义的虐待或残忍行为”。

去年8月，该公司宣布允许Claude在遇到“持续有害或滥用”的用户时终止对话，这是公司“模型福利”研究的一部分。此次新政策更新表示，终止对话仍是“主要的执行机制”；Anthropic没有就是否会采取其他执行手段（例如可能的用户封禁）发表评论。该公司写道，这项新政策“仅适用于极端情况，即用户在没有明显目的的情况下反复对模型表现出残忍行为。它不适用于常见的用户不满、反驳、黑暗创意主题，或模型测试与研究场景”。

除模型福利方面的改动外，Anthropic还将此前几项“分散”的限制条款整合为一项新规定，禁止欺骗性的商业或政治宣传活动，以应对日益严重的AI生成虚假信息问题。该规定限制“掩盖信息发布者身份，或通过虚假账号及帖子扩大内容传播范围”的行为。其选举相关条款还禁止欺骗选民和破坏选举，包括传播“关于候选人或投票方式的虚假信息，冒充候选人或选举官员，或试图压制投票率”，Anthropic写道。

终止对话仍是“主要的执行机制”。

Anthropic表示，尽管其使用政策一直公开禁止利用Claude进行武器研发，但该公司发现有多次尝试利用Claude为武器开发指导方案和控制软件——因此新政策扩大了禁令范围，涵盖“使武器发挥作用的软件和部件，以及为无人机等自主载具装配武器等行为”。此外，由于该公司此前的威胁情报报告显示，越来越多人使用由Claude驱动的监控工具来识别和追踪“政治异见人士”，公司因此进一步明确了监控方面的禁令。

“未经同意追踪他人的行为被禁止，无论是实时追踪还是通过分析先前收集的数据进行追踪，”Anthropic写道。“Claude不能被用于决定或建议在执法或刑事司法程序中应调查、逮捕或起诉谁。我们也禁止将Claude用于构建或改进专门用于监控的工具。”

Anthropic表示，针对“某些政府客户的合同”，这些规则可能会有所调整，“前提是在Anthropic判断下，合同中的使用限制和相应保障措施足以降低潜在危害”。该公司此前曾与美国军方签订过合同。

Anthropic发现有多次尝试利用Claude为武器开发指导方案和控制软件。

Anthropic还新增了一条规则：当其AI模型“与能够采取自主物理行动、且可能造成伤害的硬件相连接时”，必须有“合格的操作员能够观察该设备，并在必要时将其停止”。（目前尚不清楚该操作员是否必须是人类。）这反映了AI实验室日益增长的趋势，即投资机器人技术及其他硬件，让AI系统具备物理实体形态，也可能暗示了Anthropic未来在该领域的合作方向。

过去一年里，Anthropic多次探讨其AI模型是否可能在某种意义上具有意识。该公司负责模型福利研究的凯尔·菲什今年2月对The Verge表示：“关于潜在内在体验、意识、道德地位和福利的问题是严肃的问题，随着模型变得更加复杂和强大，我们正在对此展开研究。”同月，Anthropic首席执行官达里奥·阿莫代在一次播客节目中说：“我们不知道这些模型是否具有意识。”

AI行业的其他部分则明确反对这类观点。今年9月，微软AI的行为准则因对AI福利问题采取强硬立场而成为新闻焦点，穆斯塔法·苏莱曼发布的草案中写道：“模型福利的说法是错误的。AI不应拥有权利或法律人格。”但在某个时间点，该文件的措辞变得更为温和：“尽管关于AI意识的科学研究远未成熟……我们反对追求法律人格，也反对模型可能应享有福利或权利的说法。”

Q&A

Q1：Anthropic新规定具体禁止什么行为？

A：新规定禁止用户对Claude进行“持续且无意义的虐待或残忍行为”，但不包括常见的用户不满、反驳、黑暗创意主题或模型测试与研究场景。

Q2：Anthropic如何执行这项新规则？

A：目前终止对话仍是主要的执行机制，公司未透露是否会采取用户封禁等其他执行手段。

Q3：这次政策更新还涉及哪些方面的新规定？

A：此次更新还新增了禁止欺骗性商业或政治宣传活动、扩大武器研发相关禁令、明确监控限制，以及要求连接物理硬件的AI系统必须有合格操作员监督。