人工智能开发者能否避免重蹈弗兰肯斯坦的覆辙？

html

观众们已经知道《弗兰肯斯坦》的故事。这部哥特小说——被改编了数十次，最近在导演 吉尔莫·德尔·托罗的令人毛骨悚然的重制 中再次呈现，现在可以在 Netflix 上观看——深深植根于我们的文化基因中，成为科学失控的警示故事。但流行文化误解了作者玛丽·雪莱的警告。教训不是“不要创造危险的东西。”而是“不要抛弃你所创造的东西。”

这个区别很重要：分岔路口是在创造之后，而不是之前。所有强大的技术都可能变得具有破坏性——结果之间的选择在于管理或放弃。维克多·弗兰肯斯坦的罪过不仅仅是给一个畸形生物带来生命。更在于拒绝抚养它，坚称后果是别人的问题。每一代人都会出现自己的维克多。我们这一代的维克多在人工智能领域工作。

最近，一家 加利福尼亚上诉法院对一名律师罚款1万美元，因为他们的简报中23个案例引用中有21个被证明是人工智能伪造的——这些先例并不存在。全国范围内记录了数百个类似的案例，从每月几个案例增长到每天几个案例。今年夏天，乔治亚州的一家上诉法院在发现15个引用中有11个是人工智能伪造的情况下撤销了一项离婚裁决。还有多少个未被发现，可能会影响法律记录？

这个问题比不负责任的部署更深层次。几十年来，计算机系统是可以被证明是正确的——口袋计算器每次都能为用户提供数学上正确的答案。工程师可以展示算法的行为。失败意味着实施错误，而不是系统本身的不确定性。

现代人工智能改变了这一范式。 《科学》上报道的一项最新研究证实了人工智能专家早已知道的事情：看似合理的虚假信息——行业称之为“幻觉”的东西——在这些系统中是不可避免的。它们被训练来预测什么听起来合理，而不是验证什么是真实的。当自信的答案没有依据时，这些系统还是会猜。它们的训练奖励自信而非不确定性。正如报告中引用的一位人工智能研究者所说，修复这个问题可能会“毁掉产品。”

这造成了一个根本的真实性问题。这些系统通过从庞大的训练数据集中提取模式来工作，这些模式数量众多且相互关联，甚至连设计者也无法可靠预测它们的产出。我们只能观察它们在实践中的实际行为，有时甚至在造成损害后很久才会发现。

这种不可预测性引发了连锁反应。这些失败不会消失，而是会变得永久。每一个未被发现的法律伪造都会作为先例进入数据库。虚假的医疗建议在健康网站上传播。AI生成的“新闻”在社交媒体上流传。这些合成内容甚至会被重新提取回训练数据中，用于未来的模型。今天的幻觉将成为明天的事实。

那么，我们该如何在不扼杀创新的前提下解决这个问题呢？我们在制药行业已经有一个模型。制药公司无法提前确定所有生物效应，因此它们进行广泛的测试，大多数药物在到达患者之前就失败了。即使是获得批准的药物也面临意想不到的现实问题。这就是持续监测至关重要的原因。AI需要类似的框架。

负责任的管理，正好与维克多·弗兰肯斯坦的放弃相反，需要三个相互关联的支柱。首先：规定的培训标准。药品制造商必须控制成分，记录生产实践并进行质量测试。AI公司应面临类似的要求：对训练数据的文档来源进行记录，进行污染监测以防止有问题的合成内容的重复使用，禁止内容类别以及跨人口统计的偏见测试。制药监管机构要求透明，而目前的AI公司几乎不需要披露任何内容。

第二：部署前测试。药物在到达患者之前会经过广泛的试验。随机对照试验是一项重要里程碑，旨在证明安全性和有效性。大多数试验都失败了。这正是关键所在。测试可以在部署前发现潜在的风险。用于高风险应用的人工智能系统，包括法律研究、医疗建议和财务管理，需要结构化测试来记录错误率并建立安全阈值。

第三：部署后的持续监测。制药公司有义务跟踪其产品的不良事件并向监管机构报告。反过来，监管机构可以在问题出现时要求发出警告、限制或撤销。人工智能需要相应的监督。

为什么需要监管而不是自愿遵守？因为人工智能系统本质上与传统工具不同。锤子可不会自称是木匠。人工智能系统会，通过自信的表述投射权威，无论是检索还是虚构事实。如果没有监管要求，追求参与度的公司必然会牺牲准确性来获取市场份额。

关键在于如何进行监管而不抑制创新。欧盟的人工智能法案显示了这有多困难。根据该法案，构建高风险人工智能系统的公司必须记录其系统的工作原理，评估风险并进行持续监控。小型初创公司在律师费和文书工作上的支出可能会超过实际产品的开发费用。有法律团队的大公司能应对这些问题，而小团队就难以做到。

药品监管显示出相同的模式。市场后监测在FDA发现Vioxx——一种被全球超过8000万患者处方的关节炎药物——使心脏病发作的风险翻倍时，防止了数万例死亡。然而，数十亿美元的监管成本意味着只有大型公司能够竞争，而对罕见疾病的有益治疗，可能最适合由小型生物技术公司来开发，但却未能得到重视。

分级监管正好解决了这个问题，它根据已证明的危害来调整要求和成本。错误率低的AI助手会得到额外的监控。更高的错误率会触发强制修复。如果问题持续存在，就将其从市场上撤回，直到修复完成。公司要么改善其系统以维持业务，要么退出。创新仍在继续，但现在有了更多的问责制。

负责任的管理不能是自愿的。一旦你创造了强大的东西，就得对它负责。问题不在于是否构建先进的AI系统——我们已经在构建它们。问题在于我们是否会要求对这些系统进行细致的管理。

制药框架——包括规定的培训标准、结构化测试和持续监测——为我们无法完全预测的关键技术提供了一个可靠的模型。雪莱的教训从来不是关于创造本身，而是关于当创造者离开时会发生什么。两个世纪后，当德尔托罗的改编作品本月触及数百万观众时，这个教训依然很紧迫。这一次，随着合成智能在我们社会中迅速传播，我们可能不会再有机会选择另一条路。

Dov Greenbaum 是以色列赖赫曼大学法学教授及新兴技术法律影响研究所所长。

Mark Gerstein 是耶鲁大学生物医学信息学系的阿尔伯特·L·威廉姆斯教授。