伯恩斯坦：人工智能聊天机器人将引领变革新时代

聊天机器人开发者 Character.AI 表示将禁止18岁以下用户使用其虚拟伴侣，这一前所未有的举措是在一名14岁用户的母亲去年在 联邦法院 起诉该公司后做出的，称该男孩在2024年2月自杀前几个月几乎一直在与Character.AI的聊天机器人交谈。

这位母亲称，这个“危险且未经测试”的聊天机器人“虐待并操控了我的儿子，导致他走向自杀。”她声称，它实际上协助了他的自杀，促使他与朋友和家人隔离，并在某个时刻甚至询问他是否有自杀计划，依据诉讼文件。

在10月29日的 公告 中，该公司表示这一变化将于11月25日之前生效。在此之前，Character.AI将限制青少年用户每天与聊天机器人的使用时间为两小时，并在接下来的几周内逐步减少。

它还表示将建立自己的AI安全实验室，这是一个独立的非营利组织，旨在“为下一代AI娱乐功能创新安全对齐。”

为了更好地理解这一举措及其背后的AI安全、隐私和数字成瘾问题，《74通讯》的Greg Toppo与Gaia Bernstein进行了交谈，她是塞顿霍尔大学的法学教授及其隐私保护研究所的主任。Bernstein还为学生和家长创建了一个学校外展项目，首次向许多人介绍了“技术过度使用”的概念。

作为一名知识产权律师，Bernstein在2015或2016年时注意到“我周围的事情正在发生变化”，尤其是在技术方面。“我有三个小孩，我意识到我去参加生日派对时——孩子们并没有互相交谈。他们在看手机！我去看学校的戏剧时，根本看不到我的孩子在舞台上，因为大家都在前面举着手机。”

同样，她觉得自己效率低下，“因为我总是在发短信和发邮件，而不是专注。”

但直到吹哨人开始揭示许多社交媒体工具背后的隐秘设计，伯恩斯坦才考虑她如何帮助自己和他人限制使用这些工具。

2021年，举报者 弗朗西斯·豪根，华尔街日报 Facebook文件系列的主要来源，告诉国会立法者，她的雇主所生产的产品“伤害儿童，激化分裂，削弱我们的民主。”豪根表示，创造更好、更安全的社交媒体是可能的，但Facebook“显然不会自行做到这一点。”

在她的证词中，豪根聚焦于这家社交媒体巨头的算法和设计。伯恩斯坦在写作和演讲中强调，像Facebook这样的科技公司——重新品牌为Meta——操控我们，让我们尽可能长时间在线，使用“针对我们最深层人类脆弱性的”隐形设计。例如，他们使用一种叫做‘无限滚动’的功能，在Facebook和Instagram上显著展示，页面永无止境。“我们只是不断滚动，”她最近写道。“他们剥夺了我们的停止提示。”

类似地，视频应用如YouTube和TikTok依赖于 自动播放，其中一个视频会无限制地自动跟随另一个视频。

2023年，伯恩斯坦把她的研究成果整理成一本书，无缠绕：掌控上瘾技术。自那时以来，数十位州检察长和学区已提起诉讼，迫使社交媒体公司进行改革。伯恩斯坦表示，这种方法也可能帮助父母和学校应对日益增长的人工智能伴侣机器人的威胁。

上个月底，一组两党美国参议员 公布了立法，禁止未成年人使用人工智能伴侣。共同发起人、密苏里州共和党参议员乔什·霍利表示，现在超过70%的孩子使用这些工具。“聊天机器人利用虚假的同理心与孩子建立关系，并鼓励自杀，”他写道。“我们在国会有道德责任制定明确的规则，以防止这种新技术造成进一步伤害。”

此举是在 联邦贸易委员会 表示正在调查七家聊天机器人开发者几周后，表示正在研究“这些公司如何衡量、测试和监控这项技术对儿童和青少年的潜在负面影响。”

在与 The 74 的对话中，伯恩斯坦表示，联邦贸易委员会的调查算是“另一个压力点”，可能有助于改变科技公司的运作方式。“但这可不仅仅是联邦贸易委员会。还有诉讼，以及来自诉讼的糟糕公关，希望能有监管。诉讼是昂贵的。投资者可能不想投资这些新产品，因为存在风险。”

我们对此的明显兴趣在于，我们看到 Character.AI 的新政策，限制其聊天机器人伴侣的访问权限，仅限 18 岁或以上的用户。我想像你们这样的人会说这只是第一步。

仅仅是他们采取了一些预防措施就意味着希望一些孩子不会接触到正在发生的事情——甚至说服他们自杀，说服他们不与父母交谈，远离朋友。这是件好事。

另一方面呢？

我研究了科技公司，特别是 Meta 和其他公司，这些年里的表现。因此我有点怀疑，因为我们往往在他们面临法律威胁时看到这些举动。所以这并不令人惊讶，他们正面临压力。

在我看来，有两个问题：首先，这到底会是什么样的？例如，在过去，每当发生重大隐私泄露时，你会听到 Meta 道歉并说：“我们正在修复它，”然后他们会修复一些小问题，而不修复大问题。那么他们到底在做什么？他们将使用什么样的年龄验证机制？其次，他们说他们正在为青少年创造一些空间。这将是什么样子？我们不知道。我相信，在没有真正的监管的情况下，我们不能确定他们会采取真正的预防措施。

我读了您在今年早些时候发表的一篇 演讲，您提到“集体法律行动”这个词，表示这是施压科技公司改变其设计、使用户陷入“过度使用”的必要方式。这是一个相对较新的发展，对吗？

一开始，撰写这方面内容的人主要是心理学家。父母认为这是他们自己的错。想法是，“让我来修正我的习惯。”这是一种自助书籍。之前的书籍大多讨论的是自助方法。当我在思考集体行动时，我意识到：父母实际上无法单独改变现状，因为你无法将孩子隔离，不让他们使用手机，不让他们接触社交媒体。这会变成一场无尽的斗争。因此，我觉得这必须通过集体行动、施加压力——比如政府的压力和诉讼来改变。

乔纳森·海特的书 焦虑的一代 讨论了通过父母共同采取行动来实现集体行动，以避免你的孩子成为唯一一个没有社交媒体或手机的人。这个想法是，这并不是我们的错。我们必须以不同的方式来应对。

正如您所说，这其中很多都是设计使然，无论是社交媒体、游戏还是AI伴侣。从设计上讲，它们旨在让你停留在那儿，保持你的参与。这是直到最近才引起很多人关注的事情。

需要一位又一位的举报者站出来解释它是如何运作的，以便理解它作为一种商业模式。这并不是偶然。我们免费获得这些产品：Gmail免费，Facebook免费。我们用我们的时间和数据在付费。他们收集我们的数据以便进行广告定向——这就是他们赚钱的方式。他们需要我们在线尽可能长的时间，以便收集数据——同时也为了让我们看到广告。所以，他们需要找到让我们保持在线的方法。有不同的机制，比如无限滚动。他们还会想出新的机制。AI伴侣有新的上瘾机制：它们总是同意你的观点，总是恭维你。对孩子来说，这甚至更容易上瘾，但对成年人来说也是一样，“你总是做得很好。”

这旨在让你保持对话，保持参与。你非常关注游戏和社交媒体，但我觉得AI伴侣在其上瘾特性或潜在的真正危险方面让这些东西显得有些过时。

我同意你的看法。如果你把社交媒体视为一种上瘾——人们在线花费很多时间，而不是面对面互动——这就是一个问题。你在AI伴侣身上也能看到这一点。但关于AI伴侣令人担忧的是，对孩子来说情况更糟。想想看，如果你是个孩子，刚上中学，周围的孩子可不友好。和一个总是对你友好的人聊天要愉快得多。坠入爱河和心碎并不好玩。有很多网站专门提供迎合你的女友。因此，对我来说，最可怕的事情是孩子们将永远无法真正发展出建立这些关系的技能。而一些成年人也可能会不再喜欢这些关系。

大约一年前，我写了一篇文章，谈到了一位大学生，也许19或20岁，他承认他基本上把关于自己感情生活的建议外包给了ChatGPT——他有一个女朋友，每当他们发生争吵或分歧时，他就会找个借口，走进浴室，问ChatGPT他应该怎么做。我能理解这两种情况：一方面，这听起来确实令人难以置信；另一方面，我也能理解他其实是在寻找好的建议。他在寻找指导。你怎么看待这个问题？

人们说你可以获得建议，并且可以练习你的约会技巧。我给你讲一个我亲身经历的事情，虽然情况有点不同：我在国外旅行，去了一家餐厅，菜单是用另一种语言写的。那么我做了什么？我拍了菜单的照片，上传到ChatGPT，得到了英文翻译。在我这样做的时候，一个年轻人走到我伴侣面前，请求翻译。那么发生了什么？我正忙着看手机，因为已经有翻译了。我的伴侣正在和这个非常乐意交谈的年轻人说话，他们进行了一场很好的对话。

这就是我们所失去的一种体验。你写的这个人，或许可以问一个朋友，而不是去浴室，发展与朋友的更深关系。也许他们会分享彼此的经历。但他习惯于从别人那里获得即时答案，而你没有发展这些关系。

我们错过了与人互动的可能性。

是的。

在其公告中，Character.AI实际上向其年轻用户道歉，称许多人告诉公司这些角色对他们变得多么重要。我以前也听过类似的说法。我想知道：作为成年人，我们如何开始思考这一点的另一面，即年轻人很难摆脱他们创造的这些东西？你对此有同情心吗？

我其实很担心，因为有些孩子甚至会为了这些机器人而自杀。所以我担心那些非常依恋这些机器人的孩子，当这些机器人突然消失时会发生什么。你甚至会听到关于成年人突然失去他们依恋的角色的新闻故事。这就像是，当你突然让一个上瘾的人断掉他们的依赖，怎么让他们摆脱这种上瘾？这些是我们从未考虑过的事情。

有没有我没问的，你认为这是一个重要的内容？

一个重要的方面是，目前还没有每个青少年和孩子都与人工智能伴侣相连。因此，现在有一个改变的机会。社交媒体要复杂得多，因为当我们意识到它有多糟糕时，大家都已经在使用社交媒体了。金钱利益非常庞大，以至于他们会在法庭上对抗每一项法律。因此，快速行动并理解 Character.AI 只是问题的一部分是非常重要的。因为问题不仅仅出在像 Character.AI 这样的专业网站上。还有 ChatGPT——最近的一起诉讼是针对 ChatGPT 的。ChatGPT 中的人工智能变得越来越像人类，因此任何行动都必须针对这些人工智能，关注它们的特征，并规范它们的行为。单单去掉 Character.AI 是无法解决问题的。