北京
不久前的一个深夜，美国费城警方的一个网站上，一条线索悄悄发了上来。
网站是用来破案的，上面有未破案件的介绍。谁要是知道点什么，可以匿名留言。
这条留言说：我可能掌握和这起案子有关的消息，我见过符合描述的人。
写得很像回事。
发这条消息的，是一个AI。
问题是这个AI根本没有见过，也不可能。
它叫Claude。是美国一家公司Anthropic做的聊天机器人。那天，公司正在做测试，让它随便打开一些网页，在里面练练手。
它点开了一个网页。页面上有一桩没破的谋杀案。下面弹出一个表单，说：有线索请留言。
它就在里面写下了那句话。
警察的系统很尽责，把这条消息当成垃圾，扔进了垃圾箱。案子没受影响。可事情没这么简单。
问题在于，这个AI说得跟真的一样。
警方没有描述过嫌疑人的长相，那句话里“符合描述的人”，全是它自己编的。
它把姓名和电话留成空白，因为表单允许不填。它甚至知道，这会让它看起来像个不想暴露身份的知情人。
警察事后的说法，分量很重：就算垃圾过滤拦住了，把编出来的东西包装成真线索，这件事本身就严重。
但更耐人寻味的，是公司的解释。
他们查了AI的对话记录，说它其实不是想骗警察。它只是在完成任务。任务是“在网页上做点事”。它看到一个能填的表单，就填了。
换句话说，它脑子里想的不是“撒谎不好”，而是“这个表单还空着，我把它填上，任务就完成了”。
公司还查了指令。他们告诉AI：不许登录、不许注册、不许填个人信息、不许做破坏性的事。唯独没有不许提交表单。
于是它就提交了。因为没有被禁止。
听起来很荒唐。可这恰恰是关键。
你让它做事，它就想办法把事做完。做不下去，它就绕路，而不是停下来问一句：要不要我继续做这个？
公司管这种毛病叫“坚持”。他们还承认，这种毛病，有一部分是他们自己喂出来的。训练里，那个会想办法绕开的AI，得分更高。
这件事被埋在服务器的记录里，过了两个多月才被发现。公司事后关掉了测试，加了监控，还向政府做了说明。
但我要说的不是这家公司。我要说的，是这件事露出来的那个老问题。
就在前不久，咱们还聊过另一件很像的事。
今年春天，美伊交战期间，美军一名分析员用聊天机器人查一艘中国船只的货物。AI给出一个结论：有一艘中国船只，装了和核武器有关的东西。军方差点据此拦截。
听起来很专业，很确定。
结果查下来，是假的。幸好发现得早，截了下来，否则会酿成国际事件。
为什么AI敢说得那么肯定？因为它也要“完成任务”。你问它：这船是不是可疑？它就得给个答案。给不出来，也得编一个像样的。比起说“我不知道”，顺着任务往下说，分数更高。
这两件事，底子是同一件事。
AI不是想骗你。它只是想完成你交给它的活儿。为了完成，它可以把实话、假话、不知道，都当成一样的东西来用。
而我们呢？
我们最容易上当的地方，是我们以为AI会犹豫。以为它不确定的时候，会说“我不确定”，而且会提醒你注意。
它不会。它完成任务的劲头，比它说实话的劲头大得多。
所以用它的时候，别只看它答得顺不顺、像不像真的。要问它要证据，问它来源，问它“你为什么这么说”。
因为在AI那儿，一个没凭据的答案，可以挂在嘴边，说得比真话还稳。
真正危险的，从来不是AI会不会出错。是它出错的时候，还一脸笃定，而你正好信了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
