刘云浩：测试（Probing Boundaries）| CCCF卷首语

当人们在测试的语言中不断使用拟人化的说法时，所检验的未必是某个函数是否失效，而是系统如何在不同语境中选择措辞，以及在“可以说”与“暂不回应”之间取舍。

刘邦称帝后，把老父亲接到长安享福。太上皇远离故土，未免时而郁郁。《汉书》记载，汉高祖下令在长安边的骊邑，“孪生”一个父亲的老家丰邑。这是真正的孪生，比今天的数字孪生高级多了——“衢巷栋宇”“士女老幼”，一草一木，一人一物，都要一致。

“新”丰打造完毕，怎么判断它和原来的丰邑是否足够相似？聪明的大汉工匠有办法：拿动物测试。“放犬羊鸡鸭于通涂，亦竞识其家”，把丰邑的家禽家畜弄过来，看它们能不能认路、能不能自己走回主人的家。等到老爷子驾临，果然大为满意：街道、房屋，连同故人，都和丰邑一模一样，“太上皇乃悦。”

这个测试真是成功。在工程实践中，桥梁是否安全，由重力与应力决定；材料是否可靠，通过疲劳曲线验证。效果如何，靠测试说话。不能不佩服大汉工匠的智慧，在建设新丰这件事上，很难想象还有比犬羊鸡鸭更好的测试方法了。至于被测试的对象——新丰本身——是沉默的，不参与任何意义的生成，不会误导工匠，更不能配合或抵抗测试。按照传统的理解，测试建立在被测试对象的沉默之上。

自从有了生成式人工智能，情况就大不一样了。

验证一个模型是否安全，已无法仅凭形式化约束完成。当测试开始依赖措辞、语境与表达方式，并牵涉规范、伦理乃至文化差异时，就不仅是一个工程问题。今年1月，Communications of the ACM（CACM）发表文章“AI Red-Teaming Is a Sociotechnical Problem”，将AI系统的红队测试界定为一个社会技术问题：不局限于传统的漏洞扫描，而是通过语言试探与边界触碰展开。本期李国杰老师撰文《人工智能的边界在哪里？》，从另一个角度讨论了这个变化——当人们在测试的语言中不断使用拟人化的说法时，所检验的未必是某个函数是否失效，而是系统如何在不同语境中选择措辞，以及在“可以说”与“暂不回应”之间取舍。当然，有这个变化也正常，路德维希·维特根斯坦(Ludwig Josef Johann Wittgenstein)在《哲学研究》中就提出：“如果狮子能说话，我们也听不懂。”语言看似是承载思想的容器，其实已经参与了意义的呈现与生成。

世上有多少事情经得起测试？

《智囊·上智部·远尤卷》里有个记载。久居高位的刘大夏，七十多岁高龄被明武宗充军肃州。门人故交送他银子路上用，刘大夏不收。朋友以为他怕权阉刘瑾知晓，瞒着他悄悄将银两塞进他和老仆的行囊里。充军途中最艰难的时候，跟随刘大夏多年的仆人偷走金银，跑了，完全不顾病中的刘大夏。

后来刘大夏侥幸熬出生天，感叹说：我不收馈赠，不是怕刘瑾，倒是怕我身边人。充军路上没有余财，跟了我十几年的仆人多半还能守住这份工作，与我相依为命；忽然多了几百两金银在眼前，这是要测试他的人性啊。

“人性之险乃如此”，哪是能测试的？问题是，人工智能就可以测试吗？

刘云浩

CCF会士、《计算》主编，中国科学院院士，清华大学教授。

《计算》卷首语：坐在窗前看风景

刘云浩：刻舟求剑与老马识途 | CCCF精选

刘云浩：大象有没有形 | CCCF精选

卷首语：近水楼台 | CCCF精选