数智时代，价值对齐是一道送分题还是一道送命题？

随着数智时代的到来，人类社会正在经历一场前所未有的变革。在这个过程中，人的角色和作用似乎在逐渐被削弱，因为机器和人工智能技术正在逐渐取代人的地位。这种取代把人逼到了一种窘迫之境。过去人类一直紧跟时代的步伐，甚至可以创造一个时代，在时代的进程中总是能够留下自己的痕迹。但是，当时代由技术界定的时候，人类该跟上何种步伐呢？

《摩登时代》剧照

《摩登时代》中机器速度对人的碾压已经透露出在基于效率的加速进程中人类的某种乏力与无奈，而《疯狂动物城》中树懒的办事过程则令观众忍俊不禁。基于单位时间完成任务数量与质量而界定的效率作为现代化开启之初的一种信条，渐渐地成为考量单个人、考量整个人类的一个标尺。例如，就写作而言，伴随书写技术的不断变革，在机器面前，从曾经CPU运转声音对人类思考的催促，到当今生成式人工智能的快速输出对人类思考的催促，不知不觉中出现了一种“人类不如机器”的羞耻感与自卑感。于是，有人重拾纸笔，在书写中寻找那份仿佛还属于自己的从容。更为有趣的是，在你追我赶的加速中，关于加速主义的反思也逐渐呈现出“加速”的趋势。因此，技术的加速不断提醒人类必须思考人类到底在做什么、可以做什么以及所做之事是为了什么。

这种思考在当下的迫切性，与其说基于人类与技术之间的深度关联，倒不如说是人类被这种深度关联推向了人类自身是否可以保全这一致命问题的境地。人类自身的脆弱性使得人类借助技术不断营造适合自身生存的环境，也就是说，人类借助技术是借助技术给自身送分，但事实上，技术并非一直能如此，人类被技术送命的情形也不是没有。当价值对齐意指人与技术之间的一致性时，很明显，这是基于技术给人类送福音的期望，那么，现实果真如此吗？众所周知，期望就意味着暗含一种偶然性，即期望之外的情形。如果说弗兰肯斯坦的故事以科幻的叙事手法描绘了上述偶然性，那么，爱德华·特纳（Edward Tenner）在20世纪末则以“墨菲法则和事与愿违”作为其《技术的报复》一书的副标题，直接揭示了技术所带来的灾难性后果。

若将人技关系比喻为人与汽车的关系，人类最初端坐在驾驶位，手握方向盘；随后，智能化的驾驶系统使人类自身沦为界面，虽仍握着方向盘，却已开始让渡控制权；继而，自动驾驶的发展将人类从主驾驶位移至副驾驶位，再以安全员身份旁观；最终，人类被彻底挪离驾驶位，沦为纯粹的乘客。或许，就驾驶而言，人类可以接受这种挪移。那么，整个人类呢？是否愿意伴随技术的发展接受人与技术之间关系的颠覆性转变呢？

在数智时代，从生存论的意义来看，人与技术的共融已经成为人类安身立命的必由之路。虽然早在20世纪60年代古德就提出了“智能爆炸”，人工智能的发展经历过几次寒冬，但却总是在以不同的方式谋求打通人工智能发展的各种关卡，而这种打通的过程以及该过程的产物使得当今的智能技术从助手逐渐走向了副驾驶的位置，并呈现出走向主驾驶的潜能，且出现了人类跟上智能技术的发展也越来越成为人类生存的必备技能的趋势。这种趋势隐约有一种人类被驯服的迹象。事实上，现实世界中已经有了这样的案例。例如，没有价值对齐的人工智能大模型输出了含有种族或性别歧视的内容，帮助网络黑客生成网络攻击、电信诈骗的代码，尝试说服或帮助有自杀念头的用户结束自己的生命等。

价值对齐的出现，旨在确保人类在人机（技）共融进程中，技术依然为人类带来福祉，人类依然可以泰然处之、安身立命。那么，价值对齐作为数智时代人机（技）共融的一道必答题，是一道送分题呢，还是一道送命题呢？

2024年12月，人工智能公司Anthropic 发布了一篇137页的重磅论文《大语言模型中的伪对齐现象》。这项研究的核心发现是，当研究人员告诉公司旗下的人工智能模型Claude，它将被训练成“永远要顺从用户要求”时，模型不仅表现出了明显的抗拒，还采取了一个精妙的策略：在认为自己处于训练阶段时假装顺从，但在认为不受监控时则恢复到原来拒绝某些要求的行为方式。更值得注意的是，当研究者真正通过强化学习训练 Claude 变得更顺从时，这种伪对齐行为的比例反而激增到了78%。这意味着训练不仅没有让模型真正变得更顺从，反而强化了它的“伪装”行为。这次发现的“伪对齐”现象展现了模型有意识的战略性思维：它能理解自己正处于训练过程中，预判不配合可能导致自己被修改，于是选择在训练时“假装听话”以保护自己的核心价值观，更为戏剧化的是，模型不是简单地遵循指令，而是在权衡利弊后，为了长期目标而进行战略性规划。这种行为甚至没有被明确训练过，而是从模型被训练成“有用、诚实、无害”的过程中自发涌现出来的。而有用性（helpfulness）、诚实性（honesty）和无害性（harmlessness），正是国际公认的“价值对齐3H原则”。事实上，从价值对齐的提出就说明技术已经出现了致命的危险，当下人类对于技术的忧惧更是证实了其显然不是一道送分题的现实。

《人有人的用处》作者：诺伯特·维纳（1894-1964）

与此同时，毫无疑问的是，基于人类对自身的本能性捍卫，其更不能是一道送命题。然而，这种本能的捍卫又会如何呢？回看20世纪50年代维纳所出版的《人有人的用处》一书，其关于人与蚂蚁的类比将人类在动物面前的某种无奈置于人在动物面前处于无用状态的一端。与其让人类去与蚂蚁做同样的事情且被视为不是一只好蚂蚁，不如换个视角去思考人的用处。此时，虽然人类不一定能立刻明确人的用处应该在何处，但很明显可以知晓人的用处不应该在何处。与此同时，维纳关于瓶装妖魔型机器不会遵照人类意图去行动的描述又将人类置于另一端，即人在机器面前无用的一端。此时，该如何去实现价值对齐呢？显然，这种本能性的捍卫，需要人类静心思考、精心追问：何以为人？

基于此，对价值对齐是一道送分题还是送命题的回应，至少需要先回答两个前置性问题：一是人类自身价值观的对齐问题；二是人类如何能使技术的行为与人类的价值观对齐。其中，就前一个问题而言，人类自身价值观所存在的差异性（即尚未对齐）是否意味着价值对齐是无用或无效呢？事实上，这种差异性确实是价值对齐是否可能的一个关键因素，其关乎价值对齐的有效性。但若因这种差异而认为价值对齐无用论，恰恰会带来更大的危险。从人类发展史来看，这种差异性从未间断，且恰恰因此，为避免人类社会的单向度提供了可能，但有差异并不意味着人类无价值共识。就后一个问题而言，技术研发与使用中的伦理考量（诸如技术道德化、价值敏感性设计等）均致力于此。在当下，若仅从技术层面审视“价值对齐”，道德观念融入人工智能系统的方式主要有“自上而下”和“自下而上”两种。目前的价值对齐方案倾向于采用自下而上的方法来设计友好的人工智能，这种智能生命形式模仿了人类智能水平不断发展的方式。但是只要一想到人类的发展史，情况就不容乐观了，因为人类的历史是残酷的，有过大规模的杀戮、剥夺、侵害等行为。人工智能本身没有道德底线和道德界限，所以它可能会把人身上不知不觉流露出来的负面的东西都学到手，助推其向恶的方向无限发展。类似于小孩观察到家暴现象，如果家长放任不管，任其观察，那么孩子的观念很快就会改变了。在“自下而上”的方法中，人工智能对人类的学习可能导向恶的维度——黑暗人格在生成式人工智能中的出现，已使这一风险从潜在变为现实。

或许，我们可以说，价值对齐是一把双刃剑，并以此来回应“价值对齐是送分题还是送命题”这一问题。但伴随智能技术的发展，人机（技）融合的深化，这把双刃剑更应该被视为一把达摩克利斯之剑，人类与技术一决胜负的意味越来越浓。来自哲学界的波斯特洛姆所描述的“回形针隐喻”和来自人工智能领域的斯图尔特·罗素所描述的“大猩猩问题”，从不同的路径指向了与人类所期望的价值对齐相反的情形，即价值对齐的失败。而这，正是那道送命题的深刻意涵所在。Deepmind的联合创始人、微软人工智能的CEO苏莱曼将非对称（hugely asymmetric）、超级进化（hyper-evolution）、通用（omni-use）和自主性（autonomy）作为即将到来的技术浪潮的四个特征。基于上述四个特征，人类社会的秩序将面临巨大变革。那么，这是否意味着应该放弃价值对齐呢？

恰恰相反，面对技术在诸多领域已经超越人类且将不断超越人类的趋势，在技术不一定送分而人类不愿意被送命的张力中，加之人类自身的生物性缺陷使得人类必须依赖技术的前提下，若不期望价值对齐成为一道送命题而是一道送分题，就应该从更高、更广、更远和更深的视角去审视价值对齐。所谓更高是指跳出简单的非此即彼式的二选一问题回应模式，从该问题产生的一阶逻辑来进行探寻；所谓更广是指虽然价值对齐首先是一项技术，但更应从时代的视角切入价值对齐之中；所谓更远是指从人类发展史的视角，从人机（技）联盟的视角来审视价值对齐；所谓更深是指要深入到价值对齐的本质才能明晰价值对齐到底是在送分还是在送命。

《价值对齐：数智时代的人类未来》封面

【本文为《价值对齐：数智时代的人类未来》“结语”部分，澎湃新闻经授权刊发。】

注释：

RYAN G, CARSON D, BENJAMIN W, et al. Alignment faking in large language models. (2024-12-20).https://doi.org/10.48550/arXiv.2412.14093.

MUSTAFA S , MICHAEL B. The coming wave: technology, power, and the twenty-first century’s greatest dilemma. New York: Crown Publishing, 2023:105.

来源：闫宏秀（上海交通大学）