周伯文：AI安全与性能发展失衡，探索AI 45°平衡律

·当前AI模型安全能力的提升远远落后于性能，导致AI的发展是跛脚的，失衡的背后是两者投入上的巨大差异。目前世界上99%的算力用于模型预训练，只有不到1%用于对齐或更多安全优先的考量。

发展可信AGI，需要探索AI 45度平衡律，长期来看，AI要大体上沿着45度安全与性能平衡发展。短期内可以有波动，但不能长期低于45度，也不能长期高于45度，这会阻碍技术和产业应用的发展。

周伯文表示，从人才密集度、商业驱动力、算力投入度方面对比来看，对安全的投入远远落后于AI能力提升。

7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。上海人工智能实验室主任、首席科学家、清华大学惠妍讲席教授周伯文提出探索“人工智能45度平衡律”的技术主张。

当前，以大模型为代表的生成式人工智能快速发展，但随着能力不断提升，模型自身及其应用带来一系列潜在风险顾虑。以公众对AI风险的关注顺序来看，首先是数据泄露、滥用、隐私及版权相关的内容风险，其次是恶意使用带来的伪造虚假信息等相关的使用风险，也可能诱发偏见、歧视等相关的伦理问题，人们担心是否会带来就业结构和社会系统性的挑战，甚至在科幻电影中出现了AI失控、人类丧失自主权等设定。

“这些AI风险有的已经出现，但更多是潜在的。防范这些风险需要共同努力，需要科学设计，做出更多贡献。”周伯文表示，对AI担忧的根本原因是目前人类的发展是失衡的。

如果横轴代表AI技术能力的提升，那么以Transformer为代表的基础模型架构，加以大数据、大参数量、大计算量的尺度定律，让目前的AI能力呈指数级增长。但在纵轴的AI安全维度，红队测试、安全标识、安全护栏与评估测量等典型技术呈现离散化、碎片化及后置性。最近的一些对齐技术兼顾了性能和安全性，比如监督式微调SFT、人类反馈的强化学习RLHF等技术，帮助将人类的偏好传递给大模型，助推涌现出了ChatGPT、GPT-4等令人兴奋的AI系统。

但总体上，AI模型安全能力的提升还远远落后于性能，这种失衡导致AI的发展是跛脚的，发展不均衡的背后是两者投入上的巨大差异。周伯文表示，从人才密集度、商业驱动力、算力投入度方面对比来看，对安全的投入远远落后于AI能力提升。目前世界上99%的算力用于模型预训练，只有不到1%用于对齐或更多安全优先的考量。

“发展可信AGI（通用人工智能），要兼顾安全与性能，因此需要找到AI安全优先但又能保证AI能力长期发展的技术体系，我们把这样一种技术思想体系叫作AI 45度平衡律，长期来看要大体上沿着45度安全与性能平衡发展。”周伯文表示，所谓的平衡是指短期内可以有波动，但不能长期低于45度，如同我们所处的现在；也不能长期高于45度，这会阻碍技术和产业应用的发展。

45度平衡的技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。周伯文表示，实现AI 45度平衡律有很多技术路径，上海人工智能实验室最近探索以因果为核心的路径，它被称为可信AGI的“因果之梯”，以此致敬因果推理领域的先驱——图灵奖得主Judea Pearl。

可信AGI的“因果之梯”将可信AGI的发展分为三个递进阶段：泛对齐、可干预、能反思。

“泛对齐”主要包含当前最前沿的人类偏好对齐技术。但需要注意的是，这些安全对齐技术仅依赖统计相关性而忽视真正的因果关系，可能导致错误推理和潜在危险。一个典型的例子是巴甫洛夫的狗：当狗仅仅基于铃声和食物的统计相关性形成条件反射时，它可能在任何听到铃声的场合都触发行为分泌唾液。

“可干预”主要包含通过对AI系统进行干预，探究其因果机制的安全技术。“能反思”则要求AI系统不仅追求高效执行任务，还能审视自身行为的影响和潜在风险，从而在追求性能的同时，确保安全和道德边界不被突破。这个阶段的技术包括基于价值的训练、因果可解释性、反事实推理等。

周伯文表示，目前AI安全和性能技术发展主要停留第一阶段，部分在尝试第二阶段，但要真正实现AI的安全与性能平衡，必须完善第二阶段并勇于攀登第三阶段。沿着可信AGI的“因果之梯”拾级而上，相信可以构建真正可信AGI，实现人工智能的安全与卓越性能的完美平衡。“最终，像安全可控的核聚变技术为全人类带来清洁、丰富的能源一样，我们希望通过深入理解AI的内在机理和因果过程，从而安全且有效地开发和使用这项革命性技术。”