当AI拥有“自我进化”能力，我们该防范什么风险？

近日，OpenAI发布了名为MLE-bench的基准测试，此项测试主要是测试AI Agent的机器学习工程能力，而在OpenAI公布的测试结果中，o1-preview在测试中取得7枚金牌。o1模型不仅实现了推理能力的飞跃，还开启了新的Scaling Law（缩放定律）阶段，这是迈向AGI（人工通用智能）路上关键的一步。当AI拥有了推理能力，将带来什么样的变化，又将会面临哪些潜在的问题？

AI思维链魅力何在？

OpenAI于9月13日推出的新模型o1，主要包含o1-preview（预览版）和o1-mini（迷你版）。o1模型最令人关注的一大特点便是其拥有更接近人类思维的推理能力，它能在接收在用户的指令之后，先进行问题拆解，再思考出能提供的最佳答案。以往的大多数AI模型并不具备这样的推理能力，极其依赖训练时提供的知识，因此会出现“越训练越傻”的现象。o1-preview所具备的推理能力则有利于AI实现自我提升，因此自然显得更聪明。

数据来源：OpenAI

o1模型的思考推理能力，主要源于通过强化学习（RL）利用思维链（CoT）技术来处理问题。思维链的核心是将复杂问题分解为一系列逻辑步骤，从而提升AI在处理科学、编程、数学等高难度任务时的准确性。与传统AI快速给出单一答案的模式不同，思维链技术模拟了人类的深度思考过程。AI在解答问题时，生成一个包含多个中间步骤的思维链，逐步推理并验证每个步骤是否合理，从而提高答案的准确度。

AI在应用思维链技术时，不仅通过数据学习，更注重思维过程本身。通过强化学习，AI在实际环境中进行决策，不断验证、纠错，优化思考过程。这样，AI的推理能力得到了显著提升，并能更好地解释其推理逻辑。

思维链技术有利于极大提升AI在科学、编程等复杂领域中的表现，使它在医疗、气候科学等需要深度分析的领域中拥有广阔的应用前景。AI可以通过反复推理和学习，发现新的解决方案，加速这些领域的进展。思维链不仅让AI变得更加“聪明”，还展示了AI自我进化和学习的潜力，使其有望逐渐接近AGI。

强化学习指的是，AI学习在根据行动结果获得反馈，然后不断优化策略，从而学会完善自己的思考过程。通过强化学习的方式，o1模型可以进行自主探索和连续决策，这能让AI大模型学会生成思维链，与之前的大模型仅仅学习数据不同。

在此训练方式下之下，o1模型拥有了自我提升的能力，意味着实现了从预训练到后训练的进步。预训练需要通过不断读取大量数据来学习和提升，容易使AI依赖于有限的资料集，反复使用这些资料，导致逐渐变得“僵化”，缺乏创新。而当AI增加了推理和思考的过程，就能在现有知识基础上主动推演，推测出新的观点或解决方案，表现出更“类人”的灵活性和创造性。

浙江大学计算机学院教授、博士生导师，浙江大学人工智能研究所副所长郑小林在2024全球数字生态大会上谈到o1模型时表示，“o1发布挺让人兴奋的。AI开始有了思维链，具备了复杂推理的能力，而且随着更多强化学习和更多思考时间，o1的性能会持续提升。”

Meta的研究团队近期推出了一款AI评估工具，使用了类似“思维链”的技术，让AI来评估AI的能力。

“我们希望，随着AI的发展，它能超越人类，逐渐具备自行检查工作的能力，并在准确性上超过普通人类水平，”项目研究员之一Jason Weston说，“自我训练和评估的能力是实现超人级AI的关键因素之一。”

未来潜力与应用风险

OpenAI的CEO Sam Altman曾将AI技术的发展划分为五个阶段，分别是：

L1 聊天机器人（ChatBot），具有对话能力的AI；

L2 我们刚刚达到的推理者（Reasoner），像人类一样能够解决问题的AI；

L3 智能体（Agent），不仅能思考，还可以采取行动的AI系统；

L4 创新（Innovator），能够协助发明创造的AI；

L5 组织者（Organization），可以完成组织工作的AI。

OpenAI的五级AGI路线图

Altman表示从L1到L2花了一段时间，但他认为L2最令人兴奋的事情之一是它能够相对快速地实现L3，预计这种技术最终将带来的智能体将非常强大。

o1模型通过思维链技术，将线性、单线程的AI思维转向多线程的推理，突破了此前训练方式的瓶颈，正如其命名的含义一般，作为推理模型中的第一个有着里程碑的意义。

随着AI技术的不断进步，推理技术有着广阔的应用潜力。OpenAI在最新的论文中指出：如果人工智能智能体能够自主进行机器学习研究，它们可能会带来许多积极的影响，例如加速医疗保健、气候科学等领域的科学进步，加速模型的安全和对齐研究，并通过开发新产品促进经济增长。智能体进行高质量研究的能力可能标志着经济中的一个转折。

AI推理技术能够处理海量数据，并从中提取有价值的信息，使决策过程更加科学、高效。例如，在医疗领域，AI可以帮助医生分析患者数据，做出更准确的诊断，而在金融领域，AI推理可以预测市场走势，帮助投资者做出明智的选择。

在制造业，智能机器人可以通过实时数据分析优化生产流程，提高效率；在物流行业，AI可以预测需求波动，优化运输路线和库存管理，从而降低成本。未来，AI推理的跨学科应用潜力也将不断显现，无论是气候变化预测、生物医学研究，还是城市交通管理，AI都能够通过数据分析提供新的解决方案，促进各领域的创新和进步。

郑小林指出：“从全球范围来看，我国在AI最新成果与场景结合的应用创新方面有较大的优势。”他还表示，“AI+制造”将大大推动制造业的智能化发展，像金融、教育、医疗等领域，“AI+”也在加速落地。

今年7月底举办的ISC 2024大会上，360集团创始人周鸿祎宣布，360将“用基于智能体的框架打造慢思考系统，从而增强大模型的慢思考能力”，并强调，将“利用智能体框架，让大模型从快思考转成慢思考模式，把多个大模型组合起来解决业务问题”。

据了解，近期有国内技术团队通过将思维链优化为CoE（专家协同）协同工作模式，使用任意三个模型协同工作达到了和OpenAI o1-preview类似的反思决策效果。经过21道复杂逻辑推理题测试结果显示，其效果与OpenAI o1-preview相当，完全超越GPT-4o，有时还能超越o1-preview。

不过，尽管推理技术为AI带来了巨大的进步，但它也带来了潜在的风险。随着AI在决策和推理上的自主性提高，AI行为的不可预测性可能增加，尤其是当AI系统在没有足够人类监督的情况下自行操作时。此外，AI在处理复杂任务时，如果出现了错误推理链，可能导致错误决策，对现实中的应用（如医疗、交通）产生严重影响。

近期，Anthropic发表的名为《前沿模型破坏能力风险评估》的报告指出，目前AI安全研究主要聚焦限制恶意用途，而随着未来AI能力将超过人类，也要提前研究AI主动破坏风险。

FDA（美国食品药品监督管理局）的Haider J. Warraich、Troy Tazbaz和Robert M. Califf在JAMA（国际四大医学期刊之一）上发表的文章中提到，生成式AI在诊断和治疗等领域虽然能带来显著创新，但也面临潜在的错误和偏见风险。例如，AI医疗记录助手可能会错误生成未经讨论的诊断。因此，有必要为这些复杂的AI模型开发专门工具，以评估其输出的可靠性和安全性。

需从多角度降低应用风险

随着AI推理技术的不断进步，其应用也将逐渐普及，在向着更接近AGI的目标迈进的同时，AI推理技术的应用也带来了诸多风险，特别是错误和偏见的可能性，这些风险可能会对决策和社会产生深远影响。因此，针对这些风险，需要采取有效的应对策略，以确保AI技术的健康发展。

建立健全的监管框架是应对AI推理技术应用风险的重要基础。这需要政府和行业组织制定明确的法规和标准，以规范AI系统的开发和应用。特别是在医疗、金融和法律等关键领域，相关政策应确保AI系统的透明性和可解释性，使用户能够理解其决策过程。这不仅能增强用户的信任，还能降低因模型错误或偏见带来的潜在风险。

FDA的Haider J. Warraich、Troy Tazbaz和Robert M. Califf在JAMA上发表的文章截图

数据治理在AI推理的应用中也至关重要。AI系统的性能往往依赖于其训练数据的质量和多样性。因此，确保数据来源的可靠性、代表性和公正性是防止偏见和错误的重要措施。此外，数据治理还应包括定期审查和更新数据，以适应不断变化的社会和市场需求，从而提升AI系统的准确性和有效性。

在技术层面，研发更为先进的算法和模型也能有效降低风险。研究人员应注重提升AI推理系统的可解释性和可控性，使其决策过程更加透明，便于人类进行干预和调整。例如，采用集成学习或对抗训练等方法，可以提升模型对异常数据和极端情况的抵抗能力，减少因输入数据问题导致的错误。

展望未来，随着AI技术的不断演进，尤其是接近AGI的发展，AI推理的应用将愈加广泛。然而，AGI的实现也将带来全新的挑战。首先，AGI的决策能力和自我学习能力将更加复杂，如何确保其在多变环境中的安全性和可靠性将成为一项艰巨任务。此外，AGI的伦理问题和社会影响也需要认真考量，确保其发展不会造成不平等或损害人类利益。

总之，应对AI推理技术的应用风险需要从监管、数据治理、技术研发等多个层面入手，形成合力，确保AI技术的健康、可持续发展。