Salesforce首席科学家撰文：「AI agent黎明」之后，我们期待些什么？

来源：学术头条

整理：学术君

人工智能（AI）专家普遍认为，2025 年将是智能体（agent）爆发之年。

去年底，Gartner 也将 agentic AI 列入了 2025 年十大技术趋势之一，并预测 2028 年将至少有15%的日常工作决策由 agentic AI 自主完成，而这一数字在 2024 年为0。

随着大模型在多模态理解、逻辑推理等方面的进一步发展，agent 或将在 2025 年迎来大规模落地应用，替代人类自主解决越来越多的日常工作。

日前，Salesforce首席科学家撰文、斯坦福大学计算机科学兼职教授 Silvio Savarese，在一篇文章中探讨了 agent 系统的发展前景、在这一过程中需要人类提供哪些帮助，以及有关 agent 的信任和问责问题。

值得一提的是，Savarese 也是“AI 教母”、斯坦福大学首位红杉讲席教授、美国三院院士李飞飞的丈夫。

他表示，正如音乐从单音旋律发展到复杂的交响乐一样，agent 也正从「个体演奏者」发展到「管弦乐团」。从现在开始，几乎所有企业——从个人贡献者到高管——不仅可以协调人类劳动力，还可以协调数字劳动力。

“未来不是人类与人工智能的对决，而是双方协同合作，发挥各自的独特优势。”

学术头条在不改变原文大意的情况下，对整体内容做了精编，如下：

在由 AI agent 网络增强的新兴格局中，人类在工作中的角色变得比以往任何时候都更有能力、更有趣、更有创造力。我们现在已经迎来了人工智能的第三次浪潮，它以预测式和生成式人工智能为基础。从人才招聘到超级医疗保健，我们现在将看到人工智能与人类在各个领域合作，以更快的速度满足各种需求，而且在许多情况下比人类本身更准确。Agentic AI 需要一些时间来产生效应，但它将改善我们工作的许多方面：生产力、效率、战略决策，以及总体工作满意度。

欢迎来到 Agentic AI 时代的黎明。从现在开始，几乎所有企业——从个人贡献者到高管——不仅可以协调人类劳动力，还可以协调数字劳动力。

我们将看到信任和问责制作为三个阶段演进的基石：掌握离散任务的专业 agent，多 agent 系统无缝协作，以及重写业务运作方式的企业级编排。

以下是我们对 agent 系统发展前景的展望，以及在发展过程中需要人类提供哪些帮助。

agent 的演变：从规则到推理

大语言模型（LLM）是一种经过训练的深度学习模型，能够理解文本并生成文本。agent 的发展反映了机器学习本身的发展。传统的基于规则的系统，如机器人流程自动化（RPA），能够执行精确的序列，但在面对（周围环境）变化时的表现不佳。这些早期实施需要大量的技术开销和咨询服务，给许多组织带来了很高的准入门槛。

在过去的几十年里，我们见证了渐进式和突破性的进步，这些进步改变了机器处理信息的方式——从僵化的自动化发展到更加灵活、适应性更强、效率更高的学习系统。但是，更令人兴奋的是我们的发展方向：通过多 agent 推理实现自适应 agent——agent 可以从环境中学习，通过经验不断改进，并与人类和来自企业客户、合作伙伴、供应商的 agent，甚至消费者的个性化人工智能助手进行协作，而人工智能助手正在成为他们生活中越来越重要的一部分。企业 agent 的未来将分为三个阶段，而我们现在只是刚刚开始。

企业 AI agent 的三个阶段

正如音乐从单音旋律发展到复杂的交响乐一样，AI agent 也正从个体演奏者发展到管弦乐团。每个阶段都建立在上一个阶段的基础上，在企业环境中创造出更丰富、更细微的互动。

第 1 阶段：“单音”人工智能——专业贡献者

在 agent 演变的第一阶段，专业 agent 擅长特定行业中的特定任务，为常规但关键的业务运营带来更高的效率和准确性。它们代表了企业人工智能采用的基础，以一致性和速度处理离散任务，从而转变部门工作流。它们还擅长提供人工智能迄今取得的进步所带来的好处，如预测下一个最佳行动和产品推荐，根据每个客户的偏好和行为进行高度个性化。此外，它们还能为客户、服务人员和销售代表——无论是人类还是机器人——提供最高水准的生成指导、营销语言和通信。

例如，在商业领域，它们彻底改变了库存和账户管理。事实上，agent 不只是处理基本的库存检查，还能主动监控多个地点的库存水平，预测季节性需求，并生成实时账户摘要，以标记异常模式或机会。过去需要数小时人工分析的任务，现在只需几秒钟就能完成，而且具有更大准确度和深度，为零售客户带来优化、个性化和近乎“神奇”的体验。

服务运营也有类似的转变。除了基本的账单汇总外，agent 还能分析客户互动模式，自动分类和为服务请求设定优先级，并生成关于客户需求的预测性见解。他们会发现客户行为的趋势，这些趋势可能预示着满意度问题或扩展机会，从而为服务团队提供可操作的情报，而不是原始数据。其结果是，客户服务让终端客户感觉毫不费力、环境友好，几乎无处不在——他们的问题往往在不知不觉中就得到了解决。

在金融服务领域，agent 重新定义了客户服务效率。在处理纠纷确认时，他们会分析交易历史，识别潜在欺诈活动的模式，并自动触发相关的安全协议。在财务规划方面，它们通过关联市场数据、个人客户历史和广泛的经济指标来生成综合分析。如果使用得当，agent 将为企业带来前所未有的后台效率，并为消费者提供下一代零售银行业务、投资指导和财富管理体验。

第二阶段：“复音”人工智能——无缝合作者

这一阶段引入了同一公司内专业 agent 之间的协调合作，共同致力于实现共同的业务目标。在这种情况下，「管弦乐演奏家」agent 会协调多个专家协同工作，这就好比餐厅总经理如何协调有才能的主持人、服务员、经理、厨师和预备厨师等共同工作，以获得令人羡慕的米其林星级。

对于复杂的业务运营来说，“复调”人工智能是什么样的呢？考虑一下这样一种客户服务场景：多个 agent 协同工作，为零售客户要求调换淡季 SKU 尺寸的票据提供支持。

• 一线服务 agent 处理最初的客户询问

• 库存专员检查各地的产品供应情况

• 物流 agent 计算运输选项和时间安排

• 计费专家审查账户历史和付款选项

最重要的是：协调 agent 可以将所有这些输入信息协调为一致、有效、符合品牌形象且与上下文相关的响应，供人类审查、完善并与客户分享。

如果实施得当，这种由“协调 agent”为“协调人类”服务的多 agent 方法将带来强大的人工智能驱动优势：系统通过利用专注于特定领域的专业化、可信赖的 agent 来提高可靠性，同时减少幻觉，因为每个 agent 都在特定领域内运行。这种分布式方法还能将敏感数据的处理隔离给特定的 agent，从而加强安全性。也许最重要的是，该生态系统提供了无缝的可扩展性——组织可以根据需要不断添加新的专业 agent 来扩展功能。

第三阶段：“合奏”人工智能——企业协调者

最后阶段（一个理想阶段）增加了跨越组织边界的复杂 agent 到 agent（A2A）互动，创造了全新的业务关系模式。除了传统的 B2B 和 B2C 模式，我们还看到 B2A（企业对 agent）甚至 B2A2C 互动的出现，在这些互动中，agent 充当工作和交易的中介。

考虑一个简单的租车场景：客户的个人 agent 与租赁公司的商业 agent 进行谈判。客户的 agent 会优化价格和价值，而租赁公司的 agent 则希望通过附加服务实现收入最大化。但是，业务必须在激进的销售策略与将交易拱手让给竞争对手的风险之间取得平衡。这些互动可能受复杂的“博弈论”原则支配，需要优秀的谈判技巧和协议、不确定性下的风险管理、确保信任的验证机制，更不用说巧妙解决冲突的能力了。

现在，想象一下我们在各行各业看到的日益复杂的企业流程：从供应链优化到客户体验编排。无论你是消费者还是企业员工，“合奏”人工智能都将为你提供一个助手，帮助你根据自己的个性化需求和愿望执行复杂的编排和有意义的协作。为了实现这一目标，我们人类还有很多工作要做。

必要条件：信任和问责

随着我们部署越来越复杂的 agent 系统，每项决策都必须遵循两个基本原则：信任和问责。

建立信任

agentic AI 时代的信任远远超出了防止毒性、偏见和幻觉的技术保障。Salesforce 最近的研究表明，61% 的客户认为人工智能的发展使可信度变得比以往任何时候都更加重要——他们是对的。我们正在进入一个需要对人类和人工智能之间的共生关系有深刻组织信任的领域。

这种信任建立在四个重要基础之上。

首先是准确性和边界的基石——agent 必须在明确定义的参数内运行，同时保持准确性。除了防止出错之外，这些防护栏还将创建可预测、可信赖的合作伙伴关系，从而增强集体智慧。

同样关键的是 agent 的自我意识。与任何有价值的同事一样，agent 必须认识到自身的局限性，并知道何时需要借助人类的专业知识。这就需要复杂的切换协议，以确保人工智能和人类智能之间的无缝协作。例如，我们的人工智能研究团队探索了训练方法，教授 agent 标记不确定区域，并在遇到未知挑战时寻求帮助。经过正确训练后，人工智能将知道何时不应尝试猜测，而应向人类寻求帮助。

对于多 agent 系统，我们还需要全球公认和采用的参与协议。可以这样想：银行有全球协议或规则，使个人、企业和国家之间的资金转移系统化。交通有协议来确保遵守规则，由我们通用的交通指示灯颜色系统管理。互联网有“IP”——我们的全球互联网协议，允许数据包的路由和寻址穿越网络，并到达正确的目的地。

因此，未来的 agent 也需要这些协议，这些协议应该得到普遍认可和实施，以便协调 agent 能够安全、合乎道德地与其他企业 agent 进行沟通、协商和合作，并使双方互惠互利。这种“合奏”级别的参与必须快速、高效和公平。如果没有这样的协议，往好了说，我们会面临 agent 与 agent 之间的“垃圾邮件”风险，往坏了说，我们会面临欺诈和其他危险。

最后，随着我们的 agent 队伍不断壮大，我们的安全措施也必须跟上。与任何技术一样，怀有恶意的人类也可能利用人工智能，设计和训练“人工智能蠕虫”，以达到数据泄露的目的，或试图劫持其他 agent，泄露客户的私人数据。加强保护、隐私控制和持续监控绝不能被视为单纯的技术要求，它们对于维护信任至关重要，而这种信任能将人工智能从我们使用的工具转变为我们企业共同成长的合作伙伴。

确保问责制

随着企业部署每秒可以做出数千个决策的 agent，我们必须建立明确的问责和监督框架，以确保在出现问题时有一个应对计划。这需要一种全面的方法。以下是企业高管监督 agent 实施工作的出发点。

明确 agent 决策的责任链。当 agent 做出重要决定时，谁应该对此负责不应该含糊不清。这甚至意味着要设立“人工智能运营官”这样的新角色，他们既有权监督 agent 的部署，又要在出现问题时承担责任。

强大的系统，用于检测和纠正不完整的信息、偏差、幻觉或有毒输出，以防它们影响你的业务。这不仅包括基本的安全检查，还包括对 agent 决策的持续监控、实时干预能力和系统审计跟踪。我们的研究团队最近在检索增强生成（RAG）方面取得了进展，极大地改进了人工智能系统访问和验证信息的方式，这只是其中的一个例子。这些创新实现了快速评估和过程修正，确保人工智能系统提供人类和企业可以信赖的准确、可靠的结果。

确定人类监督和干预的程序，平衡自主与控制。我们需要超越“human in the loop”的简单概念，为人类何时以及如何干预 agent 决策制定复杂的框架。正如我的同事 Paula Goldman 所说，这更多的是“human-at-the-helm”。这意味着要制定与 agent 沟通的指导原则和全组织范围内的标准方式，以及明确的升级路径，在日常任务中最大限度地发挥 agent 的自主性，同时在重大决策中保持人类判断的核心地位。

当错误发生时，采取结构化方法纠正错误。这不仅包括技术上的回退程序，还包括明确的客户沟通、补救和系统改进协议，以防止出现类似问题。

新的法律和合规框架，明确解决 agent 的问责。当前的监管环境并不是为自主的 agent 做出商业决策而设计的。我们需要积极主动地与监管机构合作，制定适当的治理结构。

展望未来：科学方法与企业创新

部署真正交互式人工智能系统需要高管的远见：我们必须将产生这些进步的同样严格的科学标准应用到现实世界的实施中。成功不仅取决于部署的 agent 数量或实施速度，还取决于企业领导者和技术专家如何将其与现有的劳动力协议、流程和偏好进行整合。

随着我们对 agent 协作、共享学习和人与人工智能交互的理解不断加深，我们发现了一些原则，这些原则得到了可重复研究和经验证据的支持。未来不是人类与人工智能的对决，而是人类与人工智能的协同合作，发挥各自的独特优势。现在是开始这种转变的时候了，通过仔细的假设检验、细致的测量和基于证据的不断完善，科学方法将照亮我们前进的道路。

正如每一次突破性实验都始于假设一样，每一次成功的人工智能转型都始于一个愿景，并以经过验证的事实结束。

https://www.salesforce.com/blog/the-agentic-ai-era-after-the-dawn-heres-what-to-expect/

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告