AI五大平台华山论剑 2024看谁能练到Agent层级

01华山论剑最终比的是什么

在人工智能的世界里，我们以金庸先生的武侠小说《射雕英雄传》来作比喻五大平台的地位。OpenAI就像是小说里武功盖世的中神通，暂时领先于其他四大顶级高手。我说这句话，你同意吗？

纵观人工智能平台的竞争格局，谷歌的Gemini宛如小说中的南帝，展现出创新和智慧的实力。

南帝Gemini

亚马逊的Claude则像是北丐，具有适应性强和资源丰富的特点，在不断变化的云计算和AI服务市场中生存发展。

马斯克的GROK可以比作东邪，他的方法颠覆传统，通过在交通和太空探索等领域应用突破性的AI，革新了整个行业。

扎克伯格的LLaMA则像是西毒，采取战略性和全面性的手段，将AI深入融合进社交网络和虚拟现实。

在这场激烈的“军备竞赛”中，苹果公司在扮演着什么角色呢？

02 AI Agent横空出世

五个大语言模型拥有着各自的武功优势，但它们总体上还是被动的练功方式，一招一式的效果还是取决于我们个体习武人本身的能力。

而被业界称为智能体（AI Agent,个人觉得这个翻译更妥帖一点）秘笈的出现，将改变我们的学武门道。

它具备自主规划自主执行的能力，是打开通用人工智能（AGI)大门的敲门砖。

从人工智能发展路径来看，需要练就五个层级，即语料库，互联网实时访问的多模态内容输出，我们现在就是在这个层级上，智能体在大语言模型汇聚的基础上，将向感知、具身和社会属性的方向进发，当我们练就了若干的智能体后，通过多个智能体之间的互动合作，具备了情感属性，能够处理更加复杂的任务，反映现实世界中的社会行为时，我们将进入第五级，是终极吗？我们不知道！

那么什么是智能体呢？

我们想象这样一个场景，黄蓉如何学习打狗棍法，首先黄姑娘想学习这个武艺，也找到了师傅洪七公，她要通过自己的感官系统捕捉师傅演练中的全部动作细节，然后在自己头脑中形成一个个动作的分解过程，哪些是重点，哪些是难点，所有这些就是在做规划和决策，然后开始借助打狗棒进行演练，一开始和师傅过招只能打上几个回合，经过不断的互动与反馈，挫折与失败，最后打成平手，获得了身体上和精神上的满足。

如果我们把这个场景抽象成模型，就是由感知模块、规划模块、行动模块、反馈模块组成了这个场景过程，而智能体就是这样的框架组成。

其中最关键的是大脑部分，而这个大脑部分构成就是大语言模型，它增强了智能体的规划与决策的能力。

03所谓的知识库，到底指的什么？

我们拿OpenAI提出的智能体的模型图为例，它被拆分成了规划、记忆、工具和行动等模块。其中记忆模块分成了两个子模块，分别是短期记忆模块和长期记忆模块。

短期记忆指提示词工程中的上下文连接，相当于我们人的感知系统，它是指外部信息的输入，包括文本、图片、语音、视频等。短期记忆受到模型的上下文的限制，你比如最近OpenAI推出的GPT-4 Tuobo支持128k字节token，超过之后，LLM就忘记了之前输入的信息，所以我们为什么总强调对话过程中的重点话题的反复强调。

长期记忆指的是支持向量搜索，支持在执行任务时调用类似人类图书馆中的知识，它包括客观存在的事实、事件、概念等等，也包括机器主观学习获得的知识。

所以我们经常提到的，为垂直类行业搭建知识库，就是在建立长期记忆模块，在长期记忆模块中，我们投喂的数据越多，机器主观学习获得的知识也就越多，经验值的准确率也会越来越好。

04占据核心位置的规划模块

规划模块讲起来有点拗口，它的核心作用就是将复杂的目标进行拆分，如同黄姑娘站在七公面前耍鬼主意，她要找到最优的学习方法。这里涉及到的思维链(CoT)和子目标分解模块（Subgoal Decomposition)就不再详细解释了。当然这里面还有反思(Reflection)和自我批判模块（Self-critics），它的目的就是引入强化学习机制，通过环境的反馈状态，能从错误中吸取教训，修成正果。

05工具调用模块和行动模块应该是合二为一

智能体的行动方式可以分为三类，基于大语言模型基础能力上的文本输出，通过LLM调用外部的程序工具，包括调用其他的专家模块来协同处理任务，调用API或者插件处理特定任务，利用现实世界的机器人，接收指定任务后与周围物体进行交互，完成任务目标。

最后总结一句话，智能体等于LLM大脑构成+记忆+感知&反思+规划+工具使用，这个才是真正的人工智能体该有的样子。

07智能体有哪些应用场景呢

seerboldor的哲学观

目前国内已经有了许多的头部机构在教育领域推出了AI应用，像Seerboldor北京团队推出的针对职业院校专业教师微课设计方面的痛点（相关知识点的视频素材向量搜索、二次编辑工作、直播机器人生成与场景设计等），专门生成的二次创作的剪辑工具RFM(Recompose Fragmented Media)。它能够处理和整合大量具备版权的视频素材，它支持基于脚本化描述和纯故事性描述的搜索，使用户能够根据自己的需求快速找到所需视频片段。

此外，该工具特别适合素材丰富的公司和团体，提供便捷的授权机制，使下级用户可以方便地使用这些素材。

它的应用场景也很广泛，即视频二次创作，为创作者提供必要的工具，以实现他们的创意和故事讲述；广告制作，帮助营销团队快速找到和整合视频素材，创作有影响力的广告内容；组织素材管理，为拥有大量视频素材的组织提供一个高效的管理和使用平台；个性化项目，帮助职业院校老师或者小型教学团队进行精品微课视频项目的策划与制作工作。