智能投顾的大模型应用，为什么选择了“大小模型协同”？

采访嘉宾｜尹辰轩，北银金科高级算法专家

编辑｜罗燕珊

大模型时代，金融行业依然站在技术革新的前沿。而在智能投顾这一高度合规、专业性极强的场景中，大模型的落地不仅是技术挑战，更是业务安全的严峻考验。面对挑战，北银金科采用了“大小模型协同”的架构思路，尝试在性能、准确性与合规之间找到更优平衡。

“大模型投顾落地的最大技术挑战，在于如何在高合规门槛的业务中避免幻觉和误答。”北银金科高级算法专家尹辰轩表示，金融业务不像通用问答那样容错率高，一旦输出带有承诺收益或判断错误的内容，不仅影响用户决策，更可能带来法律风险。

在这种背景下，大小模型协同成为一条更为稳妥的路径。一方面，它限制了大模型的职责范围，主要负责任务扩写与流程编排，核心内容交由小模型完成；另一方面，也提升了整体的性价比——在更低算力消耗下，实现更稳定、深入的回答效果。

展望未来，尹辰轩认为，AI 应用架构会逐渐趋于“语言理解 + 工具调用”的组合形态，大小模型协同也只是更大趋势的一部分。

关于“大小模型协同”的相关思路及其在金融领域的应用情况，尹辰轩近日在接受 InfoQ 采访时做了简要阐述。更多实践细节他将在6 月 27～28 日于北京举行的AICon 人工智能开发与应用大会中进行系统性分享，敬请期待：

https://aicon.infoq.cn/2025/beijing/presentation/651

InfoQ：在您看来，大模型落地投顾领域最大的技术挑战是什么？为什么“大小模型协同”是一个更现实的解决路径？

尹辰轩：我认为大模型投顾落地的最大技术挑战在于如何在高合规门槛的投顾业务中避免幻觉和误答。

投顾业务的合规门槛高，专业性强，直接应用 L0 级的大模型存在较大的合规风险。很多大模型服务商本身在此类问题上也为了规避法律风险而泛泛而谈。大小模型协同在这个问题上有两个优势：

1）限制了大模型回答的范围

大模型的主要工作不再是产生完整的答案，而是对用户的问题进行扩写、搭建回答框架、分配投顾任务、实现答案融合，深度的投顾内容输出交给专精小模型来实现，有效降低了幻觉和误答的概率。

2）提高的大模型在回答深度 / 算力消耗的比率

小模型专精于某个特定用途，具有反应快、回答稳定的特定，无需大模型再梳理逻辑链进行更深度的思考，只需要大模型根据任务调用对应小模型即可，大大提高回答深度 / 算力消耗的比率。

InfoQ：您提到“大模型与基础模型解耦”是这套架构的亮点，能否简单透露下谈谈它是如何实现的？这在行业级应用中有怎样的意义？

尹辰轩：这套架构不是指大模型与基础模型解耦，基础模型本身就是大模型，我的意思是，根据 Agent 流程编排，每个环节需要的大小模型各自都是解耦的，可快速替换的。

比如在资产配置场景下，对用户的问题扩写，不必使用诸如 DS671B 这种通用的大参数模型，可以结合各类投顾报告或策略研报专训一个 3B 或者 7B 的模型，即可以很快速的根据资产配置类问题扩写出一套回答框架。在这之后，该框架下即可拆分出不同的投顾任务，每个投顾任务要匹配哪个小模型，此时也可以专门训练一个参数量较小的模型进行意图识别，从而精准的调用到对应的小模型。

在整个流程中，每个环节的小参数 LLM 或传统小模型都是模块化可替换的，同时，随着基础模型本身的进步，这些基于基础模型专训出来的小模型也会进步，从而形成加速成长的效果。

由于 LLM 的更新换代非常快，将应用全部依赖于基础模型会导致行业级应用在成长过程中过度依赖基础模型，且一旦切换基础模型会导致这些应用不稳定。将基础模型与应用层进行更明细的解耦，对于应用稳定性、成长性和私密性都至关重要。

InfoQ：关于大模型在金融场景中容易产生幻觉、跑偏回答的顾虑，咱们团队是怎么解决这一问题的？是否有实测效果可以分享？

尹辰轩：主要有三个手段：

1. 在 Agent 流程搭建中，投顾任务分配环节采用大小模型的映射方式，不仅基于一套专精的检索模型去寻找对应的投顾量化模型寻求答案，还要基于词向量匹配的传统手段进行保底；

2. 在产品设计中，考虑场景分类，比如将选股、配置、财富体检、持仓分析等场景区分开，节省掉大模型分辨不同场景的环节，直接明确调对应的 Agent 要解决什么问题，提高命中率；

3. 通过在知识库中约束回答范围、内容和黑名单词汇，避免不合规的表述，如承诺收益、确定性表达等。

InfoQ：您提到小模型引擎的“可扩展性”是另一大优势。从您的实践看，这种架构是否能支持投顾以外的金融细分领域，如保险、财富管理等？

尹辰轩：当然可以，我们认为，小模型不仅仅是投顾小模型，在智能投研领域，复杂的小模型千千万万，我们在 AI 之前的时代积累下来的算法模型仍然具有极大的价值。每个小模型都是独立解耦的，在特定问题上实现高效、精准的计算。不过在扩展过程中，需要对这个小模型建立特征向量，以便大模型在任务分配环节能够更为精准的识别调用——可扩展性的前提是，维护一套小模型引擎索引。

InfoQ：目前这套方案是否已经在实际业务中尝试落地？有没有让您印象深刻的使用场景或反馈？

尹辰轩：已经在公司内部落地，且部分功能已经在母行落地。有两个场景让我印象比较深刻，一个是算法层面，一个是产品层面。

算法层面，我们对比了大小模型协同方案的投顾回答、DeepSeek 671B 的回答以及 Qwen72B 的回答，无论是回答深度还是合规性上，大小模型协同的方案实现了全量由于 DS 和 Qwen 的回答内容。不仅如此，随着切换基础模型，大小模型协同的方案也实现了无缝衔接，能够基础模型较差时回答的专业性保底，切换到更强大的基础模型后回答的专业性上限极高。

产品层面，我们认为交互模式，我们认为，文字、图片和表格并不是当前 AI 在 Chat 体验下的最优实践。纯粹的聊天形式，虽然体现了互动性，但也一定提高了用户的记忆成本。我们将一些传统页面进行了改造适配，实现了在聊天过程中用可操作页面的形式，将更多的信息集中在一个回答中，可以对回答的页面内容进行二次操作和互动，这个体验得到了非常良好的反馈。

InfoQ：面对快速演进的大模型生态，您认为未来金融行业的 AI 应用架构会走向怎样的形态？这场演讲最希望为听众带来哪些启发？

尹辰轩：我认为现在已经体现了一种趋势，即LLM+API 将实现大模型进入所有的互联网生态，Agent 在整个 AI 架构的商业实现上会越来越重要。

大小模型协同，其实在实际落地中，仍然是 LLM+API。如果仅限于问答，LLM+API 基本上就足够了，如果再加上操作，那么还需要 LLM+API+RPA。

从历史的经验上看，人类发展出的新的技术绝大多数情况下并非直接颠覆旧的技术，而是在旧技术的齿轮上加上另一个新技术的齿轮。多模态的图片生成会让 PS 消失吗？我不这么看，PS 已经积累了足够多的功能，那么与其训练一套和 PS 功能一样强大的多模态模型，不如通过 LLM+API+RPA 调用 PS，这也许是性价比更高的方案。

我认为，未来 AI 的架构，更多的会是基于大模型本身的语言理解能力将不同的模型或工具通过 API 串起来，作为我们人类的另一个身外大脑，为我们服务。