大模型观察｜从训练到落地金融业，大模型“升级之路”面临哪些挑战？

迎着技术风口，2024年将是AI大模型应用的浪潮年。业界认为，大模型将对金融业产生长远的、深刻的影响。1月28日，针对大模型在各业务场景的应用成效、对大模型算力的开发和提升，多机构向北京商报记者透露了自研大模型的最新进展。

与此同时，一些问题近期在业界引发热议：大模型在训练过程中，哪些壁垒亟需突破？训练一个更专业的金融业垂直大模型与普通大模型相比有何不同？想要加速大模型在金融领域的落地，又有哪些难点与挑战？针对这些问题，多家在大模型中有不少探索经验的金融机构向北京商报记者给出了相似的答案。

大模型业务端应用最新披露

在过去的2023年，百灵、轩辕、天镜等多款大模型如雨后春笋般涌现。到如今，不同大模型助力对应业务开展已取得显著成效。北京商报记者注意到，大模型在客服与电销方面的应用尤其广泛。

2023年5月，度小满开源了国内首个千亿级金融大模型“轩辕”，并获得了上百家金融机构申请试用。目前，大模型技术已经应用在度小满各个业务场景，从营销、客服、风控、办公再到研发，已经初见成效。在代码助手方面，用大模型辅助生成的代码，采纳率能够达到 42%，帮助公司整体研发效率提升了20%；在客服领域，大模型推动服务效率提升了25%。在智能办公领域，大模型目前的意图识别准确率已达到97%。

奇富科技则透露，通过AIGC的强大赋能，在电销系统中，语义分析和线索挖掘帮助提升电销线索识别准确率高达98%，同时将转化率提高超过5%。在智能营销环节，大约70%的图片素材由AIGC生成，并计划通过大模型对素材进行标注和多维度评级，以实现广告投放的优化。在通话质检环节，大模型自动化质检实现了100%覆盖，将检出率提高了15%。在语音机器人话术生成场景，生成话术优质率已达70%。

具体到金融领域，数据显示，大模型在获客、放贷、催收方面发挥重要作用，还助力业务和企业经营的智能化决策。

北京商报记者了解到，2023年三季度，乐信持续加大对数据挖掘和模型建设的投入。引入更多数据源，构建以人民银行征信系统为核心的识别系统，完善了从获客、风险及运营整个生命周期的模型框架，模型的排序性和稳定性比此前有10%—20%的提升。对新客模型和策略进行重大升级，取得较为显著的成效，信息流获客效能比一季度提升38.5%。新客的通过率、交易用户数、促成借款额都比对照组有20%以上的提升；早期入催指标有近20%的下降。

乐信提出，其自研大模型LexinGPT目前已经在电销、客服、催收等主要业务流程中全面落地。以电销场景为例，应用AI大模型后，当日授信转化率相对外采技术提高70%、当日下单转化率提升10%；客服业务机器人场景下，机器人参与客服的比例和效率稳步提升，无需人工干预的机器人解决率达到91.5%。

大模型对金融业务的提质增效作用，许多机构都有亲身体验。1月24日，由清华大学经济管理学院、度小满、《麻省理工科技评论》中国、清华大学经济管理学院动态竞争与创新战略研究中心联合编写的《2024年金融业生成式人工智能应用报告》（以下简称《报告》）正式发布。《报告》提出，生成式AI正在席卷金融业，释放新的生产力，以前所未有的方式重塑全球金融业的格局，有望给金融业带来3万亿规模的增量商业价值，并可能将彻底改变交易的进行、投资的管理和风险的评估方式。

“短期看，大模型是数智化的延伸，为企业降低成本提升效率；长期看，大模型将演进为超级智能体，重构企业业务流程。”度小满CTO许冬亮表示。

打破大模型训练“三堵墙”

要生产一个成熟好用的大模型，就如同发酵酒一样，需要经历重重步骤，且每一步环环相扣。在大模型领域，训练就是至关重要的一步，是一个把冰冷的数据、参数，变成有“思维”的工具关键一环。只有打好了技术的基础底座，才能让大模型拥有更成熟和精准的服务。

业界常说，大模型训练有“三堵墙”：算力、内存、通信。通俗来讲，完成一个千亿参数级别的大模型例如GPT-3，用一张卡训练一个模型要耗时32年，所以业界引入了分布式训练的方法。所谓“内存”墙，则说的是千亿级参数完全加载到显存大概需要几个TB，单显卡的显存已经无法加载千亿级参数。此外，大模型并行切分到集群后，模型切片间会产生大量通信，从软、硬件来说，这些问题都亟待解决。

为了突破这三堵墙，业界一直在努力。北京商报记者获悉，多家机构均有对大模型训练和算力的新进展。例如，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助提升深度学习的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%。

蚂蚁集团表示，随着生成式大模型的爆发，模型训练的数据集和参数规模成指数级增长，要带动如此庞然大物，并且满足模型的快速迭代，分布式训练就成为了解题之道。ATorch可以算是其中之一，它的优势在于可实现最少化用户代码侵入，为千亿参数大模型千卡级训练提供易用的高性能方案。

腾讯云则着眼于“内存墙”与“通信墙”的突破。在年初，腾讯云推出了面向大模型训练的“高性能计算集群HCC”，可以大幅提升集群训练效率。

“最新一代的GPU算力就像法拉利，想要充分发挥跑车的性能，道路和轮胎都要追求极致。把GPU算力用好用足，除了卡之外，还需要存储、网络做好配合。否则，其中短板会导致计算节点等待，拖垮集群效率。”腾讯云副总裁胡利明解释道。网络方面，腾讯自研的星脉网络把HCC集群内部服务器之间的羊肠小道变成了高速公路，让GPU计算节点互相通信畅通无阻。而腾讯云HCC的计算、网络、存储，形成毫无短板的“铁三角”，让大模型训练大幅提速。

奇富科技对北京商报记者表示，与普通大模型相比，奇富金融大模型在训练过程中的特殊之处在于“软硬结合”的金融科技探索与实践方向。“软”在于对金融业务层面的深入理解，“硬”则在于技术、数据、算力方面的积累。

值得注意的是，在对大模型的训练问题上，有一原则需要遵循——模型参数并非越大越好。一资深从业人士表示，模型参数规模越大，意味着神经网络的复杂度越高，学到的特征表达能力更强，拟合能力更好。但在实际应用中，大模型的利用效率并不高，过于庞大的模型可能难以在有限的计算设备上部署和训练，从而限制了其应用场景。大规模参数的模型在训练数据上表现优秀，但在新任务和未知数据上表现不佳，无法很好地泛化。

对此，胡利明指出，要立足场景和高质量数据，追求效率和成本的最优解。

通用大模型不能完全胜任金融领域任务

通过大模型赋予的强大算力，生成式AI正加速定义形成新的客户服务、新的制造方式以及新的经济业态，成为数字经济时代的新质生产力。生成式AI重塑金融业，这已然成为了业界共识。

对大模型的训练，背后是技术的不断演进。那么，想要加速大模型在金融领域的落地，又有哪些难点与挑战？训练一个合格的金融大模型与普通大模型相比有何不同？

首先应明确的是，基于金融业的专业性与复杂性，通用大模型并不能完全胜任金融领域任务。金融领域产生的数据量庞大且多样化，包括交易数据、市场数据、客户数据等；涉及多个市场参与者、复杂的金融产品和交易机制以及受到多种因素的影响，如经济状况、政策调整等。这种复杂性导致金融领域往往面临较高的不确定性，难以准确预测和评估风险。通用大模型专业金融知识有所欠缺、能力不满足金融任务要求，同时，面临着训练和应用成本高的挑战。

“普通通用型大模型和金融行业垂直大模型在落地速度上有着明显差异，”乐信对北京商报记者表示，一个重要的原因在于预训练的参数大小差异。普通通用型大模型通常需要千亿参数、万亿参数去做预训练模型，相比较来说，金融行业垂直大模型的预训练参数则小很多。

业界由此提出，大模型在金融领域的应用呈现出三层金字塔结构：底层是通用的基础大模型底座，中间层是金融行业级大模型，顶层是各家金融机构的任务级大模型。呼唤具备更多专业知识的金融机构形成适配特定领域的专业化应用。

奇富科技进一步指出，对于现阶段的金融大模型来说，业界常提到的技术挑战固然重要，但更为核心的问题在于机器幻觉和合规风险。

机器幻觉是指大模型在学习海量数据后，可能会根据对前文内容的理解“编造”出一些“无中生有”的内容。在容错率较低的金融领域，这种幻觉会直接影响金融分析结果的可信度，尤其在与用户直接沟通时，可能会给用户体验带来负面影响。因此，需要努力提升大模型的稳定性和准确性，以确保其生成的金融分析内容真实可靠。

同时，合规风险也是训练金融大模型时必须面对的重要问题。金融机构和监管机构面临着合规和监管的复杂性、多变性、适时性，需要投入大量的人力和资源。为此，奇富科技的经验是，采取多重审核机制，包括在源头上进行合规把控、素材生成后的合规校验与效果评估，以及最后的人工审核。

“在我们看来，现阶段金融大模型就是一个效率工具，必须依托具体的业务场景才能释放能效。某种程度上来说，我们现在做的，就是要用大模型把过去大数据所做的事情再重新做一遍。”奇富科技强调，金融行业大模型的落地要从最外围的获客、运营开始做起，逐步提升运营效率。

展望未来，《2024年金融业生成式人工智能应用报告》中则提到，生成式AI技术在金融业中的应用尚处于技术探索和试点应用的并行期，预计1-2年内，首批大模型增强的金融机构会进入成熟应用期，3年后将会带动金融业生成式AI的规模化应用。“2024年生成式AI将从模型层走向应用层。开拓落地应用场景，不断提高客户采用率和大模型的利用率，更好发挥大模型的潜在价值，将会是2024年生成式AI突破发展的重要内容”，清华大学经济管理学院副院长李纪珍说道。

北京商报记者 岳品瑜 董晗萱