ZStack AIOS平台智塔加速金融行业AI大模型应用

人工智能（AI）正以前所未有的速度渗透到金融系统，推动着金融服务的创新和变革。这种深度融合不仅可以提高金融服务的效率和准确性，未来还可催生全新的金融产品和服务模式。尤其是生成式人工智能（GenAI）的出现，通过生成文本、图像、代码等多种形式的内容，为金融机构提供了全新的工具和视角。

AI如何加速金融服务的创新和变革？关键在于能否利用AI实现业务的质效提升，并通过真正优化用户体验，加速金融AI渗透率。在8月上海城创金融科技国际产业园举行的2024FDS金融领袖峰会上，云轴科技ZStack CTO王为以“ZStack AIOS平台智塔加速金融行业重构 AI 基础设施”为主题，与峰会上百位银行、证券、保险、基金等金融客户代表分享了AIOS平台智塔在金融行业的应用。

ZStack AIOS平台智塔可以在金融机构的市场和销售、渠道与运营、产品开发、投顾服务、客户关系管理、风险合规等领域发挥重要的作用。举例来看，在金融资讯领域充斥着大量信息，AI不仅可以基于RAG查询上下文生成结论，还可以进行文章生成,并对文字审核、规范审核、逻辑检查、事实核查和敏感内容检查，提高内容质量和可信度。又比如金融分析师面对每天成百上千篇新研报，通过ZStack AIOS平台智塔进行摘要和观点提取，可实现快速响应。

此外，ZStack企业自身正在通过AI提升客户服务效率。ZStack通过在AIOS平台智塔对AI进行技术知识训练，结合RAG知识库搭建SupportAI智能机器人，接入到企业内部群，实现了面向客户支持和新员工学习的智能服务。相比以往的“凭经验”纯人工服务，AI的赋能让ZStack技术服务响应速度提升约30倍。

王为认为，AI应用发展呈现三个趋势，而企业客户尤其是金融客户可以通过AIOS平台来应对三大趋势带来的机遇和挑战：

开源大模型涌现，大部分企业从头训练大模型既无必要也不划算。在这样的背景下，金融客户可以通过AIOS平台模型层快速体验新模型，通过模型评测服务测试新模型是否提升；而在快速导入、体验最新的大模型时，还可以通过自有数据微调和RAG构建自己的应用；最后可以通过对多种推理引擎的支持，达到对模型兼容性和模型性能的均衡。

一个 AI 应用将涉及多个大、小模型的配合，单一模型难以一次完成任务。对于金融客户来说，通过AIOS平台的 MaaS 模型层整合、管理模型生命周期及多种模型资源，还可精细化控制解决模型幻觉，更充分的使用平台算力。

高端算力昂贵和供应问题将长期存在。对于金融客户来说，他们需要利用AIOS平台算力层能力，进行平台调度、显卡切割提升 GPU 利用率；通过分布式推理、分层推理，让小卡“合并”成大卡装载模型；以此合理使用智算卡的同时，多方面寻找硬件资源降低硬件成本，并跟踪各主流国产智算卡的 AI 推理能力进展，分散供应渠道。

云轴科技ZStack AIOS平台智塔，期望通过同时解耦算力竖井和模型竖井，帮助金融客户从容应对三大趋势，优化AI应用性能和成本，加速金融AI市场应用进程。

算力层：ZStack AIOS平台智塔的算力精分调度平台，支持NVIDIA、AMD、Intel、海光、华为昇腾、寒武纪、燧原、天数智芯、太初元碁、壁仞、摩尔线程、沐曦等中国市场上的主流品牌和几十种AI芯片型号，实现异构算力协同不同AI 模型之间的优化路由，降低AI算力成本。

模型层：ZStack AIOS平台智塔的动态模型自适应平台，可以支持生成式AI（GenAI）、自然语言处理 (NLP)、计算机视觉、机器学习（ML）、深度学习（DL）以及多模态AI，并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、智源BGE、StableDiffusion、XTTS等数百种开源文字类、图形类、声音类大模型，实现模型压缩与性能优化，模型选型与生命周期管理，训推高效部署与自适应调度，达到跨软硬件的全面性能优化。

运营层：ZStack AIOS平台智塔的全域感知自服务平台，可以进行多租户隔离和动态资源配额管理，实现跨智算中心、跨集群的全域感知统一调度，提供按量计费的动态训推服务，具备可视化统一门户，弹性跨域容错，实现精细化的自服务运营体系。

“面对企业AI应用三大趋势，企业需要在模型层，紧跟开源模型趋势，从模型筛选做起，传统AI与生成式AI并行；在运营层，降低每个人使用AI的门槛，应用蕴含在一线场景之中；在算力层，长期关注算力供应问题，国产GPU能力储备。” 王为表示，“ZStack AIOS平台智塔可以同时从算力层、模型层、运营层协助金融企业以AI为核心进行重塑，加速金融服务的创新和变革。”

此外，新一代金融AI软件基础设施ZStack AIOS平台智塔在此次峰会上还获得金融优秀解决方案领袖奖。