2024爱分析·大模型安全流通平台市场厂商评估报告：揽睿星舟

01

研究范围定义

研究范围：

大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的模型。2023年以来，ChatGPT引爆全球大模型市场。国内众多大模型先后公测，众多互联网领军者投身大模型事业，使得大模型市场进入“百团大战”阶段，2023年成为公认的“大模型元年”。

企业用户方面，大模型的应用速度之快超乎想象。2023年初，企业管理层对大模型的话题还停留在大模型是什么，是不是概念炒作。短短半年，大模型已经从饭后谈资走向落地应用。大企业管理层们希望了解到大模型能为企业发展带来哪些变革，大模型的应用路径是什么，如何提升大模型的投资回报率，以及应该为拥抱大模型做哪些准备。而且，大模型吸引的人群也愈发广泛，不仅吸引CIO、CTO等技术管理者的关注，CEO、CMO等非技术类管理者同样期待大模型在业务中发挥价值。这些转变表明，大模型的变革之力正日益得到产业界的认可。

通过对市场规模数据的分析，能较为直观地体现出企业对大模型应用落地的热情。爱分析数据显示，2023年中国大模型市场规模约为50亿元（人民币，下同）。2023年，企业在大模型方面的采购特点是论证多、采购少，各企业计划在2024年开始大量释放大模型预算，因此市场规模将大幅增长，预计达到120亿元。

爱分析认为，大模型市场从技术架构角度可以划分为基础层、模型层、中间层和应用层。基础层是指为大模型训练推理而提供的基础环境，包括湖仓一体、向量数据库、智算中心、大模型安全流通平台等。模型层是指基础大模型以及微调后的大模型，包括通用大模型、行业大模型、领域大模型和企业大模型。中间层是模型层和应用层之间的“桥梁”，有利于大模型在各种实际场景快速落地，包括大模型应用开发工具、LLMOps工具等。应用层是指大模型应用和解决方案，包括知识库问答、智能客服、数据分析等。大模型市场划分详见下图。

本评估报告聚焦大模型安全流通平台市场，爱分析遴选出具备成熟解决方案和成功案例的厂商，供企业做厂商选型时提供参考。同时，在该市场下，爱分析重点选取了大模型安全流通平台厂商揽睿星舟进行能力评估。

02

大模型安全流通平台市场分析

市场定义：

大模型安全流通平台是指覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护，为大模型生态的多方参与者提供利益分配支持的平台。

甲方终端用户：

企业大数据部门和业务部门、大模型厂商、大模型应用厂商。

甲方核心需求：

企业对大模型安全流通平台的需求体现在全流程安全、利益分类支持和价值体系三个方面。一是企业需要大模型安全流通平台覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护。二是企业需要大模型安全流通平台为利益分配提供支持。三是企业需要阐明大模型流通平台价值，促进大模型生态各方达成合作。

• 企业需要大模型安全流通平台覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护。大模型训练及应用全流程可大致分为数据治理、预训练、微调、应用四个环节，每个环节均有安全需求。全流程安全是大模型及其要素高效流通的必要条件之一。

图1：大模型开发及应用全流程

大模型开发及应用全流程主要涉及企业大数据部门、大模型厂商、大模型应用厂商、企业业务部门等四类参与主体。它们在合作过程中需要解决信任及隐私安全保护问题。企业大数据部门面临数据被使用过程中的各类不安全因素。大模型厂商面临基础模型产权被窃取风险，特别是对于初创企业而言，大模型是公司的核心资产。大模型应用厂商面临数据可触达性以及调优成果遗失风险。企业业务部门关系核心业务数据的泄漏风险。

• 企业需要大模型安全流通平台为利益分配提供支持。大模型开发及应用过程中常面临利益分配困境，主要在于难以衡量各方贡献率。如果有合理的利益分配机制，大模型生态的各参与方能够达成更加高效且安全地协作，加快推动大模型的技术进步和产业落地。大模型安全流通平台的使命在于加快大模型及其要素的流通，因此被企业寄予厚望，希望提供相关的模块或功能。

• 企业需要阐明大模型流通平台价值，促进大模型生态各方达成合作。大模型“出圈”效应显著，许多企业高管表达出对大模型及其应用的浓厚兴趣。但从实际立项情况来看，大模型项目立项并不顺利。主要原因在于CEO等企业一把手希望看到大模型的业务价值，而较多IT负责人难以表达清楚。具体到大模型安全流通平台项目，立项则更为困难。一是该市场刚刚兴起，市场教育欠缺，推动立项的解释成本比较高。二是大模型安全流通平台项目需要多方协作，IT负责人不仅需要说服企业内部管理者，还需要说服企业外部的合作伙伴，难度倍增。

厂商能力要求：

企业基于对大模型安全流通平台的需求，向厂商提出多项能力要求。一是大模型安全流通平台需要提供有大模型时代特色的保护能力。二是大模型安全流通平台需要以不可篡改方式统计并存储资产授权记录与推理服务的调用量。三是厂商需要建立大模型安全流通平台的价值体系。

• 大模型安全流通平台需要提供有大模型时代特色的保护能力。大模型时代不同于传统AI时代，企业在安全防护方面提出新要求。传统AI模型参数量偏小，部署过程中较少考虑集群化加密模式。而大模型参数量显著提升，训练推理过程中需要强大的算力基础。因此，多台服务器联合工作成为常态。如果仍按照传统方式进行加密，容易产生安全风险。例如攻击者在一个集群中加入了一个假攻击节点，将难以被发现。

  另外，对于AI企业而言，常会使用代码混淆方式来加密模型，但模型在运行过程中仍会透露信息。不仅如此，AI企业往往只注重硬盘加密，忽略内存加密，但内存中的数据也有被窃取的风险。

• 大模型安全流通平台需要以不可篡改方式统计并存储资产授权记录与推理服务的调用量。大模型安全流通平台尚不具备直接提供支持利益分配的完整模块或功能，以不可篡改方式统计并存储资产授权记录与推理服务的调用量是当前可以实现的一种解决方案，可以为利益分配提供部分支持。大模型生态各参与方可基于资产授权记录与推理服务的调用量，结合资源重要性、稀缺性等其他共识，实现商业收益的公平分配。

• 厂商需要建立大模型安全流通平台的价值体系。对于企业大数据部门而言，核心价值在于保护数据安全；对于大模型厂商而言，则是保护模型安全；对于大模型应用厂商而言，则是保护调优成果；对于企业业务部门而言，则是防止业务数据泄露。大模型安全流通平台厂商需要建立上述核心价值与客户企业战略目标之间的关联性，构建价值体系，促进立项。

入选标准：

1. 符合大模型安全流通平台市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

03

厂商评估：揽睿星舟

公司介绍：

揽睿星舟（Lanrui-ai）是人工智能企业翼方健数“数据和计算互联网”中的AI可信计算节点，专注于大模型时代的AI算力、算法与数据的安全可信流通。服务包括：以机密可信计算环境“星舟·密方”为产品主体的揽睿大模型流通解决方案、提供高附加值的推理服务“星舟·推理”的揽睿大模型应用开发平台等。

产品服务介绍：

面向大模型领域，揽睿星舟推出“揽睿大模型应用开发平台”与“揽睿大模型流通解决方案”， 旨在为大模型应用开发与落地实践提供安全可信的基础设施。

“揽睿大模型应用开发平台”提供一站式大模型应用开发方法、算力和环境支持，为AI应用开发者提供简便、高效、灵活的AI Serverless工具，平台内置“星舟·标准推理服务”与“星舟·自助推理服务”，支持按照调用量或使用时间计费。

“揽睿大模型流通解决方案”以机密可信计算集群“星舟·密方”为核心，结合算力调度、算法编排等技术及开箱即用的AI工具为AI应用落地提供全流程安全保护。平台内所构建的“机密可信”算力专区，让用户能够一键完成机密可信工作空间的搭建，所有运行在内存的数据都经过CPU硬件模块加密处理，工作空间的存储数据默认由“星舟·密方”内置KMS（密钥管理服务）管理的不出域密钥进行加密，即使是硬件与软件的管理员也无法进入工作空间内部或通过硬件获取用户数据。使大模型落地各类参与者在合法合规、本方资产受保护的前提下形成合作。

图2：揽睿星舟大模型系列产品架构图

厂商评估：

揽睿大模型流通解决方案主要赋能四类参与主体，包括：数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门。在能力方面，该方案支持客户一键构建安全开发环境，为大模型各参与方提供全方位的安全保护。在算力方面，相较于自建计算中心或采购大型云厂商算力，揽睿星舟可以为客户提供高性价比算力支持。此外，方案通过不可篡改的方式保留数据授权记录与模型调用记录，进而解决商业收益分配问题，加速大模型生态共建。在服务经验方面，揽睿星舟AI客户众多，拥有丰富的服务经验，深刻了解用户需求。

• 赋能大模型生态各方，为要素流通保驾护航。大模型开发及应用全流程主要涉及数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门等四类参与主体。在大模型应用落地过程中，四类参与主体通常缺一不可，合作过程中需要解决信任及隐私安全保护问题，其中包含：数据提供方面临数据被使用过程中的各类不安全因素；基础大模型开发者面临基础模型产权被窃取风险；参数调优服务方面临数据可触达性以及调优成果遗失风险；业务方面临事关核心商业竞争力的业务数据泄漏危险。揽睿大模型流通解决方案集成了多项技术能力，从机密可信计算到跨云算力调度、数据编排等，可以为各类参与主体提供模型、数据集与服务有效安全串联，实现数据和模型的保护。

图3：揽睿大模型流通解决方案示例

在解决方案的保护下，大模型生态的各类参与主体都能够在合法合规、保护本方数据、产权与权益的前提下安全、高效地协作，同时也满足用户对于模型专业化的需求，赋能大模型技术进步和产业落地。

• 提供集群运行环境的全方位可信安全保护。揽睿大模型流通解决方案的安全核心是自研的机密可信计算产品“星舟·密方”。“星舟·密方”是基于TEE和TPM硬件构建的云原生可信机密计算集群，为揽睿大模型流通解决方案提供通用、安全、高效的“零信任”计算环境。“星舟·密方”利用机密计算硬件的能力，确保整个计算环境中的任何一方，包括数据中心管理员、云平台管理员在内，都必须经授权才能够访问计算集群，或通过计算环境的基础设施进行其他类型的攻击。相较传统仅支持进程级别、虚拟机级别的安全防护方案，“星舟·密方”在提供运维及迁移便利性的基础上为用户增强了整个集群的安全性与完整性。方案所涉及的安全核心技术已获得中国信通院多项性能与专项评测。

• 提供高性价比且丰富的算力支持。在成本方面，揽睿大模型流通解决方案支持异构算力的完整、安全接入，整合闲散算力“化零为整”对外提供服务，包括但不限于标准化的弹性算力资源、开箱即用的工具和模型生态，为用户提供“按需使用、按量计费”的算力使用模式与更有竞争力的算力价格。

  除接入国际主流硬件外，揽睿星舟也在积极参与国产硬件的接入。通过与国内的硬件供应商联合测试，已积累一定成果与实践经验。“算力国产化”工作持续推进，一方面有利于揽睿大模型流通解决方案保持有竞争力的算力价格，另一方面有利于该解决方案胜任更多硬件国产化的应用场景。

• 支持一站式开箱即用的AI开发环境与工具。揽睿大模型流通解决方案为客户提供一种先进的、“无感”的异构（机密可信）计算资源服务。在系统中，用户通过一个统一且标准化的接口轻松访问所需的计算资源，无需关心背后复杂的算力调度、数据、资源配置和管理。揽睿星舟采用云原生技术，实现与用户现有软件系统的无缝对接，大大减轻了用户的运维负担。通过这种方式为用户提供了一个简洁、高效的计算资源使用体验，让他们可以专注于创新和业务发展，而不是技术的复杂性。此外，揽睿星舟致力于为用户提供一系列开箱即用的第三方资源。这一服务使用户能够轻松地使用第三方模型、插件和工具，无需经历繁琐的环境搭建和依赖适配。用户只需简单选择所需的资源，即可一键启动一个完善且全面的工作环境，从而高效地推进项目和创意。

• 解决商业收益分配问题，赋能AI生态高效协作。大模型开发及应用过程中涉及多方贡献。而大模型商业收益方面一直存在着分配难题，主要在于难以衡量各方贡献率。方案内置精准计量模块，可集成基于区块链的存证和激励系统，在确保用户数据安全的前提下以不可篡改方式统计并存储资产授权记录与推理服务的调用量。各方可基于资产授权情况，结合资源重要性、稀缺性等其他共识，实现商业收益的公平分配。

  基于合理的商业模式，大模型生态的各参与方能够达成更加高效且安全的协作，共同推动大模型的技术进步和产业落地。目前，在赋能AI应用落地的道路上，揽睿星舟已经取得一些实践成果，包括大数据局、金融机构和人工智能企业在内的多行业客户已与揽睿星舟形成合作，共同探索并推进大模型技术在实际生产场景的落地。

典型客户：

某城市大数据局、某金融机构、某智能客服企业。

04

入选证书