腾讯云崔剑:云原生分布式存储的架构创新及商业价值

全球分布式云大会是分布式云技术和商业交流的旗舰级平台，2023全球分布式云大会·北京站将于6月28日-29日正式召开，本次大会以“云智筑基”为主题，探究人工智能（AI）在大模型全新的发展风口，构建新型泛在算力网络的趋势，如何利用分布式云、分布式数据库、分布式存储、边缘云等构建新型算力网络，打造更强大的数字经济价值引擎。

本次大会来自腾讯云、火山引擎、阿里云、华为云、百度智能云、蚂蚁集团等云计算数字科技服务商，以及中国电信、中国移动、中国联通三大运营商等数技术专家，从分布式云行业前瞻性发展趋势，底层云计算基础设施突破性关键技术，分享高尖精技术和实践案例，共同打造云计算领域的饕餮技术盛宴。

在06月28日下午的分布式存储论坛上，腾讯云存储产品负责人崔剑发表题为《云原生分布式存储的架构创新及商业价值》的精彩演讲。

01

腾讯云原生存储全矩阵

腾讯云存储团队经过十多年打磨与演练，基于腾讯集团的存储引擎，在底层层面构建了较为完善的存储可靠性、一致性、可用性、可扩展性等能力，腾讯集团的存储所有内部外业务全部基于腾讯的引擎向上构建。

基于腾讯存储底座可向上拓展更多产品能力与解决方案。产品能力分为多层，最底层是腾讯存储对外的核心引擎，公有存储引为腾讯云存储公有云提供核心的对外产品化能力，腾讯数据万象CI提供腾讯云对外的智能存储数据处理能力，是腾讯云存储第二大引擎。第三大引擎是TStor，是腾讯云存储对一些政府、金融、高校等私有属性行业所提供的私有化部署交付能力核心引擎。

基于CI、COS、TStor三大引擎，腾讯云存储向上拓展多种产品及解决方案，首先是数据湖、混合存储、视图计算、企业网盘、备份服务等产品级解决方案，这些解决方案会以PaaS或者SaaS的形态与客户行业走得更近，能让客户的开箱即用的使用存储服务。

基于腾讯存储产品能力再向上拓展，腾讯云存储与腾讯云若干行业共同深入至用户场景中，整合包括大数据、AI、混合云等场景，涉及运营商、金融、政府、高校互联网等行业，为各行各业客户贴合其特有的使用场景提供针对性解决方案，这就是腾讯云原生存储整体布局。

02

公有云对象存储COS——提供稳定、海量、弹性的云原生存储底座

公有云上的云原生存储解决方案需要依托于公有云上的对象存储作为云原生的底座，公有云的对象存储经过多年也发生较大的变化与创新。公有云对象存储比较经典的场景存储分发、归档备份、大数据等等，站在用户的视角基于几个环节展开对这个产品的使用。

首先是数据上传，首先需要先产生数据并上传，基于对象存储的产生和上传，腾讯云存储包装大量相关操作路径与解决方案，如UGC的上传、本地IDC离线数据存量上传，腾讯云存储分别提供类似于CDM的离线迁移设备，MSP在线跨云数据横向迁移平台等，让用户解决数据上传的问题。

数据上传后则进入数据存储环节，相当于甲方公司运维或研发层人员管理数据。首先需要做好可用性保障、选型以及做好存储产品性价比定义。腾讯云存储在多级存储部分是提供了业内种类最多的存储类别之一，基于客户业务方对自身数据冷热定义将数据在更好的时间点流转到更合适的分组类型中，同时也会做好跨地域的融载。

第三个环节是数据的处理与挖掘。处理环节也分为多种不同的细分场景，如完成一个UGC全球分发平台或基础，原始的数据上传后是无法直接使用，需经多级多环节处理，比如要将数据进行审核、质量加工、裁剪、尺寸、水印等，数据万象产品就提供全面的数据处理能力。

还有便是偏离线处理，比如需要完成离线大数据分析系统后接BI，可能需要将其用户的行为打点日志进行MPP做分析，这就依赖于腾讯云存储数据湖的解决方案，上层大数据的算力提供更好的存储数据湖的支持，将腾讯云存储高带宽低延时的性能释放。

完成数据处理后的最后环节是数据发布，要将可用的数据交予数据使用者手中，数据使用者或是遍布在全国全球的网民，或是企业内部的数据开发工程师。在这个环节，可使用数据万象实时处理能力搭配下游的部分外围系统，如数据万象图片压缩 + CDN做全球分发，最终将数据以最小的成本发布出去，这是一个比较经典的公有云对象存储使用的模型。腾讯云存储在这部分完成多年的打磨，旨在提供稳定、海量、弹性的云原生存储底座。

腾讯对象存储COS目前有标准、低频、归档、从热到冷。不久后腾讯云存储将新上一档存储——冷存储，介于低频和归档之间。冷存储还是一个在线存取，用户在GET的时候不需要进行离线的分钟级或者小时级的等待，立刻就能取回数据，匹配多种在线系统实时取回的诉求，同时其成本又比标本和低频下降了很多百分点。

同时还要在此提及深度归档，这是腾讯存储最冷的一级。深度归档在云上创新性地使用了部分非HDD的磁盘介质的新型介质，比如磁带蓝光等，通过新型介质的上云实现云存储极冷存储的更低成本下降，其成本相较于基于磁盘搭建的存储会下降50%以上。

基于这么多集的存储会给用户侧的运维工程师带来难题，不同冷热的数据应该放在什么样的存储类型里面去，可能概念描述起来非常便于理解，热数据放在标准，冷数据放在归档。但实际上定义数据的冷热是一个难题，若非极有经验的运维工程师可能基于对业务系统的了解，能非常清楚的将数据合理地放在对应存储类型中，但如果数据系统较为复杂，或者运维工程师相对经验还没有那么丰富，这其中就会存在运维难题。

围绕该痛点腾讯云存储提供一系列解决方案，一是智能分层存储，腾讯云存储提供智能分层存储概念，即傻瓜化的将部分底层逻辑进行包装，用户只需要将手中偏热的数据直接扔至智能分层存储类型中，系统会基于对用户使用模型的定义和判断绘制出用户画像，推测用户后续会基于什么样的频次读写。如果系统捕捉发现这个数据较长时间没有被访问，系统会自动帮助用户把数据沉降到偏冷的低频层去，帮助用户节省成本。

当数据降到低频后，又突然在一段时间中产生比较多的访问请求，系统将自动化为该数据热度提升至高频层，便于用户拿到更好的延时和更好的性能表现。基于这样的产品形态，运维工程师可大大减少工作难度。

另外一个则是智能存储类型的分析能力，首先用户筛选范围，确认哪个桶哪个数据需要完成分析。确定范围后，腾讯云存储将在底层构建一个更大模型的判断，然后基于用户一条条访问日志的原始日志进行分析，从而给出用户更直截了当的结果，推荐用户这个数据应该存到哪里，对于用户来讲是更好的选择。

基于这样的产品能力，腾讯云存储在提供丰富存储类型的同时，又提供较为完善的智能化推荐体系，以便于帮助用户享受更低的成本和更加轻的运维的能力。

腾讯云是智能存储概念最早提出者之一。用户会产生海量数据存到对象存储中，随着数据积累越多，用户每天产生存储的消费也随之越高，腾讯云致力于助力客户业务降本增效，在降低成本的同时挖掘、提取数据价值。

03

数据万象CI——云原生智能存储底座，为业务智能化赋能

腾讯云存储提供一套相关的智能存储解决方案，这套产品体系叫做数据万象（CI）。数据万象 CI 是专注于数据处理的一站式智能平台，针对用户普遍的需要面对多个服务的场景，提供图片处理、媒体处理、 内容审核、内容 AI 识别、文档服务等全品类多媒体数据的处理能力。同时与对象存储 COS 深度集成，提供开箱即用的数据处理及 AI 智能化处理能力，降低用户使用成本， 提升用户体验，帮助用户挖掘数据价值，是降本增效的利器。

数据万象 CI 是国内首家提供AVIF图片压缩的云厂商（相比JPEG、WebP等格式缩小50%+）；同时是目前处理能力最丰富的存储+处理平台。

数据万象 CI 有三大特点，分别是1站式、0流量、快30%。

1站式：一套API，开箱即用，降低使用门槛；

0流量：服务间调用零外网流量，用户成本低；

快30%：图片处理速度比竞品速度平均快30%。

基于这三大产品特点，腾讯云存储在工程层面又提供工作流的能力，让用户通过拖拽式的工作流搭建，形成直接拖拽式的自然生成，系统会基于用户的输入进行串型或者并行的处理的能力，通过工作流的方式自动触发，帮助用户进一步的减轻运维的难度。此外，腾讯云存储也同步挖掘向上解决方案。比如内容生产、手机相册聚类、智能搜索等都可以智能存储数据万象CI为内核、引擎快速搭建。

04

腾讯云视图计算平台——提供端到端的云原生视频监控存储解决方案

有别于传统视频监控建设系统，视图计算平台有如下几个特点

1. 提供多样化的上云方式，如标准协议直连、私有协议加密上云、边缘端网关级连等，可以解决用户跨地域、多厂商、多协议终端设备统一纳管问题，帮助用户实现设备更快捷上云。

2. 支持数据直存客户自有COS存储桶和数据分层存储，解决客户数据上云合规要求，降低客户成本投入

3. “接入+存储+分析”全链路服务，同时提供基础视频SaaS+AI算法应用，让客户切实感受到一站式的视频闭环体验

这也是腾讯云云原生的存储团队打磨带来的一些特殊价值，同时产品与对象存储COS、智能存储CI打通，提供高性价比的视图智能化管理能力；正在与泛互联网、零售、制造业、运营商等产业生态打通，提供更多场景化方案。

05

数据湖存储GooseFS——云原生数据湖存储新形态，多级加速体系助力业务释放效能

数据湖分为计算和存储，在数据湖存储这个方向还缺少相对比较统一的标准。

GooseFS面向数据湖多种业务场景，根据Dataset大小、性能需求，GooseFS提供包括MEM、NVME SSD等多种缓存加速方案。GooseFS提供TB级吞吐、百万级IOPS；全量数据持久化在COS上，提供海量低成本存储，支持数据全生命周期管理；利用计算节点本地剩余内存和磁盘碎片资源整合成高性能缓存；大数据（搜索类）、AI训练、模型训练、自动驾驶四大生态，对存储有高带宽，低延迟，小io读取性能要求。

06

腾讯云企业网盘——提升企业办公效率，助力数据创造业务价值

云原生的企业网盘系统是SaaS化的产品形态，开箱即用，用户以客户端访问或者浏览器登陆的方式进行文件与人之间进行交互，但B端网盘与C端网盘的区别较大。C端网盘主要解决个人的照片、视频、电话本的一些备份或者长期存储的诉求，而企业网盘解决的是企业员工、老板、客户之间进行素材的存储和分发的需求。

腾讯云企业网盘与腾讯会议、腾讯电子签、腾讯云桌面等产品打通，共同形成腾讯云企业办公场景的全家桶，同时结合数据万象中OCR、以图搜图、标签搜索及聚类等能力提供AI智能化办公体验，通过文档协同编辑、数据高效分发共享、一键化企业知识库等能力构建智能化办公体系、提升企业办公效率。

腾讯云企业网盘满足基础文件操作，包括提供各类云端文件操作能力、对齐Windows本地操作体验；同时提供协同办公能力，支持多人协同编辑、数据高效多分发共享等功能、提升协同效率；此外还支持移动办公，支持各类移动终端随时随地访问；还可灵活部署，支持公有云、私有云等多种部署模式。

云原生存储使用场景——构建在云原生存储上的AIGC训练及推理平台

AIGC是近期较为火爆的话题，随着2023年年底北美的Chat GPT新起与成熟，大模型浪潮也蔓延至国内。AIGC是典型的Data lake + AI 应用场景，数据需要统一存储，并同时对接多个处理平台，数据自由在多个平台之间流动。

其中，训练场景存储有数据湖统一存储、数据在业务间自由流动及高吞吐低时延等三大诉求；而推理场景中有内容审核与内容智理两大核心诉求。

其中内容审核是相当重要的工作，腾讯云存储围绕推理环节推理产物的合规性方面做了很多的文章。在用户推理环节中，用户提出一个问题，然后这个问题与大脑产出推理产物后，产物一定要先去送到云上数据审核引擎中，经过多个纬度执行度的判别，认为该产物是合理的，且没有什么问题的素材后，才能最终反馈给用户。

腾讯云存储的优势在于：1.便捷的接入，提供一体化的存储内容安全方案，增量数据的一键开启审核，极低的开发成本；2.精准的模型，针对AIGC场景审核策略的专项调优与底层模型的定制开发；3.更高的性能，根据存储数据智能地调度处理集群，近存储侧的处理能力提供更优的数据传输时延与更低的成本。

07

基于云原生技术搭建的自动驾驶采集、训练、仿真平台

近两年来，国内在自动驾驶的领域发展较快，尤其在AI领域里，这也是中国相比国外更有一些局部优势的细分赛道。基于这个场景，腾讯云与诸多车厂或自动驾驶解决方案的承包商有较多合作，提供全站式的房屋，这个服务存储在这之中扮演很重要的角色。腾讯云提供自动驾驶数据采集、存储、标注、计算、算法训练、仿真和评测及基于数据回传的算法迭代等全流程服务。