网易首页 > 网易号 > 正文 申请入驻

「每1亿年丢1个对象」的数据耐久性是怎样炼成的?

0
分享至

Part.

01

存储着1个B(十亿)对象的系统,每年丢失0.00000001个对象,aka「每1亿年丢1个对象」,换算成流行的指标,就是传说中的“17个9”......

话说如此极致的数据耐久性,又有什么实际意义呢?不妨先看看其实现方式:

基于昆腾专利的二维纠删码(18+3)——ASCS 3-Geo 2D EC(6+3),在RAIL(独立库冗余阵列)架构配置7套Scalar i6带库的情况下:

数据会被分散存储在21盘磁带中,但当你需要读取数据时,只需要从其中一盘磁带读取即可。

即使有3盘磁带同时损坏,或者整个磁带库(比如负责管理磁带的机械臂)出现问题,数据仍然是安全的,不会丢失。

系统仅需额外占用少量存储空间。假设你需要75PB的实际可用容量,则需准备91PB的原始存储空间。

简言之,此系统架构通过将数据分散存储在21盘磁带中,并且额外占用约20%的存储空间,来确保即使有3盘磁带损坏或整个磁带库出问题,数据仍然是安全的。同时,读取数据时只需要从一盘磁带中读取,非常高效。

实际上,昆腾方案更可匹配多样化纠删码算法,在不同的“n+m”和算法组合下,甚至可以达成“19个9”,直接将系统的的数据耐久性推向“宇宙级”标准。

谁说冷存就无需“精打细算”?试想,如果不用2D纠删,换成多副本机制呢?退而求其次,再退而求其次,即便是“9.7个9”(接近10个9)的耐久性目标——每4.6年丢一个对象,则至少需3副本“打底”。如此这般场景,又将是怎样的存储开销和管理复杂性?

很明显,真正的远非“磁带套壳”般简单粗暴。

Part.

02

当各大云(S3对象)存储供应商还在为“多副本的N”到底是几而喋喋不休,争论不止时,颠覆式的存储革命已悄然降临——昆腾用一张磁带+两行数学公式,让数据丢失概率降到「每1亿年丢1个对象」。这背后,是一场从“堆硬件”到“拼算法”的存储范式转移。

杀手锏在于将纠删码从“平面计算”升级为“立体防御”:

1. 跨磁带EC(Across-Tape):

√ 数据切片后支持分散到至多21盘磁带,允许同时坏3盘或整库故障(如机械臂宕机);

√ RAIL技术(冗余磁带库阵列)实现“库级RAID”,单库故障秒级切换。

2. 磁带内EC(Within-Tape):

√ 针对<2GB局部损坏(占读错误的90%以上),无需跨盘恢复,单盘自愈;

√ 超宽纠删码(极低的存储冗余),远低于传统EC。

同样以75PB系统为例,传统3副本需12,501盘LTO-9磁带,而昆腾方案仅需6,741盘,硬件成本直降46%,耐久性却提升75倍。这种“越省越强”的反直觉特性,正是2D纠删码的魔力:无缝达成成本与安全的“帕累托最优”。

Part.

03

唠唠叨叨一大堆,公有云的Deep Archive它不香吗?的确,当仅考虑数据“只进不出”/“只进少出”的情况下,乍一看是挺美的。

在公有云的世界里,冷存储就像一场精心设计的“冰封仪式”——S3 Glacier Deep Archive将数据沉入零下80度的数字冰川,承诺“11个9”的耐久性,代价却是数小时的解冻等待和隐藏的检索成本。

这种方式不禁让人想到北极科考队:当需要数据时,你得先破冰、架设设备,再等待漫长的运输完成。组织一旦需要批量回调数据,其成本可能会超过自建方案的N倍,至于这个N到底是几,请将以下费用纳入综合考虑:存储费、检索费、检索请求费,还有数据传输费......

“冷=慢”?传统冷存储如同冰封的档案馆,调用数据需经历“申请-寻址-解冻”的漫长流程。而昆腾的ActiveScale冷存储却像给磁带库装上“自动驾驶系统”:

⭕ 磁带库预加载机制:智能缓存高频访问数据,如同在冰川内部预置快速通道。通过智能调度,让磁带机始终处于“待命状态”,冷数据读取从小时级压缩到分钟级。

⭕ TB级连续写入:避免传统对象存储的“碎片化冻土”,提升数据块完整度,如同用集装箱而非快递小包运输货物,效率提升N倍。

⭕ 软错误自愈:90%以上的读错误在单盘内自动修复,无需触发跨库检索——这种“微创手术”式的恢复,让冷存储首次具备热存储的敏捷性。

Part.

04

真正的技术革命,从来不是做加法,而是用算法重构规则。车企用“冰箱彩电”吸引眼球,存储厂商则用“支持多副本”、“全协议兼容”堆砌参数表。但真正的技术决胜点,往往藏在“更加隐秘的角落”:

√ 算法的“有效宽度”:同样是纠删码,传统“6+3”编码需要50%+冗余,而昆腾的“18+3”仅需约20%,如同用更细密的渔网捕捉数据风险;

√ 潜在故障域的“物理隔离”:避免因单个机房遭遇不可控灾难导致数据丢失的悲剧重演;

√ 硬件的“基因融合”:物理带库+前端对象存储与2D EC的深度耦合,就像特斯拉的电池与BMS系统,组合在一起颠覆行业。

√ 混合云桥梁:通过完整的S3 API直接对接公有云热层,让冷数据在本地磁带库与云存储间智能流动,打破“本地冷-云上热”的割裂架构。

对比市面上许多冷存储(对象存储+带库)/公有云存储方案,其本质上仍是“新瓶装旧酒”:

⭕ 将对象直接打包写入磁带,检索时需整盘读取,如同把书页胶装成册——想查一句话就得搬出整本词典。

⭕ 虽优化了元数据索引,但底层仍依赖多副本+跨区复制,硬件利用率低于50%。

归根结底,企业应警惕“冰箱彩电大沙发,胡子眉毛一把抓”式的选型陷阱,从过分关注“功能清单”转向聚焦“第一性原理”。例如,通过场景化验证重点考察冷存储的单盘恢复率与批量校验周期,而非盲目追求性能。再比如,如何用最少的副本达成数据耐久性目标,拒绝参数内卷。

未来,存储的竞争将不再是比拼“谁家的盘更多”,而是“谁更懂用算法驯服数据熵”。企业存储选型也将经历从“功能清单崇拜”到“算法密度评估”的范式转移。毕竟,当数据洪流动辄以PB级甚至EB级速度膨胀时,能LLAP的不是拥有最多硬盘的玩家,而是能用一行公式替代一仓库磁带的“存储炼金术士”。

「READING」

【免费测算】您的冷存储“熵值”超标了吗?

立获《企业冷存储降本增效白皮书》+ 专属“存储熵值”诊断报告,揭秘您的数据系统:


✅ 当前存储冗余浪费比例
✅ 潜在硬件成本削减空间
✅ 算法优化后的耐久性跃升曲线

仅限前20名填写者,额外解锁《n+m纠删码选型指南》
(企业邮箱用户可追加1v1架构师咨询服务)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
官方紧急预警:深圳已连续发案多起!有人钱款秒被转走

官方紧急预警:深圳已连续发案多起!有人钱款秒被转走

椰青美食分享
2026-01-27 08:22:04
湖北一学校家长给孩子送饭,就餐区用栏杆焊接遭质疑;教育局回应

湖北一学校家长给孩子送饭,就餐区用栏杆焊接遭质疑;教育局回应

潇湘晨报
2026-01-28 21:40:18
高市早苗当众落泪!让民众不用担心中国,关键时刻,金正恩出手了

高市早苗当众落泪!让民众不用担心中国,关键时刻,金正恩出手了

时时有聊
2026-01-28 11:47:55
退休老干部频繁“联系”女幼师,聊天记录被公开,网友看上瘾了

退休老干部频繁“联系”女幼师,聊天记录被公开,网友看上瘾了

乌娱子酱
2026-01-28 16:52:21
7年前,施一公砸200亿建起西湖大学,放话5年赢过清华,如今咋样

7年前,施一公砸200亿建起西湖大学,放话5年赢过清华,如今咋样

普览
2025-12-29 19:47:50
重庆一老火锅收取晚餐辛苦费,大人20元小孩老人10元;店家回应:辛苦费是人工工资等,明码标价

重庆一老火锅收取晚餐辛苦费,大人20元小孩老人10元;店家回应:辛苦费是人工工资等,明码标价

大风新闻
2026-01-28 15:12:02
40:193,新版联合国再生变,不等普京付费加盟,中方第一个反对

40:193,新版联合国再生变,不等普京付费加盟,中方第一个反对

时时有聊
2026-01-28 19:29:16
9900万粉丝主播“太原老葛”被罚560万元,入选整治“内卷式”竞争十大重大案件,10年来多次遭封禁又复出,关联公司上月已改名

9900万粉丝主播“太原老葛”被罚560万元,入选整治“内卷式”竞争十大重大案件,10年来多次遭封禁又复出,关联公司上月已改名

极目新闻
2026-01-28 15:20:06
一瓶难求!飞天茅台价格全线上涨至1600元起,网友:半夜都在加单

一瓶难求!飞天茅台价格全线上涨至1600元起,网友:半夜都在加单

火山诗话
2026-01-28 15:31:11
这一次,哈梅内伊真的怕了!!!

这一次,哈梅内伊真的怕了!!!

山河路口
2026-01-27 12:42:53
男子回应中722万大奖被全网寻人:根本没想过我自己就是大奖得主

男子回应中722万大奖被全网寻人:根本没想过我自己就是大奖得主

潇湘晨报
2026-01-28 16:34:21
绵阳市长被查!前一天刚就副市长被查主持会议

绵阳市长被查!前一天刚就副市长被查主持会议

看看新闻Knews
2026-01-28 17:37:15
“中方警告将报复”?外交部回应

“中方警告将报复”?外交部回应

环球时报国际
2026-01-28 16:38:25
央视紧急曝光!这三类毒蔬菜全国流通,买菜切记避开三样!

央视紧急曝光!这三类毒蔬菜全国流通,买菜切记避开三样!

我不叫阿哏
2026-01-27 16:13:06
人神共愤!最新数据曝光,伊朗神权政府血债累累

人神共愤!最新数据曝光,伊朗神权政府血债累累

山间听雨
2026-01-27 20:05:08
贝克汉姆14岁女儿挎香奈儿,却也比父母节俭,“不上学”引发争议

贝克汉姆14岁女儿挎香奈儿,却也比父母节俭,“不上学”引发争议

译言
2026-01-28 08:36:25
乌克兰捐款平台收到大量来自中国的捐款

乌克兰捐款平台收到大量来自中国的捐款

老马拉车莫少装
2026-01-28 21:18:45
一场追悼会,戳穿梁小龙在香港的真实地位,原来成龙没说谎!

一场追悼会,戳穿梁小龙在香港的真实地位,原来成龙没说谎!

叨唠
2026-01-27 03:28:08
世界5大禁片,全看完的人,心理素质堪比特种兵

世界5大禁片,全看完的人,心理素质堪比特种兵

i书与房
2026-01-26 15:07:05
美国被曝对伊朗行动的准备在两周内完成

美国被曝对伊朗行动的准备在两周内完成

潇湘晨报
2026-01-28 16:13:12
2026-01-28 22:59:00
昆腾存储
昆腾存储
分层存储、归档和数据保护
224文章数 12关注度
往期回顾 全部

科技要闻

它是神也是毒!Clawdbot改名卷入千万诈骗

头条要闻

水贝知名金店出现兑付困难 未兑付的金额已超过百亿元

头条要闻

水贝知名金店出现兑付困难 未兑付的金额已超过百亿元

体育要闻

没天赋的CBA第一小前锋,秘诀只有一个字

娱乐要闻

金子涵拉黑蔡徐坤,蔡徐坤工作室回应

财经要闻

从万科退休20天后,郁亮疑似失联

汽车要闻

新手必看!冰雪路面不敢开?记住这4点 关键时刻真能保命

态度原创

艺术
房产
教育
时尚
游戏

艺术要闻

震撼!19世纪油画巨匠的作品美得不可思议!

房产要闻

实景兑现在即!绿城,在海棠湾重新定义终极旅居想象!

教育要闻

如果你被夸意志力强,反而不是什么好事...

想年前用3周“刷新”好状态?做第一点就够

星骥踏辉而来!倩女端游马年新时装藏尽国风浪漫

无障碍浏览 进入关怀版