网易首页 > 网易号 > 正文 申请入驻

业界最大数据湖0故障迁上阿里云!数据量达500PB

0
分享至

快科技11月6日消息,今天阿里云宣布,小红书技术团队近日完成了一项业界前所未有的壮举,将业界最大数据湖0故障迁移至阿里云。

作为中国头部互联网公司之一,小红书月活用户已超过3亿,其数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。

随着业务的高速增长,小红书对在线处理数据的需求不断增加,同时离线处理所积累的历史问题也提高了切换的难度。

2023年11月,小红书共有1500人参与迁云项目——计划一年内,把小红书的数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。

2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。

在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。

在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。

2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
董洁在雪地直播卖羊绒大衣 全程没吼没催 只轻声讲设计 两小时卖8亿

董洁在雪地直播卖羊绒大衣 全程没吼没催 只轻声讲设计 两小时卖8亿

老吴教育课堂
2026-01-22 00:43:43
全场起立!加拿大总理达沃斯现场炮轰美国:收起你的霸权行径!

全场起立!加拿大总理达沃斯现场炮轰美国:收起你的霸权行径!

知法而形
2026-01-22 10:18:06
法媒:历史天平再次向中国倾斜

法媒:历史天平再次向中国倾斜

参考消息
2026-01-21 14:13:48
梁洛施不再隐瞒!坦言与李泽楷分手原因,事实证明,我们都被骗了

梁洛施不再隐瞒!坦言与李泽楷分手原因,事实证明,我们都被骗了

素衣读史
2026-01-22 15:21:31
喜讯!欧洲球探坐不住了!U23国足4名球员已引起关注,碾压日韩

喜讯!欧洲球探坐不住了!U23国足4名球员已引起关注,碾压日韩

削桐作琴
2026-01-22 17:13:06
嫣然医院房东身份遭深扒:疑是医美机构老板,不卖楼或想重操旧业

嫣然医院房东身份遭深扒:疑是医美机构老板,不卖楼或想重操旧业

古希腊掌管月桂的神
2026-01-21 15:21:20
全剧终!10天6板后一字跌停,封单超千万手,78万股东被“活埋”

全剧终!10天6板后一字跌停,封单超千万手,78万股东被“活埋”

财经智多星
2026-01-21 21:24:48
广东强势击败广厦,CBA最新积分榜:广东跃升至第二!

广东强势击败广厦,CBA最新积分榜:广东跃升至第二!

星Xin辰大海
2026-01-22 16:23:04
外媒评2026最丑新车:两款中国车上榜!

外媒评2026最丑新车:两款中国车上榜!

电动知家
2026-01-20 13:39:05
谁说不打伊朗了?美军50架大运起飞,这是战前最后集结?

谁说不打伊朗了?美军50架大运起飞,这是战前最后集结?

兵国大事
2026-01-22 00:05:10
利润136亿的绩优股,一年两次分红股息率3%,股价从70元跌到24元

利润136亿的绩优股,一年两次分红股息率3%,股价从70元跌到24元

投资观
2026-01-21 07:45:03
自然资源部:坚决拥护党中央决定

自然资源部:坚决拥护党中央决定

新京报
2026-01-22 21:25:13
笑喷!俩笨贼深夜抢鞋店,回家一看傻了:偷了100只鞋,全是右脚的?!

笑喷!俩笨贼深夜抢鞋店,回家一看傻了:偷了100只鞋,全是右脚的?!

英国那些事儿
2026-01-21 23:27:41
川普称又订了超过现役的25架B-2,暗示动态:用于攻击地下核设施

川普称又订了超过现役的25架B-2,暗示动态:用于攻击地下核设施

邵旭峰域
2026-01-22 16:07:58
他就是个下棋的,却被你们当了一辈子鸡血

他就是个下棋的,却被你们当了一辈子鸡血

下岗女神
2026-01-22 17:29:32
恩里克:为什么目前巴黎不是法甲第一?因为有球队连赢了10场

恩里克:为什么目前巴黎不是法甲第一?因为有球队连赢了10场

懂球帝
2026-01-22 23:21:31
“黑白颠周媛”线下课程最高收费8万8,浮夸的“性商课”到底取悦了谁?

“黑白颠周媛”线下课程最高收费8万8,浮夸的“性商课”到底取悦了谁?

极目新闻
2026-01-22 11:34:49
特朗普在达沃斯世界经济论坛上的讲话(全文翻译)

特朗普在达沃斯世界经济论坛上的讲话(全文翻译)

IPP评论
2026-01-22 13:33:36
越共第十四届中央委员会委员名单公布

越共第十四届中央委员会委员名单公布

澎湃新闻
2026-01-22 21:03:06
卧槽!开拓者后悔了,杨瀚森...

卧槽!开拓者后悔了,杨瀚森...

体育新角度
2026-01-22 16:23:02
2026-01-23 00:12:49
快科技 incentive-icons
快科技
一起关注每日科技热点
103798文章数 259936关注度
往期回顾 全部

科技要闻

几千亿只是开胃菜,AI基建还得再砸几万亿

头条要闻

猝死程序员底薪3千24小时待命 公司前三季度营收180亿

头条要闻

猝死程序员底薪3千24小时待命 公司前三季度营收180亿

体育要闻

跑个步而已,他们在燃什么?

娱乐要闻

车银优赚800亿 涉嫌逃税200亿!

财经要闻

西贝拿到“救命钱”,然后呢

汽车要闻

配备多块娱乐屏 极氪8X内饰曝光

态度原创

旅游
教育
时尚
健康
军事航空

旅游要闻

当“魔法世界”遇见大湾区:一次文旅投资的双向探索

教育要闻

32岁程序员倒在客厅:请告诉孩子,这3条底线比考满分重要!

这些才是最日常的冬季穿搭!不露腿、不扮嫩,简约舒适又保暖

打工人年终总结!健康通关=赢麻了

军事要闻

普京:愿意向"和平委员会"提供10亿美元

无障碍浏览 进入关怀版