网易首页 > 网易号 > 正文 申请入驻

微软Fabric与Databricks完成零拷贝集成:一份数据服务两个引擎

0
分享至

过去十年,同时使用Azure Databricks和微软Fabric(或前身Synapse)的企业,几乎都逃不开一条无奈的铁律:工程团队在Databricks上做数据处理,BI团队在Fabric里建报表,两份相同的数据表、两套治理模型,外加一个无人认领的夜间导出任务。这种重复并非技术事故,而是两个平台对数据存储位置和访问权限各自为政的必然代价。

如今这个前提已经被推翻。过去一年里,微软与Databricks悄悄将底层存储统一到了OneLake,并围绕Unity Catalog建立起共享的治理协议。截至2026年中,双向互操作已经落地,关键场景下实现了零拷贝——只要架构设计得当,你只需维护一份Delta表,用Databricks写入,通过Fabric仓库或Power BI直接查询,行级和列级安全策略在两端一致生效。但设计得不好,也完全可能把老问题换个Logo重新搬回来。真正的区别在于选择正确的集成路径。

首先要澄清一个常见误区:“Fabric与Databricks集成”并非单一功能,而是至少三种数据流模式各异的机制。选错门,是当前最常见的架构失误。

第一种是镜像Azure Databricks目录,现已正式可用。Fabric通过生成OneLake快捷方式——本质是虚拟链接而非物理拷贝——读取存储在ADLS Gen2上的Unity Catalog表。整个过程没有数据移动,也不存在复制延迟。Fabric定时轮询Unity Catalog的元数据,自动反映新增表、删除或模式变更;急用时可手动刷新。关键是,镜像表在Fabric中只读,真实数据源始终驻留在Databricks一侧。当Databricks掌控写入链路、Fabric仅充当消费界面时,这就是正确入口。

第二种门是面向Unity Catalog的OneLake外部位置(2026年6月Beta阶段),它直接把存储问题翻转过来。不再是Databricks写ADLS Gen2、Fabric做快捷方式,而是创建一个映射到OneLake路径的Unity Catalog外部位置,此后所有UC资产——托管表、视图、物化视图、流表——都直接落入OneLake。OneLake变成主存储,而非镜像别处的存储。这些表依然是完整的Unity Catalog托管表,预测优化、液态聚类和UC治理全部照常生效,唯一的区别是,从写入那一刻起,唯一的物理拷贝就已位于Fabric原生的湖里。

第三种门是“发布到Fabric”(预览阶段),它更像是连接前两种模式的纽带。其设计让Databricks中的资产可以更直接地暴露为Fabric语义模型和报告可用对象,进一步降低消费侧的理解门槛。虽然细节还在完善中,但它的出现表明双方正在把互操作从底层存储向上延伸到语义层。

三种门的共同底色是:单份数据、统一治理、零拷贝不再是愿景。但落脚点各不相同——是Databricks做主、Fabric消费;还是OneLake做主、Databricks直接写入;抑或需要快速共享语义成果——架构师必须在项目早期就做出清醒选择,而不是等表已经建好再补救。因为一旦走偏,等待你的仍然是那个熟悉的双份拷贝噩梦,只是Logo换了而已。

微软与Databricks这次的靠近,与其说是技术突破,不如说是对现实的妥协与共谋。双方都意识到,企业不会为了平台便利而放弃任意一端的计算能力,也不该再被迫在数据孤岛和治理碎片之间做选择。而OneLake加Unity Catalog的组合,正把那个用过时逻辑搭建的旧墙拆掉,让写与读、工程与BI,终于可以在同一份数据上各自运转。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
仅花800万!詹姆斯空降76人,给费城带来实打实的5大核心改变!

仅花800万!詹姆斯空降76人,给费城带来实打实的5大核心改变!

越岭寻踪
2026-07-25 00:29:45
金球先生即将加盟!罗德里已同皇马达成一致,静等曼城点头

金球先生即将加盟!罗德里已同皇马达成一致,静等曼城点头

全景体育V
2026-07-25 17:57:10
中科大校领导名单引热议!部门繁多、领导扎堆,被批“大学行政化”,网友:还能专心搞学术吗?

中科大校领导名单引热议!部门繁多、领导扎堆,被批“大学行政化”,网友:还能专心搞学术吗?

谭谈社会
2026-07-25 17:57:34
王虹导师曝光!这身装扮,跟北大韦东奕有一拼

王虹导师曝光!这身装扮,跟北大韦东奕有一拼

老张侃诗词
2026-07-25 20:54:48
为什么突然大家都讨厌梅西?这是宣传上的失败罢了

为什么突然大家都讨厌梅西?这是宣传上的失败罢了

西游日记
2026-07-25 21:02:41
李嘉诚:当儿女不尊重你时,不要讲道理,不要发脾气,记住两句话就够了

李嘉诚:当儿女不尊重你时,不要讲道理,不要发脾气,记住两句话就够了

心理观察局
2026-07-25 06:21:07
世界杯结束后续!曝央视4亿买转播版权,盈利超50亿,下一届更高

世界杯结束后续!曝央视4亿买转播版权,盈利超50亿,下一届更高

侃球熊弟
2026-07-25 08:54:05
美媒晒下赛季联盟前五首发:费城无悬念第一 卫冕冠军仅列第四?

美媒晒下赛季联盟前五首发:费城无悬念第一 卫冕冠军仅列第四?

惊奇侃球
2026-07-26 02:29:59
每月凌晨5时自动扣费长达两年多,市民直呼“毫不知情”,夸克App投诉超2万条,律师解读:凌晨扣费有违诚实信用原则

每月凌晨5时自动扣费长达两年多,市民直呼“毫不知情”,夸克App投诉超2万条,律师解读:凌晨扣费有违诚实信用原则

河南交通广播1041
2026-07-25 17:16:24
被闪电击中继续飞!中国火箭有多硬核?

被闪电击中继续飞!中国火箭有多硬核?

环球网资讯
2026-07-25 16:26:04
我国宏观总债务达到458万亿元人均33万,内债真的不是债?

我国宏观总债务达到458万亿元人均33万,内债真的不是债?

火星宏观
2026-07-25 20:56:43
沙特联军空袭胡塞武装,或更多海湾国家已卷入中东战场

沙特联军空袭胡塞武装,或更多海湾国家已卷入中东战场

红星新闻
2026-07-25 15:12:48
电影《三国第一部:争洛阳》宣布撤档

电影《三国第一部:争洛阳》宣布撤档

界面新闻
2026-07-25 20:43:35
王祖贤这么缺钱吗,竟然把自己卖给了AI

王祖贤这么缺钱吗,竟然把自己卖给了AI

LULU生活家
2026-07-25 18:02:45
无缘决赛!中国女排0-3出局,让球迷认清2个事实,快沦为世界三流

无缘决赛!中国女排0-3出局,让球迷认清2个事实,快沦为世界三流

侃球熊弟
2026-07-25 20:01:12
“前所未有”!国际刑事法院成员国投票,决定罢免首席检察官卡里姆·汗

“前所未有”!国际刑事法院成员国投票,决定罢免首席检察官卡里姆·汗

环球网资讯
2026-07-25 08:59:51
随着申花0-2海港,武汉三镇1-0铜梁龙,中超积分:3队被拖入保级行列,蓉城争冠无忧

随着申花0-2海港,武汉三镇1-0铜梁龙,中超积分:3队被拖入保级行列,蓉城争冠无忧

何老师呀
2026-07-25 22:05:07
LV起诉厦门一楼盘雕花装饰侵权,官司即将开庭,全球维权多数败诉,却在中国屡次获胜

LV起诉厦门一楼盘雕花装饰侵权,官司即将开庭,全球维权多数败诉,却在中国屡次获胜

Mr王的饭后茶
2026-07-25 20:48:50
法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

落纸生花创意手工
2026-07-19 12:06:31
长鑫科技首日成交测算,可能相当于科创50一天成交额

长鑫科技首日成交测算,可能相当于科创50一天成交额

深水财经社
2026-07-25 22:41:06
2026-07-26 02:44:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
336文章数 77关注度
往期回顾 全部

科技要闻

星舰13飞全中!20颗真卫星出舱

头条要闻

河南退役军人被冒名顶岗获赔10万 5年后单位发函追讨

头条要闻

河南退役军人被冒名顶岗获赔10万 5年后单位发函追讨

体育要闻

拿过两个金球奖,却说它只值10英镑

娱乐要闻

王祖贤这么缺钱吗 竟然把自己卖给了AI

财经要闻

滥用市场支配地位 携程被罚没51.79亿元

汽车要闻

轿跑姿态+大空间/标配655km续航 奇瑞风云A9置换价10.68万起

态度原创

旅游
健康
房产
游戏
艺术

旅游要闻

划船游泸沽湖,很少有人知道,湖面之下,或许沉睡着一座远古聚落

教你三步快速识别中风

房产要闻

37人抢1套房…海棠湾资产拍卖,爆了!

117GB!《FF14》NS2版确认首月免费 8月4日上线

艺术要闻

林俊杰破例献曲,只因看了她的画!这个“狂野少女”到底什么来头?看完我头皮发麻!

无障碍浏览 进入关怀版