网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2024 | GaussianMarker:基于不确定性的3D高斯泼溅模型版权保护

0
分享至

3D Gaussian Splatting(3DGS)已成为获取3D资产的重要方法,但其版权保护问题依旧面临挑战。由于3DGS模型使用显式的3D高斯结构,当前基于深度学习的3D水印技术依赖于隐式的神经网络表征从而无法直接应用于3DGS模型。直接在3DGS模型上嵌入水印可能会导致渲染图像的显著失真。

为了解决这一问题,我们提出了一种基于不确定性估计的水印嵌入方法,该方法可以实现在模型参数的扰动范围内控制水印的可见性。在消息解码阶段,版权信息可以在各种3D和2D干扰下从3D高斯参数和2D渲染图像中可靠提取。通过在Blender、LLFF和MipNeRF-360数据集上进行广泛实验,验证了所提方法在消息解码准确性和视图合成质量上的优越性。

论文标题: GaussianMarker: Uncertainty-Aware Copyright Protection of 3D Gaussian Splatting 论文链接: https://arxiv.org/pdf/2410.23718

一、背景与动机

我们在本文中提出的水印嵌入方法GaussianMarker,利用不确定性估计来嵌入二值化的版权消息(如图1所示)。具体来说,我们选择将具有高不确定性的3D高斯参数进行密集化处理,同时保持3DGS模型原始参数不变。然后,我们优化这些通过密集化新嵌入的高斯参数使其具备版权信息。

为了确保在3D高斯参数和渲染的2D图像中的版权信息能够可靠提取,我们设计了3D和2D解码器。即使在各种3D和2D的恶意操作的场景下, 我们的方法依旧可以鲁棒的从3DGS模型或者2D渲染图像当中提取版权信息从而保护创作者的版权。

图1:一种可以嵌入二值化信息的水印方法GaussianMarker用于保护3DGS版权
二、理论

分析为了确保嵌入消息在3D和2D域中的不可见性,我们仅对3D 高斯参数的子集嵌入所有权消息。使用3D高斯模型拟合场景时,具有高不确定性的高斯参数对外部扰动的容忍度更高,因此我们选择具有高不确定性的参数来包含版权消息。我们通过在模型后验上进行边缘化来计算模型预测分布:

对于收敛的模型,由后验方差量化的具备较大不确定性的参数可以容忍更大的扰动。然后,我们通过拉普拉斯近似估计3D高斯参数的后验不确定性。拉普拉斯近似为后验分布以高斯分布的形式提供了一个解析表达式:其均值等于最大后验概率,协方差等于观察到的费希尔信息并可以作为模型参数的不确定性。

因此,我们可以通过计算3DGS模型参数的Hessian矩阵并将其作为近似的费希尔信息。由于费希尔信息具有可加性,我们通过对训练数据集中所有不同视图的模型参数的 Hessian 矩阵求和来计算模型不确定性:

我们选择将具有高不确定性的3D高斯参数进行密集化处理,并且保持3DGS模型原始参数不变。然后,我们优化这些新嵌入的密集化高斯参数,并将其视为包含版权信息的扰动。

三、方法

我们提出的3DGS水印方法包括两个阶段:第一阶段是训练3DGS模型并获得预训练的2D消息解码器;第二阶段则是应用提出的不确定性水印嵌入方法生成高斯水印,并训练3D消息解码器以提取版权消息。3D消息解码器基于PointNet架构,提取3D高斯参数中的版权消息,而2D消息解码器则采用HiDDeN方法,从渲染的2D图像中提取消息。通过在训练过程中引入3D和2D扭曲层,增强了对各种恶意操作的鲁棒性。我们提出的GaussianMarker水印方法的整体示意图如图2所示:

图2:基于不确定性评估的3DGS水印方法GaussianMarker框架示意图
四、主要实验结果

在实验部分,我们在本文中使用Blender、LLFF和Mip-NeRF-360数据集进行评估。我们首先可视化了GaussianMarker在2D和3D领域的不可见性,如图3所示:

图3: GaussianMarker的可视化结果

通过对比不同基线方法,评估了嵌入消息的容量、隐蔽性和鲁棒性。结果表明(如表1、表2所示),所提方法在重建质量和消息提取准确性方面表现优越,尤其在面对各种图像和3D攻击时,能够有效保持版权消息的完整性。

表1:在2D渲染图像上的重建质量以及解码成功率实验数据

表2:在3D高斯上的几何重建质量以及解码成功率实验数据
五、总结与展望

在我们的研究中,我们提出了一种新方法来保护3D模型的版权。首先,我们使用一种叫做“不确定性估计”的技术来识别哪些3D模型的部分可以安全地进行修改,而不会影响它们的外观。然后,我们在这些可以修改的部分上嵌入版权信息,就像在图片上加水印一样,但我们确保这些修改是肉眼看不见的。接下来,我们设计了两种解码器:一种用于提取3D模型中的版权信息,另一种用于从生成的2D图像中提取这些信息。通过这种方法,即使有人对3D模型进行修改,我们仍然可以从中提取出版权信息,从而保护我们的创作不被滥用。在未来的工作中,我们会继续延展我们的方法,使其应用于生成式模型当中。


来源:公众号【HKBU计算机系 】

llustration From IconScout By IconScout Store

-The End-

扫码观看!

本周上新!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(

www.techbeat.net
) 。 社区上线500+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信(yellowsubbj)投稿,沟通投稿详情;还可以关注“将门创投”公众号,后台回复“投稿”二字,获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

体坛周报
2026-11-20 09:32:18
歌手张宇病逝,年仅48岁

歌手张宇病逝,年仅48岁

91.6陕西交通广播
2026-11-20 09:48:24
武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

新京报
2026-11-19 19:45:16
美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

扶苏聊历史
2026-11-19 11:35:42
特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

极目新闻
2026-11-20 09:35:13
将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

念洲
2026-11-20 06:54:50
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
20岁男子与56岁女子缠绵后上瘾了,领证不到三个月,女子吃不消要离婚

20岁男子与56岁女子缠绵后上瘾了,领证不到三个月,女子吃不消要离婚

江山挥笔
2026-11-19 13:23:55
这个西方大国,后悔了

这个西方大国,后悔了

牛弹琴
2026-11-20 07:43:22
独家!张楠与谢欣将从字节跳动离职

独家!张楠与谢欣将从字节跳动离职

鞭牛士
2026-11-20 10:22:06
多所高校停供部分研究生宿舍,有校外主卧月租近4000元

多所高校停供部分研究生宿舍,有校外主卧月租近4000元

21世纪经济报道
2026-11-19 19:35:40
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

暖心萌阿菇凉
2026-11-20 02:31:12
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
黄仁勋卸任后 台积电本周到访英伟达!临时CEO称对方表态全力支持

黄仁勋卸任后 台积电本周到访英伟达!临时CEO称对方表态全力支持

快科技
2026-11-20 08:25:26
2004年,日本,43岁高市早苗的婚礼时刻

2004年,日本,43岁高市早苗的婚礼时刻

娱你同欢
2026-11-19 21:51:16
“抢公章”!黄仁勋动手了

“抢公章”!黄仁勋动手了

华商韬略毕亚军
2026-11-19 10:07:29
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
2026-11-20 12:08:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
时尚
房产
亲子
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版