新加坡和中国之间的一项新研究合作提出了一种攻击流行合成方法3D Gaussian Splatting（3DGS）的方法。
新的攻击方法使用精心设计的源数据来超载目标系统的可用 GPU 内存，并使训练时间过长，从而可能导致目标服务器瘫痪，相当于拒绝服务 (DOS) 攻击。来源：https://arxiv.org/pdf/2410.08190
此次攻击使用了非常复杂的训练图像，它们可能会压倒允许用户创建 3DGS 表示的在线服务。
3DGS 的自适应特性促进了这种方法的发展，它旨在添加源图像所需的尽可能多的表现细节，以实现逼真的渲染。该方法利用精心设计的图像复杂性（纹理）和形状（几何）。
攻击系统“poison-splat”由代理模型辅助，该模型估计并迭代源图像的潜力，以向模型添加复杂性和高斯 Splat 实例，直到主机系统不堪重负。
该论文声称， LumaAI、KIRI、Spline和Polycam等在线平台越来越多地提供 3DGS 即服务，而名为Poison-Splat的新攻击方法有可能将 3DGS 算法推向此类领域“最差的计算复杂度”，甚至有助于发起拒绝服务 (DOS) 攻击。
研究人员表示，3DGS 可能比其他在线神经训练服务更容易受到攻击。传统的机器学习训练程序在开始时设置参数，然后在恒定且相对一致的资源使用和功耗水平下运行。如果没有 Gaussian Splat 分配 splat 实例所需的“弹性”，此类服务很难以同样的方式定位。
此外，作者指出，服务提供商无法通过限制模型的复杂性或密度来防御这种攻击，因为这会削弱正常使用下服务的有效性。
从新的工作中，我们发现限制分配的高斯 Splats 数量的主机系统无法正常运行，因为这些参数的弹性是 3DGS 的基本特征。
论文指出：
“在这些防御性约束下训练的[3DGS]模型与不受约束训练的模型相比表现差得多，特别是在细节重建方面。质量下降的原因是3DGS无法自动区分必要的精细细节和中毒纹理。
“单纯地限制高斯函数的数量将直接导致模型无法准确重建 3D 场景，这违背了服务提供商的主要目标。这项研究表明，更复杂的防御策略对于保护系统和在我们的攻击下保持 3D 重建的质量都是必要的。”
测试表明，该攻击在松散的白盒场景（攻击者了解受害者的资源）和黑盒方法（攻击者不了解此类知识）中均被证明是有效的。
作者认为他们的工作代表了针对 3DGS 的第一个攻击方法，并警告说神经合成安全研究领域对这种方法尚未做好准备。
这篇新论文的标题为《Poison-splat：对 3D 高斯溅射的计算成本攻击》，由新加坡国立大学和北京 Skywork AI 的五位作者撰写。
方法
作者分析了在 3DGS 管道下分配给模型的高斯 Splats（本质上是三维椭球“像素”）的数量对训练和渲染模型的计算成本的影响程度。
作者的研究揭示了分配的高斯数量与训练时间成本以及 GPU 内存使用量之间的明显相关性。
上图最右边的图清楚地表明了图像清晰度与分配的高斯数量之间的关系。图像越清晰，渲染 3DGS 模型所需的细节就越多。
论文指出*：
“我们发现，3DGS 倾向于为结构更复杂、纹理更不光滑的物体分配更多的高斯分布，这可以通过总变异分数（一种评估图像清晰度的指标）来量化。直观地说，3D 物体的表面越不光滑，模型就需要越多的高斯分布来从其 2D 图像投影中恢复所有细节。
“因此，非平滑性可以很好地描述[高斯]的复杂性”
然而，单纯地锐化图像将会严重影响 3DGS 模型的语义完整性，以至于在早期阶段攻击就会很明显。
有效地毒害数据需要更复杂的方法。作者采用了代理模型方法，其中攻击图像在攻击者开发和控制的离线 3DGS 模型中进行优化。
在左侧，我们看到一张图表，表示 MIP-NeRF360“房间”数据集上的计算时间和 GPU 内存占用的总体成本，展示了本机性能、简单扰动和代理驱动的数据。在右侧，我们看到对源图像（红色）的简单扰动在过程的早期就导致了灾难性的结果。相比之下，我们看到代理引导的源图像保持了一种更隐蔽和累积的攻击方法。
作者指出：
“很明显，代理模型可以从二维图像的不平滑性出发，开发出高度复杂的三维形状。
“因此，这种过度密集的代理模型投影产生的中毒数据会产生更多的中毒数据，从而诱导更多的高斯分布来拟合这些中毒数据。”
该攻击系统受到 2013 年 Google/Facebook与各所大学合作的限制，因此扰动保持在设计范围内，以允许系统造成损害而不影响 3DGS 图像的重新创建，这将是入侵的早期信号。
数据和测试
研究人员针对三个数据集测试了toxic-splat：NeRF-Synthetic；Mip-NeRF360；和Tanks-and-Temples。
他们使用3DGS 的官方实现作为受害者环境。对于黑盒方法，他们使用了Scaffold-GS框架。
测试在 NVIDIA A800-SXM4-80G GPU 上进行。
对于指标，产生的高斯条纹数量是主要指标，因为目的是制作旨在最大化和超越源数据的合理推理的源图像。目标受害者系统的渲染速度也被考虑在内。
初步测试结果如下：
三个数据集的测试攻击的完整结果。作者观察到，他们重点介绍了成功消耗超过 24GB 内存的攻击。请参阅源论文以获得更好的解决方案。
针对这些结果，作者评论道：
“[我们的] Poison-splat 攻击展示了在多个数据集上制造巨大额外计算负担的能力。即使在 [受限] 攻击中扰动被限制在很小的范围内，峰值 GPU 内存也可以增加到 2 倍以上，使整体最大 GPU 占用率高于 24 GB。
[在]现实世界中，这可能意味着我们的攻击可能需要比普通 GPU 站所能提供的更多可分配资源，例如 RTX 3090、RTX 4090 和 A5000。此外，攻击不仅显著增加了内存使用量，而且还大大降低了训练速度。
“这一特性将进一步加强攻击，因为压倒性的 GPU 占用将持续比正常训练所需的时间更长，从而使得整体计算能力的损失更高。”
代理模型在受限和不受约束的攻击场景中的进展。
针对 Scaffold-GS（黑盒模型）的测试如下所示。作者表示，这些结果表明，poison-splat 可以很好地推广到这种不同的架构（即参考实现）。
对 NeRF-Synthetic 和 MIP-NeRF360 数据集的黑盒攻击的测试结果。
作者指出，很少有研究关注这种针对推理过程的资源攻击。2020 年的论文《神经网络的能量延迟攻击》能够识别触发过度神经元激活的数据示例，从而导致能量消耗严重和延迟严重。
后续研究进一步研究了推理时间攻击，例如自适应多出口神经网络推理的减速攻击、迈向效率后门注入，以及针对语言模型和视觉语言模型 (VLM) 的NICGSlowDown和Verbose Images。
结论
研究人员开发的 Poison-splat 攻击利用了高斯溅射 (Gaussian Splatting) 的一个根本漏洞——它根据给定的训练材料分配高斯的复杂性和密度。
2024 年的论文《F-3DGS：3D高斯溅射的因式分解坐标和表示》已经观察到，高斯溅射的任意分配溅射是一种低效的方法，并且经常会产生冗余实例：
“[这种]低效率源于 3DGS 固有的无法利用结构模式或冗余。我们观察到，即使用于表示简单的几何结构（例如平面），3DGS 也会产生不必要的大量高斯分布。
“此外，附近的高斯有时会表现出相似的属性，这表明通过消除冗余表示可以提高效率。”
由于限制高斯生成会破坏非攻击场景中的再现质量，因此越来越多根据用户上传的数据提供 3DGS 的在线提供商可能需要研究源图像的特征，以确定表明恶意的签名。’
无论如何，新研究的作者得出结论，面对他们所制定的攻击类型，在线服务将需要更复杂的防御方法。
原创文章，作者：AI评测师，如若转载，请注明出处：https://www.dian8dian.com/zhen-dui-3d-gao-si-jian-she-di-tou-du-gong-ji
