征询东说念主员冷漠首个不错渲染高动态领域（High Dynamic Range, HDR）当然光的 3DGaussian Splatting 模子 HDR-GS，以用于新视角合成（Novel View Synthesis, NVS）。

该情势不错阐述用户输入的曝光技巧来窜改渲染场景的光照强度，同期还不错胜利渲染高动态领域场景。比刻下最佳的算法 HDR-NeRF 速率上要快 1000 倍。

常见的 RGB 图像无数为低动态领域（Low Dynamic Range, LDR），亮度的取值领域在 [0,255] 之间。

相干词东说念主眼对亮度的感知领域要比 RGB 图像广宽得多，一般为 [0,+∞]，导致 LDR 图像很难响应信得过场景的亮度领域，使得一些较暗或者较亮的区域的细节难以被捕捉，高动态领域（High Dynamic Range，HDR）图像应时而生，具有更广的亮度领域。

新视角合成（Novel View Synthesis，NVS）任务是在给定「一个场景的几张不同视角图像，况且相机位置已知」的情况下，合成其他新视角的场景图像。

同比于 LDR NVS，HDR NVS 能更好地拟合东说念主类视觉，拿获更多的场景细节，渲染更高质地、视觉后果更好的图片，在自动驾驶、图像剪辑、数字东说念主等方面有着相配平素的运用。

刻下主流的 HDR NVS 情势主要基于神经发射场（Neural Radiance Fields, NeRF），相干词，NeRF 的 ray tracing 加 volume rendering 机制齐相配耗时，时常需要相配密集地网罗射线，然后在每一条射线上网罗多个 3D 点，对每一个 3D 点过一遍 MLP 来筹画体密度和神采，严重拖慢了考验技巧和推理速率。刻下最佳的 NeRF 算法 HDR-NeRF 需要消费 9 小时来考验一个场景，8.2 秒来渲染一张尺寸为 400x400 的图像。

为了管理上述问题，清华大学、上海交通大学、香港科技大学、约翰霍普金斯大学的征询东说念主员冷漠了首个基于 3DGS 的情势 HDR-GS，用于三维 HDR 成像；策画了一种有着双动态领域的三维高斯点云模子，同期搭配两条平行的光栅化处理管线以用于渲染 HDR 图像和光照强度可控的 LDR 图像。

论文畅达：https://arxiv.org/ abs / 2405.15125

代码畅达：https://github.com/ caiyuanhao1998 / HDR-GSgithub.com/ caiyuanhao1998 / HDR-GS

Youtube 视频西宾：https://www.youtube.com/ watch?v=wtU7Kcwe7ck

征询东说念主员还重新修订了一个 HDR 多视角图像数据集，筹画取得的相机参数和运行化点云好像撑捏 3DGS 类算法的征询。HDR-GS 算法在跳跃刻下最佳情势 1.91 dB PSNR 的同期仅使用 6.3% 的考验技巧并已毕了 1000 倍的渲染速率。

图 1 HDR-GS 与 HDR-NeRF 各项性能对比图

一大波演示如下：

对比近期出现的 3D Gaussian Splatting（3DGS），诚然能在保证图像质地的同期也大幅升迁了考验和渲染速率，但却很难胜利运用到 HDR NVS 上，仍然存在三个主要问题：

1. 渲染的图片的动态领域依旧是 [0,255]，仍旧属于 LDR；

2. 胜利使用不同光照的图片来考验 3DGS 容易导致模子不不息，因为 3DGS 的球谐函数（Spherical Harmonics，SH）无法合乎光照的变化，时常会导致伪影、费解、神采畸变等问题；

3. 通例的 3DGS 无法窜改渲染场景的亮度，极大戒指了运用场景，尤其是在 AR / VR、电影、游戏等规模，经常需要窜改光照条目来响应东说念主物的心理与环境氛围。

图 2 通例 3DGS 对比 HDR-GS

情势架构

图 3 HDR-GS 的举座算法过程

征询东说念主员最初使用 Structure-from-Motion（SfM 算法来重新修订场景的相机参数并运行化高斯点云，然后将数据喂入到双动态领域（Dual Dynamic Range，DDR）的高斯点云模子来同期拟合 HDR 和 LDR 神采，使用 SH 来胜利拟合 HDR 神采。

再使用三个寥落的 MLP 来别离对 RGB 三通说念作念 tone-mapping 操作，阐述用户输入的曝光技巧将 HDR 神采转为 LDR 神采，然后将 3D 点的 LDR 和 HDR 神采喂入到平行光栅化（Parallel Differentiable Rasterization, PDR）处理管线来渲染出 HDR 和 LDR 图像。

现实遣散

定量遣散

表 1 合成现实对比遣散

表 2 信得过现实对比遣散

合成现实和信得过现实的定量对比遣散别离如表 1 和表 2 所示，HDR-GS 在性能上显赫跳跃之前情势的同期，考验和推理也别离达到了 16 倍速和 1000 倍速。

视觉遣散

图 4 合成场景的 LDR NVS 视觉对比图 5 信得过场景的 LDR NVS 视觉对比图 6 HDR NVS 视觉对比

LDR NVS 的视觉对比遣散如图 4 和图 5 所示，HDR NVS 的视觉对比遣散如图 6 所示。HDR-GS 好像渲染出更丰富更明晰的图像细节，更好地拿获 HDR 场景并能无邪地窜改 LDR 场景的光照强度。

参考辛苦：

https://arxiv.org/abs/2405.15125

告白声明：文内含有的对外跳转畅达（包括不限于超畅达、二维码、口令等面容），用于传递更多信息，从简甄选技巧开云体育，遣散仅供参考，IT之家悉数著作均包含本声明。

　　声明：新浪网独家稿件，未经授权隔断转载。 -->