type
status
date
slug
summary
tags
category
icon
password
URL
DiffusionLight 是一种通过生成的铬球来评估环境暴露的方法
研究人员开发了一种简单但有效的技术来估计单个输入图像中的照明。
他们使用在数十亿张标准图像上训练的扩散模型，将铬球渲染到输入图像中，充当光探针。
这种方法有多种应用，包括将虚拟对象真实地插入图像中、增强现实和虚拟现实的改进、建筑和室内设计中的真实可视化、电脑游戏中更真实的场景、摄影和电影中更精确的规划。
DiffusionLight nutzt Stable Diffusion XL
当前的光照估计技术基于用于训练神经网络的 HDR 全景数据集。然而，由于可用数据集的种类和大小有限，这些方法常常难以处理现实世界的记录。
另一方面，名为“DiffusionLight”的技术使用经过数十亿张图像预先训练的 Stable Diffusion XL 扩散模型，将铬球体渲染到输入图像中。
该方法假设 AI 模型通过训练集中曝光不足和过度曝光的图像示例间接了解了 HDR 和宽亮度范围。
但是，如果没有进一步干预，SDXL 会生成不正确或不一致的对象，并且无法轻松生成 HDR 格式的图像。
因此，研究人员使用了一种称为迭代修复的技术来找到初始扩散噪声图，然后使用该图来创建质量一致的铬球。
为了创建 HDR 色球，研究人员还生成并组合了多个具有不同曝光值的 LDR 色球，这些色球用于通过特殊的 LoRA 进一步细化 SDXL。
训练后，DiffusionLight 在各种设置下提供令人信服的光线估计，并且可以处理非常不同的场景。
总结
- 研究人员正在开发 DiffusionLight，这是一种通过使用生成的铬球作为光探针来估计图像中的照明的方法。该技术可应用于 AR、VR、建筑可视化和计算机游戏。
- 与传统的 HDR 全景数据集不同，DiffusionLight 利用在数十亿张图像上训练的 Stable Diffusion XL 模型来提供更真实的照明估计。
- 研究人员使用迭代修复和特殊的 LoRA 来创建一致的镀铬球体和 HDR 图像，使 DiffusionLight 在不同设置下提供令人信服的光线估计。