RelightVid是上海 AI Lab、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学推出用在视频重照明的时序一致性扩散模型，支持根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑，支持全场景重照明和前景保留重照明。模型基于自定义的增强管道生成高质量的视频重照明数据对，结合真实视频和3D渲染数据，在预训练的图像照明编辑扩散框架（IC-Light）基础上，插入可训练的时序层增强视频重照明的效果。RelightVid在保持时序一致性和照明细节方面具有显著优势，为视频编辑和生成领域提供新的可能性。
RelightVid的主要功能
- 文本条件重照明：根据用户输入的文本描述，对视频进行重照明，例如“阳光透过树叶，形成斑驳光影”或“柔和的晨光，金色时刻”。
- 背景视频条件重照明：用背景视频作为光照条件，动态调整前景对象的光照，让前景与背景光照一致。
- HDR环境贴图条件重照明：用HDR环境贴图精确控制光照，实现高质量的重照明效果。
- 全场景重照明：对前景和背景进行重照明，让整个场景与光照条件匹配。
- 前景保留重照明：对前景进行重照明，同时保留背景，适用需要突出前景对象的场景。
RelightVid的技术原理
- 扩散模型扩展：RelightVid基于预训练的图像重照明扩散模型（如IC-Light），扩展架构支持视频输入，引入时序层捕捉帧间的时间依赖性，确保重照明的时序一致性。
- 多模态条件联合训练：模型能同时用背景视频、文本提示和HDR环境贴图作为条件，基于编码器将条件嵌入到模型中，基于交叉注意力机制实现协同编辑。
- 光照不变集成（Illumination-Invariant Ensemble, IIE）：用亮度增强输入视频并平均预测噪声，提高模型在不同光照条件下的鲁棒性，防止反照率变化。
- 数据增强管道（LightAtlas）：基于真实视频和3D渲染数据生成高质量的重照明数据对，为模型提供丰富的光照先验知识，增强对复杂光照场景的适应能力。
- 🔥 我们提出了RelightVid，这是一个灵活的框架，用于实现逼真且时间一致的视频重新照明，与现有基线相比具有出色的性能。
- 🔥 我们构建了LightAtlas ，这是一个具有真实世界和 3D 渲染照明对的大规模视频数据集，以提供丰富的照明先验。
- 🔥 通过结合时间层，该框架可确保强大的帧间一致性，同时在整个视频中保持高质量的重新照明。
- 🔥 RelightVid支持文本提示、背景视频和 HDR 地图等多种输入，可在各种视频场景中进行灵活且自适应的灯光操控。
git clone https://github.com/Aleafy/RelightVid.git
cd RelightVid
conda create -n relitv python=3.10
conda activate relitv
pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
为了重现结果，请下载以下模型，并按照以下目录结构组织它们：
