## UniLumos统一图像视频重打光框架：物理反馈提升光影真实性与20倍加速 图像与视频重光照技术作为计算机视觉与图形学的重要研究方向，在影视制作、游戏开发和增强现实等领域具有广泛应用价值。当前基于扩散模型的方法虽然能够生成多样化的光照效果，但在物理合理性方面存在明显不足，常出现高光过曝、阴影错位和遮挡关系错误等问题。 ### 突破性创新：物理反馈与高效推理 针对现有技术的局限性，我们开发了UniLumos这一统一的图像与视频重光照框架，其核心创新体现在两个方面： **几何反馈增强物理一致性** 通过引入来自RGB空间的深度图与法线图作为几何反馈，UniLumos能够将光照效果与场景三维结构精确对齐。这一机制强制模型学习光影与几何的对应关系，显著改善了阴影、着色和空间一致性。结合路径一致性学习技术，在保持高质量监督的同时实现了约20倍的推理加速。 **细粒度光影评估体系** 我们构建了结构化的六维光照描述标签，涵盖光照方向、光源类型、强度、色温、时间动态和光学现象等核心属性。基于此开发的LumosBench评估基准，利用视觉语言模型实现了对重光照效果的自动化、可解释评估。 ### 技术实现与数据构建 UniLumos基于Wan 2.1视频生成模型构建，支持通过图像参考、视频片段或文本提示等多种方式指定光照条件。我们开发了LumosData数据构建流程，从真实世界视频中提取高质量的重光照训练样本，最终构建了包含11万视频样本和120万图像样本的大规模数据集。 在模型架构方面，我们采用联合目标函数融合流匹配损失、路径一致性损失和物理引导损失，通过选择性优化策略平衡物理监督与训练效率。所有新增的投影层与融合层均以零权重初始化，确保与预训练模型的兼容性。 ### 卓越性能表现 实验结果表明，UniLumos在多项关键指标上均达到当前最优水平： - 视觉保真度：PSNR与SSIM指标全面领先 - 时间一致性：R-Motion指标显著优于基线方法 - 物理合理性：Lumos一致性指标大幅提升 - 推理效率：生成49帧480p视频仅需12秒 在细粒度可控性评估中，UniLumos在六个光照维度上的表现均显著优于专用重光照模型，甚至超过参数量更大的通用视频生成模型。 ### 实际应用价值 UniLumos的成功研发为影视后期、游戏开发和虚拟现实等领域提供了强大的技术支撑。其出色的物理一致性和高效的推理速度，使得实时高质量重光照成为可能，有望推动相关行业的创新发展。 **资源链接** - 论文标题：UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback - 论文地址：https://arxiv.org/abs/2511.01678 - 代码仓库：https://github.com/alibaba-damo-academy/Lumos-Custom - WanVideo ComfyUI支持: https://github.com/kijai/ComfyUI-WanVideoWrapper

---

想获取更多AI最新资讯与智能工具推荐， 欢迎访问 👉 AI Tools Nav ——优质的 AI导航平台 与 AI学习社区

---

本文来源：机器之心

原文链接：https://www.jiqizhixin.com/articles/b2876bd6-021f-4d90-b848-ec86ad3267e8