GSHeadRelight：仅用in-the-wild图像实现实时可重光照3D头部合成
仅用in-the-wild图像
（映维网Nweon 2026年11月09日）有研究人员将统一神经辐射传输引入生成式3D高斯框架，仅用in-the-wild图像训练，即可在给定HDRI环境贴图时进行新视角合成与重光照。团队称，其在单张NVIDIA H800上实现约240 FPS渲染，较此前3D感知肖像重光照研究至少快12倍。
3D感知肖像重光照需要同时满足照片级真实感、实时渲染和对未见受试者的泛化能力。现有方法有的依赖昂贵的光照stage采集数据，有的基于生成式NeRF，存在渲染速度慢、3D一致性不足等问题。GSHeadRelight试图绕开这些限制：训练不依赖光照stage数据，而是从随意图像中学习光照传输函数。
方法上，研究团队为每个3D高斯点额外分配反照率和传输向量，并用视角方向条件化解码器生成球谐传输系数，以统一方式建模漫反射项和低频镜面反射。训练中采用白光假设，以缓解反照率与光照之间的歧义；由于辐射传输对入射光呈线性响应，模型在测试时可处理彩色光照和环境贴图光照。生成后，所有组件均作为与光照无关的高斯属性存储，重光照无需再次调用生成器，只需一次前向推理。
实验使用四块NVIDIA H800 GPU在FFHQ数据集上从零训练1500万张图像。论文与ShadeGAN、Volux-GAN、NeRFFaceLighting等方法比较：生成质量与骨干GSGAN相近，FID为5.71、KID为0.15；光照误差为0.6213，光照稳定性为0.1537，与NeRFFaceLighting等3D肖像重光照方法接近；在30个视角的空间一致性测试中，身份相似度为0.7538，高于对比方法。真实肖像重光照经GAN反演实现，在Goliath数据集子集上的身份相似度为0.443，高于NeRFFaceLighting的0.298。
相关论文：GSHeadRelight: Fast Relightability for 3D Gaussian Head Synthesi
当然，团队指出方法局限：受球谐基下辐射传输性质影响，模型主要建模低频和漫反射光照效果，对高频反射表达不足；部分情况下镜面高光会残留在反照率中，面部下方光照下的重光照也可能显得不真实。未来工作包括建模高频、强视角相关效果，以及将该方法扩展到动态人头场景
