上海交大与腾讯等提出XR视线追踪不确定性感知眼部分割方法

编辑：刘余欣 | 分类：论文 | 2025年12月26日

加入映维网会员

眼部分割

（映维网Nweon 2025年12月26日）在增强现实与虚拟现实设备日益普及的今天，精准的视线追踪技术已成为实现自然、流畅人机交互的核心。而视线追踪的准确性，又在很大程度上依赖于底层视觉技术——眼部分割的精度。但在实际应用中，快速眼球运动导致的运动模糊、眼睑的天然遮挡，以及不同用户、不同设备配置带来的训练与测试数据之间的领域差异，这三大难题一直困扰着现有的眼部分割模型，导致其在复杂场景下性能急剧下降。

面对这一行业瓶颈，上海交通大学，腾讯，新加坡国立大学，清华大学，华东师范大学团队联合提出了EyeSeg，其核心创新在于将 “不确定性感知” 深度融入眼部分割流程中，使模型不仅能输出分割结果，还能“自知”其预测的可靠程度，从而在面临模糊、遮挡和未知场景时，表现出前所未有的鲁棒性。

上海交大与腾讯等提出XR视线追踪不确定性感知眼部分割方法

EyeSeg的设计灵感源于人类的认知行为：当信息模糊不清时，人们会本能地意识到判断的不确定性，从而采取更审慎的策略。为了实现类似的能力，研究团队首先通过一个精心设计的眼部检测模块对输入图像进行预处理。该模块基于轻量化的YOLOv3架构，能够快速而准确地定位并裁剪出只包含眼睛的图像区域（Patch）。

这一步骤看似简单，却至关重要。它将分割任务从一个包含复杂多变背景的“开集”问题，转化为一个仅包含背景、眼白、虹膜、瞳孔四个类别的“闭集”问题。这个封闭的标签空间为后续引入贝叶斯不确定性学习提供了一个稳定且理想的先验分布，是整个框架的理论基础。

通过三阶段精密协作，团队构建了一个可自我诊断的分割系统。EyeSeg的推理流程是一个环环相扣的三阶段精密系统：

确定性分割骨干网络：首先，一个预训练的轻量级分割网络（如DeepVOG或DenseElNet）对裁剪后的眼部图像进行初步分割。该网络学习一个映射函数，将输入图像转换为一个高维特征图，再通过一个线性变换和Softmax函数，输出每个像素属于四个类别的概率分布。这一步提供了分割的基础结果。

不确定性感知投影头：这是EyeSeg的灵魂所在。研究团队在分割骨干网络之上，附加了一个全新的不确定性投影头。该模块采用了一种包含下采样和上采样层的瓶颈结构，并通过跳跃连接融合骨干网络的多层级特征。它的任务不是进行分割，而是预测第一步中每个像素的高维特征表示（latent code）的协方差矩阵。这个协方差矩阵量化了模型在特征空间中对于该像素位置的不确定性。

贝叶斯学习与不确定性量化：接下来，框架利用闭集提供的先验知识——即分割网络权重矩阵中的四个行向量，它们分别代表了四个类别的“理想模板”——来约束后验分布。通过最小化先验分布与模型预测的后验分布之间的交叉熵，使模型学会输出有意义的协方差。理论分析证明，最优协方差矩阵的迹（Trace）在数学上等于该像素特征与其真实类别中心之间的欧氏距离平方。这个距离直观地反映了预测结果偏离其理想位置的程度，从而被定义为该像素的不确定性分数。

在训练不确定性投影头的初期，研究团队发现原始损失函数的优化地形非常崎岖，容易陷入梯度消失或平凡解。通过可视化分析，他们发现模型倾向于简单地输出一个巨大的方差值来降低损失，而这并非期望的解。

为此，他们基于上述理论发现，设计了一种更优雅的替代损失函数。新的损失函数不再直接优化复杂的概率分布，而是简单地要求投影头预测的方差向量，去直接逼近“特征与类别中心距离的平方”这个目标值。实验显示，新损失函数的优化地形平坦而平滑，使得训练过程更加稳定和高效，最终得到的不确定性估计也更加准确。

为了全面评估EyeSeg的性能，研究团队在OpenEDS、LPW、Dikablis以及自建的高难度数据集Else上进行了大量实验。

上海交大与腾讯等提出XR视线追踪不确定性感知眼部分割方法

在分割精度方面，即使在使用计算量仅1.53G FLOPs的轻量级主干网络时（Ours-E），EyeSeg在多个数据集上的平均MIoU达到了94.8%，全面超越了包括RITNet、DeepVOG、Pylids以及通用分割模型DeepLabv3+在内的所有基线方法。尤其在处理模糊和遮挡图像时，其分割结果的完整性和准确性优势更为明显。

上海交大与腾讯等提出XR视线追踪不确定性感知眼部分割方法

在不确定性估计的评测中，团队设置了域内、跨域、遮挡和模糊四种挑战性场景。他们按照各模型给出的不确定性分数，依次剔除最不确定的样本，然后观察剩余样本的分割质量（MIoU）。结果显示，经EyeSeg筛选后的数据子集，其MIoU值始终最高。这证明其产生的不确定性分数与图像的实际分割难度高度一致，能够有效识别并过滤掉可能导致下游任务（如视线估计）出错的低质量样本。