苏州大学等机构开发基于眼动追踪的VR认知负荷检测系统
认知负荷检测
（映维网Nweon 2025年08月18日）虚拟现实运动过程中认知负荷（CL）的准确检测对于增强用户体验和改进交互设计至关重要。传统的CL评估方法，如自我报告和生理测量，在VR环境中面临挑战。眼动追踪已显示出在各种人机交互（HCI）任务中作为CL可靠指标的潜力。它为VR中的预测模型提供了一个重要的鉴别特征。
在一项研究中，苏州大学，太原理工大学和慕尼黑工业大学团队探讨了使用可解释的机器学习方法和眼动追踪技术检测VR运动引起的CL的可行性。用户研究评估了五种独特的无步态运动技术。统计分析显示，运动技术的CL水平不同。另外，研究人员利用眼动追踪数据开发了几种用于CL检测的机器学习模型，其中Light Gradient Boosting machine （LightGBM）的准确率最高，为0.78。SHAP方法用于分析特征的重要性，以提供可解释性，并为机器学习模型的决策过程提供见解。
研究结果强调了使用基于眼动追踪的机器学习技术作为VR中认知负荷检测的实用方法的潜力，并展示了如何利用眼动追踪数据来改善用户交互并优化基于认知负荷分析的沉浸式多媒体体验。
VR技术在教育和娱乐等各个领域的普及程度激增。VR提供了独特的能力，允许用户沉浸在模拟环境中，并与VR中的3D对象进行真实的交互。特别是，VR运动技术在提供无缝和引人入胜的用户体验方面发挥着至关重要的作用，使用户能够在虚拟世界中有效地导航。
但必须认识到，相关运动技术可能会对用户产生重大影响（例如认知需求），可能会影响他们在VR沉浸期间的表现和满意度。所以，在VR运动环境中准确评估用户体验，特别是认知负荷（CL）是至关重要的。这项努力使得研究人员和开发人员能够有效地评估和改进运动技术。
研究人员在CL评估研究领域进行了广泛的研究，包括采用主观自我报告测量（如问卷调查）和生理测量（如脑电图EEG、心率变异性HRV、皮电活动EDA和瞳孔测量）等方法。然而，相关方法存在局限性，主要是在应用于VR场景时，主观自我报告测量可能无法捕获用户在虚拟现实活动中经历的全部认知过程。由于需要专门的设备和设置的复杂性，在VR中使用EEG和其他生理测量可能具有挑战性。
眼动追踪作为一种可靠且非侵入性的方法，用于在VR环境中评估CL是一个尚未充分探索的领域。大量研究表明了眼动作为各种HCI任务中CL指标的有效性，当然，它们主要是针对非VR情境。重要的是，眼动比自我报告和脑电图更有优势，因为它们不太容易受到偏见和人为因素的影响。
同时，先前的研究已经证明，眼动作为机器学习模型的特征具有信息性，特别是在HCI任务中检测各种人为因素时，最显著的是CL，以及与CL密切相关的视觉感知和视觉搜索模式。先前的研究强调了眼球运动在捕获微妙人类行为方面的可靠性，而相关行为可能很难用其他测量工具（例如自我报告）观察，特别是在VR环境中。
团队指出，之前的研究尚未尝试在VR沉浸过程中单独使用眼动追踪数据来检测CL，特别是在VR运动的背景下。缩小这一研究差距具有相当重要的意义，因为它可以为改进VR运动技术的设计提供见解，从而为用户提供更优越，更满意的体验。
苏州大学，太原理工大学和慕尼黑工业大学探讨了利用机器学习方法结合眼动追踪数据检测VR运动引起的用户CL的可行性。这一研究解决了三个关键的研究问题：
不同的VR运动技术如何影响用户体验，特别是关于CL？
能否仅基于眼动数据建立预测模型，准确检测用户在VR运动过程中的CL水平？
眼动追踪功能如何揭示和建立与不同水平CL的联系？
为了解决所提出问题，团队进行了一项包括五种运动条件的比较用户研究，并收集眼球追踪传感器数据和问卷来评估用户体验。研究结果表明，不同的运动技术在不同的维度上对用户的影响是不同的，而这可以通过评估用户体验、晕动症和CL的问卷来证明。
值得注意的是，操纵杆为参与者提供了更好的体验（见图3）。这一发现与之前的研究一致，即操纵杆运动比手臂循环和点拽更少疲劳，同时提供了更好的控制和乐趣。令人惊讶的是，没有观察到运动技术对参与者的晕动症有显著影响。在所有情况下，参与者报告的晕动症程度相似，所有子量表（症状）的得分都低于2分（见图4）。
之前的研究表明，与瞬间移动相比，基于操纵杆的运动可能会导致更多的晕动症。但在团队地研究结果中，与传送相关的晕动症优势的意外缺失，即引起更少的晕动病并提供更好的用户体验，这可能归因于几个因素。在研究中，大多数参与者都有不同程度的VR或游戏经验，这可能会影响他们对晕动症的易感性。另外，在虚拟环境中相对较短的导航时间（约2分钟）可能有助于缺乏明显的晕动症影响。
在CL方面，参与者报告使用操纵杆和传送运动技术时的CL低于使用其他三种运动技术时的CL。尽管之前的研究有限，但团队发现可以通过考虑用户的整体体验来解释。具体来说，更好的用户体验与较低的CL相关，这解释了在操纵杆条件下报告的较低CL。
易于理解和操作操纵杆为参与者提供了更直观和更低要求的运动体验，从而降低了VR运动期间的CL。使用一组全面的眼动追踪特征训练的LightGBM模型在检测CL方面达到了0.78左右的显著准确率。这一性能优于之前的研究。值得注意的是，由于缺乏在VR（运动）环境下应用眼动追踪进行CL评估的先前研究，因此无法与先前的研究进行广泛的比较。
不过，这一研究为VR运动场景中CL的精确和非侵入性评估提供了一条实用而有价值的途径。另外，团队利用SHAP事后模型解释方法对不同眼动追踪特征的辨别力进行了探索，并得出了有趣的发现。在检查的各种眼球追踪特征中，瞳孔直径和眨眼频率是最有信息的CL指标。随后，跳变特征对模型输出同样有显著的影响。这与先前的研究一致，并强调瞳孔直径、眨眼频率和扫视是各种传统HCI任务中CL的可靠指标。
同时，SHAP揭示了每个眼动追踪特征如何影响CL预测的black box。它揭示了CL水平与眼球追踪特征之间的潜在相关性。特别是，瞳孔直径特征对预测模型产生了积极的影响，从图7中颜色从蓝色变为红色可见一斑。
较高的瞳孔直径（红色）值有助于预测CL- h，提示VR情境下瞳孔直径与CL之间可能存在正相关。同样，团队观察到扫视特征（特别是扫视持续时间和幅度）对模型输出的积极影响。这一发现暗示了跳眼特征与CL之间的正相关，并且与先前的研究一致，表明CL与瞳孔直径、扫视持续时间和振幅呈正相关。
另外，研究结果可能表明眨眼频率与CL之间存在负相关。如图7所示，较高（红色）的眨眼频率有助于预测CL-L，而较低（蓝色）的眨眼频率有助于预测CL-H。眨眼频率与CL之间的潜在负相关与先前的研究结果一致。一致的结果加强了团队研究结果和方法的有效性。
总的来说，研究系统地检查不同运动技术对用户体验的影响，特别是CL，并展示了在VR运动中使用眼动追踪数据与机器学习方法相结合准确预测CL的可行性。值得注意的是，结果表明CL是可预测的，所有分类模型的准确率都高于机会水平。特别是LightGBM，其准确率超过0.78，优于其他模型。
另外，模型可解释性的SHAP方法为在沉浸式VR环境中评估CL时特定眼动追踪特征的辨别能力提供了有价值的见解。总之，通过利用眼动追踪作为一种客观且非侵入性的CL评估工具，研究引入了一种新颖而有效的方法来评估VR运动环境下的用户体验。这一进步反过来又促进了用户友好运动技术的进步，增强了用户在VR环境中的参与度和整体满意度。
