研究员提出基于transformer算法的多模态时间序列传感器数据的晕动症预测模型
基于transformer的晕动症预测模型
（映维网Nweon 2024年09月03日）晕动症是阻碍用户沉浸在虚拟现实中的一个因素，而使用人工智能进行预测是业界一个持续尝试的课题。以往的研究使用CNN和LSTM作为预测模型，使用注意机制和XAI进行数据分析，但尚未探索出一种能够更好地反映数据时空特征，并有利于增强预测和特征重要性分析的transformer。
在一项研究中，韩国汉阳大学团队提出了基于transformer算法的多模态时间序列传感器数据（即眼动、头部运动和生理信号）的晕动症预测模型，并考虑了传感器数据预处理和多模态数据融合方法。
团队构建了MSCVR数据集，包括标准化的传感器数据、光谱图格式的传感器数据和通过用户研究收集的45名参与者的晕动症水平。他们提出了两种将多模态时间序列传感器数据嵌入transformer的方法：用于归一化传感器数据的MS-STTN和用于频谱图的MS-STTS。
MS-STTN在烧蚀研究和现有模型的比较中表现出最高的性能。另外，通过分析数据特征的重要性，研究人员确定了它们随时间推移与晕动病的相关性，尤其是眼动特征的显著性。他们从多模态时间序列传感器数据和transformer模型中得出的结果和见解提供了对晕动病及其与传感器数据的关联的全面理解。MSCVR数据集和代码请访问这个页面。
随着虚拟现实技术的不断发展，一系列的领域开始对采用虚拟现实技术表现出兴趣。所以，为用户提供高水平的沉浸感和令人满意的体验非常重要。然而，晕动症是阻碍用户体验的已知因素之一。
晕动症主要由感觉冲突理论引起，亦即前庭系统感知到的运动与眼睛看到的视觉输入之间的差异，或者基于过去经验的预测运动与实际运动之间的不一致。
为了确定用户在VR体验中的状态，学习和整合不同感官信号之间的相互作用非常重要。晕动症是VR用户可能体验到的主要状态之一，而从理论上验证和利用与之相关的传感器数据非常重要。以前的研究主要集中在对收集数据的简单使用，由于理解和处理晕动症对VR用户体验和更广泛的VR应用至关重要，一系列的研究对这一症状表现出了极大的兴趣。
为了解决晕动症，业界开始积极利用AI人工智能。以往的研究使用CNN和LSTM作为预测模型，使用注意机制和XAI进行数据分析，但尚未探索出一种能够更好地反映数据时空特征，并有利于增强预测和特征重要性分析的transformer。
所以，研究人员扩展了先前研究中预测建模和XAI的努力，并提出了一个基于transformer的模型。与CNN和LSTM相比，transformer在计算成本和性能方面具有优势，并且在捕获时间序列数据的特征重要性方面具有优势。所以，transformer对于学习具有时间特征的视频或传感器数据特别有用。
由于团队在研究中使用了具有多模态和时间特征的数据，所以transformer模型的架构在传感器数据预处理和多模态数据融合方法方面有所不同。从这个意义上说，对相关方面的研究非常重要，并有望就构建基于transformer的晕动症预测模型为研究人员提供有价值的见解。
在研究中，韩国汉阳大学提出了一个基于变压器的晕动病预测模型，并特别考虑了在基于transformer的晕动症预测模型模型构建中数据的两个关键点：传感器数据预处理和多模态数据融合方法。
团队使用了与晕动症理论相关的传感器数据类型，包括眼球运动、头部运动和生理信号，并探索了多模态传感器数据之间相互作用特征的建模方法。
传感器数据本身具有时间序列特征，他们将特定时刻传感器数据特征之间的交互特征定义为空间特征。然后，研究人员提出了一个考虑了可以反映空间特征的输入数据格式的基于transformer的模型。
团队采用归一化数据和频谱图作为输入数据格式，将多模态时间序列传感器数据嵌入到transformer中：
-
用于归一化传感器数据的MS-STTN：其中，STE学习传感器信号之间的交互特性，MS-STTN学习每种模态的时空特征，而TTE学习传感器数据的时序特征。
-
用于频谱图的MS-STTS：其中，STTE学习交互作用和时间特征，而MS-STTS学习每个模态的时空特征。
在实验中，他们招募了45名参与者进行研究，并构建了一个MSCVR数据集，包括归一化传感器数据、频谱图格式传感器数据和晕动症水平。研究结果表明，MS-STTN具有最高的性能，平均绝对误差为0.12，均方根误差为0.25。
在MS-STTN的基础之上，他们利用transformer编码器的注意权值进一步分析了特征的重要性。注视方向、注视起点、头部位置和皮肤电活动的数据特征在所有时间戳中都与晕动病具有较高的相关性。另外，他们发现所有数据特征都有不同程度的影响。
相关论文：PRECYSE: Predicting Cybersickness using Transformer for Multimodal Time-Series Sensor Data
总的来说，汉阳大学团队在前人理论的基础上，采用了与晕动症高度相关的三种传感器模式，并通过用户研究构建了MSCVR数据集。考虑了MS-STTN和MS-STTS两种多模态时间序列传感器数据嵌入transformer的方法。
实验结果显示，MS-STTN在消融研究中表现最佳(，明显优于其他已有研究方法。对数据特征重要性的分析显示，随着时间的推移，特征的重要性程度不同，但许多眼动特征对晕动症有很强的影响，证实了之前的研究结果。
MSCVR数据集和代码请访问这个页面。
