研究员提出基于transformer算法的多模态时间序列传感器数据的晕动症预测模型
基于transformer的晕动症预测模型
（映维网Nweon 2024年09月03日）晕动症是阻碍用户沉浸在虚拟现实中的一个因素，而使用人工智能进行预测是业界一个持续尝试的课题。以往的研究使用CNN和LSTM作为预测模型，使用注意机制和XAI进行数据分析，但尚未探索出一种能够更好地反映数据时空特征，并有利于增强预测和特征重要性分析的transformer。
在一项研究中，韩国汉阳大学团队提出了基于transformer算法的多模态时间序列传感器数据（即眼动、头部运动和生理信号）的晕动症预测模型，并考虑了传感器数据预处理和多模态数据融合方法。
团队构建了MSCVR数据集，包括标准化的传感器数据、光谱图格式的传感器数据和通过用户研究收集的45名参与者的晕动症水平。他们提出了两种将多模态时间序列传感器数据嵌入transformer的方法：用于归一化传感器数据的MS-STTN和用于频谱图的MS-STTS。
MS-STTN在烧蚀研究和现有模型的比较中表现出最高的性能。另外，通过分析数据特征的重要性，研究人员确定了它们随时间推移与晕动病的相关性，尤其是眼动特征的显著性。他们从多模态时间序列传感器数据和transformer模型中得出的结果和见解提供了对晕动病及其与传感器数据的关联的全面理解。MSCVR数据集和代码请访问这个页面。
......（全文 1772 字，剩余 1315 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
