研究员提出基于transformer算法的多模态时间序列传感器数据的晕动症预测模型

查看引用/信息源请点击:映维网Nweon

基于transformer的晕动症预测模型

映维网Nweon 2024年09月03日)晕动症是阻碍用户沉浸在虚拟现实中的一个因素,而使用人工智能进行预测是业界一个持续尝试的课题。以往的研究使用CNN和LSTM作为预测模型,使用注意机制和XAI进行数据分析,但尚未探索出一种能够更好地反映数据时空特征,并有利于增强预测和特征重要性分析的transformer。

在一项研究中,韩国汉阳大学团队提出了基于transformer算法的多模态时间序列传感器数据(即眼动、头部运动和生理信号)的晕动症预测模型,并考虑了传感器数据预处理和多模态数据融合方法。

团队构建了MSCVR数据集,包括标准化的传感器数据、光谱图格式的传感器数据和通过用户研究收集的45名参与者的晕动症水平。他们提出了两种将多模态时间序列传感器数据嵌入transformer的方法:用于归一化传感器数据的MS-STTN和用于频谱图的MS-STTS。

MS-STTN在烧蚀研究和现有模型的比较中表现出最高的性能。另外,通过分析数据特征的重要性,研究人员确定了它们随时间推移与晕动病的相关性,尤其是眼动特征的显著性。他们从多模态时间序列传感器数据和transformer模型中得出的结果和见解提供了对晕动病及其与传感器数据的关联的全面理解。MSCVR数据集和代码请访问这个页面

......(全文 1772 字,剩余 1315 字)


请微信扫码通过小程序阅读完整文章
或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/124183
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

您可能还喜欢...

资讯