基于Transformer的OpenXR实时手势识别方法：静态手势准确率达93.7％
静态手势准确率达93.7%
（映维网Nweon 2026年09月28日）滑铁卢大学和毕索大学的研究人员将Transformer模型用于OpenXR手部追踪数据，并进行实时手势识别。结果显示，静态手势准确率可以达到93.7%。
手势识别是人机交互的重要，可服务于虚拟现实等场景。传统方法主要使用CNN或RNN，但RNN存在梯度消失、难以捕捉长期依赖等问题。Transformer通过注意力机制学习序列内部的全局关系，可用于手势识别，并用于检测手势之间的运动流。
在数据采集方面，研究使用Unity的OpenXR框架，采集21个手部关节的3D位置和手腕旋转角度（俯仰、偏航、滚转）。每个关节用立方体可视化，并按局部X、Y、Z轴颜色编码。数据以手掌为参考进行归一化，以适应不同手部尺寸。采集时以张开手为基线，关节从手腕到手掌并沿各手指标记。数据集覆盖多样手部朝向和旋转。
预处理中，关节位置相对手掌归一化，并按手腕到手掌距离缩放；手腕旋转同时用欧拉角和“向上”“左转”“中性滚转”等标签描述；手势序列分割为30帧重叠窗口。
模型方面，Transformer处理短序列并分类手势。输入嵌入将每个时间步的位置和旋转数据嵌入高维空间；位置编码用于保留时间信息；Transformer层包含多头自注意力和前馈网络；输出层用softmax预测手势标签。训练使用Adam优化器和分类交叉熵损失，数据按80%训练、20%测试划分，以分类准确率和F1分数衡量性能。
......（全文 831 字，剩余 358 字）
