苏黎世联邦理工学院研发可穿戴多模态传感系统，实现低功耗实时VR交互
可穿戴多模态传感系统
（映维网Nweon 2026年06月22日）苏黎世联邦理工学院与博洛尼亚大学提出了一种基于超声和惯性传感单元的可穿戴多模态系统，并旨在为VR环境提供实时、低功耗的手部姿势与前臂位置交互方案。
所述系统基于团队先前开发的WULPUS平台构建：将六个2.25MHz超声换能器分别布置于前臂（四个）和上臂（两个），并在腕部采集电子设备中集成了三轴加速度计。所有数据通过低功耗蓝牙无线传输。整个设备封装尺寸为31×54×26毫米，重34克，由350毫安时锂聚合物电池供电，实测功耗为19.9毫瓦，可连续使用超过2.5天。
在软件层面，研究团队扩展了BioGUI开源框架，实现了数据采集、可视化以及与Unity VR环境的实时通信。中间件利用卷积神经网络模型对六个超声通道和加速度计数据进行融合处理，分别输出手部姿势（六类）和前臂位置（三类）的离散估计，同时通过加速度计计算前臂旋转角度（旋前/旋后）。模型参数量约1.4万，推理延迟通过30帧多数投票平滑，有效延迟约1秒。
研究团队进行了离线与在线实验。离线实验在多天内采集多个会话数据，并在会话间重新佩戴传感器。结果显示，手部姿势估计的平均跨会话准确率为80%±6%，前臂位置估计为77%±7%。在线验证中，被试使用少量微调数据（约5分钟，即三次任务重复）后，在三种功能性任务上取得了较高成功率：圆柱体抓取与转移为92.0%±16.0%，液体倾倒为96.0%±8.0%，弹珠捏取与转移为88.0%±9.8%。对应的任务完成时间分别为10.47秒、8.00秒和10.83秒。
研究人员指出，与现有基于超声的人机接口相比，系统是少数无需外部光学跟踪、完全依赖可穿戴传感的方案，且功耗较同类系统降低一个数量级以上。
相关论文：A Wearable Multimodal Ultrasound+Inertial System for Real-Time Virtual Reality Interaction
当然，当前模型仅支持离散状态估计，团队未来将探索连续比例控制，并计划增加传感通道和融合肌电等其他生物信号，以提升交互自然度和鲁棒性。
