密歇根大学研发语音控制虚拟手HandProxy实现VR/AR免手操作
查看引用/信息源请点击：techxplore
允许VR和AR用户通过语音指令操控虚拟手与数字空间交互
（映维网Nweon 2025年10月14日）美国密歇根大学的科学家研发了一款数字语音控制的虚拟手，从而实现了独特的免手操作体验。
研究人员开发的这款名为HandProxy的软件，能允许VR和AR用户通过语音指令操控虚拟手与数字空间交互。用户可指令虚拟手抓取移动物体、拖拽缩放窗口，同时能完成点赞手势等操作。借助ChatGPT背后的GPT-4o模型的解析能力，它甚至能执行“清理桌面”这类复合指令，无需逐步指导。
相较于当前仅支持开启菜单、滚动界面等基础系统操作的VR语音功能，这款虚拟手能实时解析复杂任务，展现出更强适应性。研究人员指出：“移动设备早已配备支持替代输入模式和自动化界面控制的辅助技术，包括Siri这类AI任务助手。但这类功能在VR和AR的手部交互中几乎空白。”
他们阐释道：“HandProxy致力于允许用户在控制器、手势与语音等多种交互模式间自由切换。”
VR爱好者推崇其沉浸感——用户渴望置身虚拟空间而非隔屏观望。支持者认为这种技术既能提升游戏趣味性，又能实现无风险的外科医生培训。
营造物理真实感是打破认知壁垒的关键，所以业界普遍采用手势追踪摄像头和触觉手套。但对手部动作拟真度的过度追求，在特定场景中反而适得其反：狭小空间里的VR用户难以施展复杂手势，正在烹饪或清洁的AR用户则需要解放双手操作微型显示屏。
对于存在运动障碍或其他残疾的人群，纯手势操作更显掣肘。肌肉萎缩症和脑瘫患者难以使用VR设备，重复性触控动作甚至会让慢性病患者对VR望而却步。有Reddit用户分享称，因慢性疾病无法享受需要反复挥动的游戏，对VR适配性存疑。
现在，HandProxy有望令VR体验更舒适平权。
团队表示：“只要程序内置物理引擎——大多数游戏和VR应用都满足这一条件，HandProxy就能实现交互。虚拟手提供与用户双手相同的数字信号，开发者无需为适配我们的系统专门修改代码。”
部分体验者已展现出浓厚兴趣。研究中20名参与者先复现演示视频任务，随后进行10分钟自由探索。有人为能“自然直观对话”的虚拟替身兴奋不已，而更令研究者惊讶的是，不少人期待虚拟手执行不受物理世界束缚的抽象任务。
当然，目前主要障碍在于指令误读：研究期间虚拟手共执行781项任务，尽管多数在1-4次尝试内成功完成，但依然有64项失败案例。例如系统未能将棕色物体与数字篮子关联，同时无法理解点赞照片需按心形按钮。研究团队正着力提升模糊语义解析能力，同时避免过度自主解读。有参与者提出建设性方案：让虚拟手具备问答交互功能。
