用眼神“滑行”打字:哥伦比亚大学团队研发XR高效输入法

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

每分钟最快可打64个单词

映维网Nweon 2026年04月13日)你或许听说过,甚至用过滑行输入法:用户通过手指在字母间连续滑动轨迹完成输入,而系统智能分析轨迹并匹配词库中的单词。

现在,哥伦比亚大学的研究团队将这一思路应用到XR,并开发了一种名为SwEYEpinch的文本输入技术。研究人员把“用眼睛看”和“用手捏”结合在了一起,用户只需用眼神扫过单词的字母路径,同时手指执行一个轻微的捏合动作,系统就能实时预测并打出想要的词。

经过前后四项用户研究、上百名参与者的测试,这套方案表现出色:新手用几次就能超过每分钟20个单词,而经过一周每天练习的参与者,平均速度超过每分钟40个词,最快的甚至达到了每分钟64.7个单词,而这已经和普通人在物理键盘的打字速度不相上下。

用眼神“滑行”打字:哥伦比亚大学团队研发XR高效输入法

目前主流的XR输入方式各有各的缺点。用控制器射线点按,手要一直抬着,累;直接用手在空中点,没有触感反馈,容易按错;语音输入虽快,但在办公室、地铁等公共场合显然不合适。至于完全依靠眼动盯视确认的“注视打字”,尽管解放了双手,但每选一个字母都要盯上好一会,不仅慢,盯久了眼睛还累。

SwEYEpinch的思路非常直接:把“选哪个字母”的任务交给眼睛,把“什么时候确认”的决定权交给手指。眼睛移动快、费力少,适合快速扫过字母路径;而一个轻巧的捏合手势,则可以明确告诉系统“单词开始了”和“单词结束了”,避免了纯眼动输入容易误触发的问题。

与在手机屏幕滑行打字不同,眼动数据噪点非常大,眼球会不停抖动。为了确保系统能在用户滑行过程中实时显示候选词,研究团队专门优化了算法:先将原始眼动轨迹精简90%以上,再与词库做快速匹配。这样一来,用户一边用眼神“划”单词,键盘上方一边就会跳出最可能的候选词,看到想要的词直接松手确认就行,不用非得划完整串字母。

用眼神“滑行”打字:哥伦比亚大学团队研发XR高效输入法

为了验证这套方案到底好不好用,研究团队设计了四轮递进式的用户实验。

第一轮,40名参与者分别尝试三种方式:传统的手指虚空点击、注视后捏合确认(类似苹果Vision Pro的交互),以及最基础的SwEYEpinch版本。5个实验阶段后,SwEYEpinch的速度达到了每分钟22.5个单词,远超另外两种方法(18.0和10.0),而且用户普遍反映它最省力、最受欢迎。不过,基础版需要划完整个词才能看到候选,不少参与者反馈“总得抬头看输入框确认,打断节奏”。

第二轮,团队加入了滑动中实时预测和手势内取消(划到一半发现不对,直接划向删除键即可取消)两个关键功能,并对比了其他纯眼动滑动方案。结果,增强版速度再提升一截,到第三阶段达到每分钟22.3个单词,而纯眼动方案均在17以下。用户评价“手眼配合的捏合方法比纯用眼睛盯着空格键结束要轻松得多”。

第三轮,SwEYEpinch与两个“完全体”竞品正面较量:一个是加入了词语预测和补全功能的空中手指点击,另一个是同样用捏合、但用“手划”代替“眼划”的手势滑动输入。三轮测试下来,SwEYEpinch的速度(26.2词/分钟)再次大幅领先。有参与者形容:“用眼睛划感觉像未来科技,又快又省力”;而对手划的普遍吐槽是“胳膊举一会儿就酸了”。

最后一轮,9名参与者进行了为期七天、每天四到五组的高强度练习。所有人的速度都持续增长,没有出现瓶颈。到第30组时,平均速度超过每分钟40个单词,最快者达到64.7词/分钟。一位参与者说:“熟练以后就不是一个一个字母盯了,而是扫一眼看到词出来就捏合,感觉很自然。”

基于研究发现,团队为XR文本输入的设计者总结了六条实用建议:

  • 确认手势要明确且轻量:一个微小的捏合比长时间注视或大幅度手势更高效。

  • 在视线附近显示实时候选词:减少来回扫视验证的打断。

  • 优化纠错流程:提供滑动中取消、一键删除整词等低摩擦纠错手段。

  • 解码时早期多依赖语言模型:刚开始划、轨迹点少时,优先用上下文猜词,轨迹稳定后再加大空间匹配权重。

  • 尽量减少眼球移动距离:把候选词和功能键放在键盘附近,维持“眼不离键盘”的流畅感。

  • 对过短的滑动轨迹谨慎处理:避免因轨迹太短而错误提交。

研究团队已将解码算法、Unity演示以及包含近万条眼动轨迹的数据集全部开源,供开发者和研究者使用:

相关论文SwEYEpinch: Exploring Intuitive, Efficient Text Entry for Extended Reality via Eye and Hand Tracking

当然,SwEYEpinch并非完美。目前删除功能比较粗放,仅在刚提交后能一次删整词,平时只能逐字符退格。另外,眼动和手部追踪对部分用户可能不够友好,长时间使用的视觉疲劳有待专门评估。

本文链接https://news.nweon.com/139463
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯