康奈尔大学研发EchoWrist腕带，用AI+声波实现手部追踪
这种设备提供了一种可以持续追踪你的手部姿势，而且既便宜又准确的解决方案
（映维网资讯）美国康奈尔大学的研究人员开发了一种名为EchoWrist的腕带设备，它可以利用人工智能驱动的、闻所未闻的声波来连续检测手的位置以及手与之交互的对象。
这一设备的潜在用例包括为AR/VR系统追踪手部位置。因为技术堆栈足够小，所以可以安装在商用智能手表，并通过标准智能手表电池使用一整天。
EchoWrist是康奈尔大学未来交互智能计算机接口（SciFi）实验室最新的低功耗身体姿势追踪技术之一。
团队表示：“手是最重要的。无论你做什么事情，你几乎都需要用到手。这种设备提供了一种可以持续追踪你的手部姿势，而且既便宜又准确的解决方案。”
EchoWrist同时允许用户通过手势控制设备并进行演示。研究人员解释道：“我们可以通过单手交互来丰富与智能手表甚至其他设备的交互。我可以用单手手势来控制我的幻灯片。”
另外，这是实验室首次将其技术扩展到人体之外。EchoWrist不仅可以追踪手部本身，同时能够追踪物体和周围环境。
设备使用安装在腕带顶部和底部的两个微型扬声器，从手和任何手持物体反射人类不可听的声音。附近的两个麦克风则接收回声，并由微控制器进行解释。同时，硬币大小的电池用于为设备供电。
值得一提的是，团队开发了一种受大脑神经元启发的人工智能模型，这种神经网络可以根据产生的回声来解释用户的手部姿势。
为了训练神经网络，他们比较了用户做出各种手势的回声和视频，并根据声音信号重建了20个手关节的位置。
在12名志愿者的帮助下，研究人员测试了EchoWrist对杯子、筷子、水瓶、锅、平底锅和水壶等物体以及饮水、搅拌、去皮、扭转、切碎和倾倒等动作的检测效果。总体而言，设备的准确率为97.6%。这一功能允许用户可以按照交互式食谱跟随厨师的进度并阅读下一步，这样厨师就可以避免屏幕变脏。
与SciFi实验室以前使用摄像头的手部追踪技术FingerTrak不同，EchoWrist要小得多，而消耗的能量同样少得多。
团队解释道：“声学追踪的一个重要附加好处是，它确实增强了用户的隐私，同时提供了与摄像头追踪类似的性能水平。”
这项技术可用于XR的手部动作追踪。现有的VR和AR系统主要使用摄像头来完成这项任务，但这种方法需要大量的电力，而且一旦手离开头显有限的视场，手部追踪就会失效。
研究人员指出：“这项技术最令人兴奋的应用之一是允许人工智能通过跟踪和解释日常活动中的手势来理解人类活动。”
当然，他们表示EchoWrist依然难以区分形状高度相似的物体，如叉子和勺子。但团队相信，随着技术的改进，对象识别将得到改进。通过进一步的优化，他们相信EchoWrist可以很容易地集成到现有的现成智能手表之中。
这项研究项目的资金来自美国国家科学基金会。
