DeepHand是手部运动深度学习系统

YiViAn 2016年7月3日)虚拟现实可以让人与虚拟环境进行交互,但需要电脑来解释人类不断变化的手部运动和关节角度,而这些变化几乎是无穷无尽,非常复杂。

在虚拟现实和增强现实中,用户佩戴着可以展示虚拟环境的头显。其中,增强现实头显可以让用户既看到真实世界又看到虚拟世界,并与之交互,而虚拟现实则完全让用户沉浸在人工虚构环境之中。

“无论哪种情况,系统都需要识别并解释用户的手部运动。”普渡大学的Karthik Ramani教授说道。“如果你的手部不能与虚拟世界进行交互,那么你什么都做不了。这也是为什么说手部是如此重要。”

因此,普渡大学C Design Lab实验室研发出了一个名为“DeepHand”的新系统。这个系统使用了卷积神经网络来模仿人类大脑,并可以进行深度学习,理解手部关节和运动那几乎无穷无尽的变化。

Ramani说:“我们把它称为空间用户界面,因为你是在空间中与电脑进行交互,而不是通过触摸屏和键盘。如果用户想从虚拟桌面上捡起物品,驾驶虚拟汽车的话,很明显手部是关键。我们可以实时监测到你的手部位置,你的手指位置,以及你的手部和手指所有的动作。”

DeepHand使用了深度感应相机来捕捉用户的手部,并配备了专门的算法来解释手部运动。研究人员通过250万个手部姿势和形状组合来“训练”DeepHand。手指关节的位置被指定为“特征向量”,可以快速检索。然后,系统会从数据库中挑选一个最合适的数据来呈现给相机。

Sinha表示:“我们可以识别出手部的关节角度,并通过数字组合来表达出这些角度的变化和形状组合。”

Ramani说:“这个系统的算法跟Netflix的算法很接近。Netflix的算法可以根据之前的消费记录来向用户推荐电影。”

训练这个系统需要庞大计算量,但一旦系统被训练完成,就可以在标准的电脑上运行了。

关于DeepHand的研究论文,作者包括博士生Ayan Sinha、Chiho Choi和Ramani教授。论文信息可以在C Design Lab Web网站查询。普渡大学C Design Lab由美国国家科学基金会、Facebook和Oculus等机构赞助。

引用参考Source

本文链接https://news.nweon.com/18533
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

更多阅读推荐......

资讯