韩国提出QORT-Former框架,实现AR/VR双手交互实时姿态分析​​

查看引用/信息源请点击:techxplore

仅使用108个查询和1个解码器(在RTX 3090TI GPU为53.5 FPS)就实现了实时姿态估计性能

映维网Nweon 2025年04月07日)韩国蔚山科学技术院团队开发了一种全新的人工智能框架已经开发出来,为操纵物体的两只手提供了实时分析的新功能,并可以用于AR/VR。

业界在理解姿势和手物交互方面取得了重大进展。但增强现实和虚拟现实技术的出现提高了相关应用对实时性能的需求。然而,当前最先进的模型往往以大量的计算开销为代价。

所以,韩国蔚山科学技术院团队提出了QORT-Former。这个查询优化的实时Transformer是一个基于Transformer的实时框架,主要用于手部和物体的三维姿态估计。

研究人员首先限制查询和解码器的数量以满足效率要求。鉴于查询和解码器的数量有限,他们建议优化作为Transformer解码器输入的查询,以确保更好的准确性:

  • 建议将查询分为三种类型(左手查询,右手查询和对象查询)并增强查询特征

    ......(全文 602 字,剩余 275 字)


    请微信扫码通过小程序阅读完整文章
    或者登入网站阅读完整文章
    映维网会员可直接登入网站阅读
    PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/128971
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者
资讯