Collabora开源AR/VR手部追踪解决方案Monado Mercury
支持Valve Index、Windows Mixed Reality(惠普Reverb G2 v2)和Meta Rift S
(映维网Nweon 2023年02月28日)曾发布过开源OpenXR运行时Monado的Collabora日前表示,历经一年多开发时间的光学追踪管道Mercury现已正式开放,目前支持Valve Index、Windows Mixed Reality(惠普Reverb G2 v2)、Meta Rift S(早期支持)、以及大多数Luxonis场景。
据介绍,它可以精确地估计手势,支持有限的手手交互,追踪快速的手部移动,并可用于绘图、打字和UI交互等。需要注意的是,由于自动曝光问题,目前Meta Rift S和WMR头显的追踪质量会降低,但团队正在积极解决问题。
Collabora指出,预计手动追踪状态稳定性在未来几周内会有所改善,背景抖动届时能够减少。团队同时给出了相关的建议:
- 获得充足的光线:由于这是一种光学手追踪解决方案,所以充足的光线是关键。你可以打开窗户,打开所有的灯,甚至如果需要,添加额外的照明。另外,照亮你的手有巨大帮助,所以你可以在前面放置明亮的灯源来照亮你的双手。如果可以选择,红灯最为有用。在可见光谱中,人类皮肤反射红光的效果最好。
- 使用调试UI:Mercury有一个调试UI,它将向您显示摄像头所看到的画面以及手部追踪正在进行的操作。这可以帮助你调试一系列的问题。要获得调试UI,请使用环境变量OXR_DEBUG_GUI=1。
- Index:Libsurve头部追踪非常不完善。然而,相当多的应用程序在三自由度头部跟踪和六自由度手部追踪方面的效果出色,而且通常只测试手部追踪是最简单的方法。要使用三自由度追踪而不是libsurve,请使用环境变量VIVE_OVER_SURVIVE=1。
- WMR/Rift S:目前,由于自动曝光和动态范围的问题,所述头显的追踪性能并不令人满意。但这应该很快就会得到完全解决,不需要任何其他设置。不过,你现在可以使用环境变量AEG_USE_DYNAMIC_RANGE=true,并看到效果有所改善。通常情况下,如果效果不好,打开调试UI,查找摄像头可以看到的问题。
- Rift S:如果要对SteamVR/OpenComposite使用RiftS跟踪,请将环境变量RIFT_S_HAND_TRACKING_AS_CONTROLLERS to true设置为true。
更多相关信息请访问这个页面。
值得一提的是,Collabora的摩西斯·特纳(Moses Turner)曾撰文介绍了手部追踪的实现与优化经历。详细可点击《Linux平台OpenXR Monado手部追踪实现与优化》。