开发者绕开限制实现Quest 3透视摄像头运行自定义计算机视觉模型
巧妙地绕过了限制,并成功利用Meta Quest 3的透视摄像头来运行自定义计算机视觉模型
(映维网Nweon 2024年08月19日)Meta并未向开发者提供前置透视摄像头的访问权限。不过,名为迈克尔·格斯瓦德内(Michael Gschwandtner)的开发者巧妙地绕过了限制,并成功利用Meta Quest 3的透视摄像头来运行自定义计算机视觉模型。
据介绍,这是利用开源的MobileNet V2目标检测模型,并以0.75Hz的帧率在Quest 3本地运行。系统将会构建一个网页视图,亦即嵌入在应用的Chromium浏览器实例。然后,网页视图会自动加载支持Quest投屏的网址(oculus.com/casting)。接下来,在窗口内使用Meta账号进行登录,通过Quest系统菜单启动投屏功能,从而将头显画面传送到本地运行的应用。
随后。对接收投屏画面的网页视图进行像素内容采样,并根据需要进行进一步处理。其中,演示视频将采样数据输入到谷歌的MediaPipe设备端SDK进行处理。
以这种方式,开发者能够获得前置摄像头的画面,并运行自定义的计算机视觉模型。
需要注意的是,生成的视图并不是真正直接来自摄像头,它类似于快照视图,这意味着包含像UI这样的虚拟元素。不过,格斯瓦德内表示他已为所述限制设计了另一个变通方案。
目前Meta尚未就这一情况进行置评,同时不确定后续是否会实施相应的限制。