雨果·巴拉:行业北极星Vision Pro过度设计不适合产品市场

开发者绕开限制实现Quest 3透视摄像头运行自定义计算机视觉模型

查看引用/信息源请点击:hackaday

巧妙地绕过了限制,并成功利用Meta Quest 3的透视摄像头来运行自定义计算机视觉模型

映维网Nweon 2024年08月19日)Meta并未向开发者提供前置透视摄像头的访问权限。不过,名为迈克尔·格斯瓦德内(Michael Gschwandtner)的开发者巧妙地绕过了限制,并成功利用Meta Quest 3的透视摄像头来运行自定义计算机视觉模型。

据介绍,这是利用开源的MobileNet V2目标检测模型,并以0.75Hz的帧率在Quest 3本地运行。系统将会构建一个网页视图,亦即嵌入在应用的Chromium浏览器实例。然后,网页视图会自动加载支持Quest投屏的网址(oculus.com/casting)。接下来,在窗口内使用Meta账号进行登录,通过Quest系统菜单启动投屏功能,从而将头显画面传送到本地运行的应用。

随后。对接收投屏画面的网页视图进行像素内容采样,并根据需要进行进一步处理。其中,演示视频将采样数据输入到谷歌的MediaPipe设备端SDK进行处理。

以这种方式,开发者能够获得前置摄像头的画面,并运行自定义的计算机视觉模型。

需要注意的是,生成的视图并不是真正直接来自摄像头,它类似于快照视图,这意味着包含像UI这样的虚拟元素。不过,格斯瓦德内表示他已为所述限制设计了另一个变通方案。

目前Meta尚未就这一情况进行置评,同时不确定后续是否会实施相应的限制。

本文链接https://news.nweon.com/123885
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

您可能还喜欢...

资讯