Facebook专利介绍Quest MR如何实现物理表面集成和物理键盘追踪

查看引用/信息源请点击:映维网

将物理对象带到虚拟现实

映维网 2021年05月11日Facebook早前宣布将为Infinite Office带来两项全新的功能:物理表面集成和追踪物理键盘的能力。

简单来说,你能够将罗技K830等物理键盘挪移到以物理平面作为基础进行渲染的虚拟办公空间,然后头显将追踪物理键盘和用户双手,并在虚拟空间中实时地渲染对应的3D表示。

日前,美国专利商标局公布了一份Facebook于2019年11月提交的专利申请:“Porting physical object into virtual reality”,其主要介绍了上述功能的技术过程。

在一个实施例中,检测位于物理空间中的输入设备。在一个实施例中,显示设备向用户提供检测到的输入设备的虚拟模型。在一个实施例中,虚拟模型在虚拟空间中的位置和方向对应于输入设备相对于用户在物理空间中的位置和方向。在一个实施例中,相对于虚拟空间中的虚拟模型,通过显示设备以视觉方式提供关于用户与输入设备交互的空间反馈。

在一个实施例中,根据输入设备在物理空间中的位置和方向来确定虚拟模型在虚拟空间中的位置和方向。在一个实施例中,根据虚拟模型在虚拟空间中的确定位置和确定方向,渲染包括输入设备的虚拟模型的虚拟空间图像。在一个实施例中,检测用户在物理空间中的移动。在一个实施例中,根据所检测到的用户移动来确定虚拟模型相对于用户位置和方向的变化。在一个实施例中,根据虚拟模型相对于用户的位置和方向变化,渲染包括输入设备的虚拟模型的另一虚拟空间图像。

在一个实施例中,根据检测到的输入设备的位置和方向确定虚拟模型的六自由度。在一个实施例中,对输入设备的检测包括捕获输入设备的图像,以及输入设备在输入图像中的轮廓或布局。在一个实施例中,从多个候选模型中识别具有匹配轮廓或布局,或最接近输入设备轮廓或布局的候选模型。在一个实施例中,响应于具有匹配轮廓或布局的候选模型,或者与输入设备的轮廓或布局最接近的候选模型,将候选模型确定为虚拟模型。在一个实施例中,检测捕获图像中输入设备的轮廓或布局包括确定输入设备的按键排列。

在一个实施例中,头戴式显示器包括配置成捕获物理空间图像的成像传感器、处理器和非暂时性计算机可读介质。在一个实施例中,非暂时性计算机可读介质在由处理器执行时存储指令,使得处理器激活物理空间中的物理对象以在透视模式期间生成物理对象的虚拟模型,以及在虚拟现实模式中渲染物理对象的虚拟模型。

在一个实施例中,头戴式显示器包括显示设备,所述显示设备配置成在透视期间向头戴式显示器的用户呈现物理空间的视图,并且在虚拟现实模式期间向头戴式显示器的用户呈现虚拟空间的视图。在虚拟现实模式期间,显示设备可以不向头戴式显示器的用户呈现物理空间的视图,或者可以遮挡物理空间的视图。

在一个实施例中,非暂时性计算机可读介质在由处理器执行时存储指令,使得处理器在透视模式期间检测物理空间中的物理对象,以及识别所检测物理对象的虚拟模型,从而在透视模式期间激活物理空间中的物理对象。当由处理器执行时,非暂时性计算机可读介质可以存储指令,使得处理器根据检测到的物理对象在物理空间中的位置和方向来确定虚拟模型在虚拟空间中的位置和方向,以及根据所确定的虚拟模型在虚拟空间中的位置和方向,呈现所述物理对象的虚拟模型的第一图像。

在一个实施例中,头戴式显示器同时包括配置成在虚拟现实模式期间检测或追踪头戴式显示器移动的传感器。在一个实施例中,当由处理器执行时,非暂时性计算机可读介质存储指令,使得处理器根据检测到的头戴式显示器移动来确定虚拟模型的位置和方向的变化,以及根据所述虚拟模型的位置和方向变化来呈现所述物理对象的虚拟模型的第二图像。

延伸阅读Facebook Patent | Porting physical object into virtual reality

名为“Porting physical object into virtual reality”的Facebook专利申请最初在2019年11月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/85656
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯