微软专利可根据HoloLens收集数据重建用户MR会话情景

查看引用/信息源请点击:映维网

简单来说,可以根据MR设备收集的数据来重建当时的MR用户会话情景,从而进行各种分析。

映维网 2021年12月28日)当混合现实头显记录惯性运动数据以响应用户头部运动时,运动数据可能不会直接指示用户身体的动作或此类动作背后的意图。所述动作及动作的意图对于确定用户是否遵循流程非常有帮助,例如在制造流程中执行满足特定要求的行动。在另一个用例中,可以保留记录的数据,并允许以后查询MR记录数据并获得不同的见解时。

换句话说,这就像从多用户MR体验中获取所有记录数据,并将其作为可查询的数据集。其中,许多不同类型的查询可能包括已知或可能未知的情景派生动作。

在名为“Reconstructing mixed reality contextually derived actions”的专利中,微软针对上述问题提出了一种针对方法。

在MR体验中,房间或结构等空间都是以数字方式表示。在会话期间,可以通过用户佩戴的头显收集有关用户位置或动作的数据。可以对收集的数据进行分析,以便更好地了解用户在体验过程中所做的事情。其中,可以估计身体在MR体验期间的位置或动作,并相应地创建动画。然后,可以播放动画,从而基本上提供用户体验的视觉重放,以便后续的分析判断。

对于以上描述,简单来说,可以根据MR设备收集的数据来重建当时的MR用户会话情景,从而进行各种分析。

图1是用于生成记录的用户MR体验的动画视图的系统100的框图表示。MR设备110用于记录不同类型的数据,例如惯性运动单元(IMU)数据115、摄像头数据120和其他数据125。IMU数据可由商用MR头显中的惯性传感器提供。IMU数据通常包括表示六自由度惯性运动的数据,包括向左、向右、向前、向后、向上和向下的运动。摄像头数据120可以包括视频和深度数据。其他传感器数据可包括由麦克风收集的声音、用户眼睛追踪信息以及诸如温度等其他数据。在进一步的实施例中,其他传感器数据可以包括心率和其他生理数据。

MR设备110同时包括空间数据130。空间数据130可以通过最初使用MR设备110扫描诸如房间或结构之类的空间来创建,以捕获将发生MR体验的空间的数字表示。如果先前已经扫描了空间,则空间数据130可以简单地检索以促进MR体验。

可以使用设备扫描空间,例如在房间内缓慢走动并查看各种结构,例如墙壁、天花板、地板、家具等。在进一步的实施例中,可以使用多个设备来执行扫描并协作以贡献几何体。扫描包括几何体扫描,并且可以由能够捕获到空间内的对象和表面的距离并生成包含空间数据的空间的三角形网格表示的任何设备来执行。

然后,包括记录的数据提供给动作推理引擎140。动作推理引擎140可以在基于云的计算资源、基于服务器的资源、MR设备或其他计算资源中执行。记录数据145包括IMU数据115、摄像头数据120和其他传感器数据125。此类数据可由MR设备110处理,以代表MR设备110在MR空间中的位置。此外,记录的数据145同时可以包括来自MR设备110的原始传感器数据和在MR体验记录期间捕获的附加数据147。这样的附加数据147可以包括诸如用户ID、元数据、来自所使用的控制器的数据以及其他数据等数据项。

可通过用户输入160提供情景数据155。用户输入可以通过与MR设备110的用户交互来提供,或者通过与动作推理引擎140通信的单独输入机制来提供。情景数据可以包括用户数据符号、过滤器、查询和其他输入,用于为用户MR体验提供情景和查询存储的用户体验,例如搜索已推断的特定动作。

过滤器165可用于选择对重建MR用户会话场景的重播有意义的推断动作。用户输入160可用于定义过滤器165通过或拒绝重播的推断动作。用户输入160同时可用于覆盖165处的过滤器。

重播可以使用用户实际正在做什么的计算推断来创建,以创建在空间的数字表示中执行推断动作的角色化身身体。例如,当用户佩戴MR设备110时,可以通过几种方法来推断用户的身高,例如,在一段时间内取平均身高最大值,或者具有用户站着不动而站着的设置阶段。用户的身高同时可以从具有用户物理信息的服务器进行检索,如元数据。基于记录中的用户高度和当前MR设备高度,系统可以推断,如果高度差满足阈值数字或百分比,则用户为蹲着。

进一步的IMU数据可用于根据在高度差变化时检测到的选定运动阈值推断用户正蹲在左侧或右侧。基于MR设备运动和由MR设备110提供的IMU数据,动作推理引擎140推断动作,例如用户正在行走、他们行走的速度以及行进的时间、倾斜、跳跃、说话、躺下、爬行等等。

图2是示出由推理机140执行以推断动作的示例方法200的流程图。每个动作可以有一个对应于所述动作的算法,或者可以使用一个算法来推断多个不同的动作。

在操作210,每个算法可以接收记录的数据和其他数据。对于方法200的算法,其设计用于基于用户在体验期间每个给定时间点的速度推断动作,并确定用户静止、行走或跑步。在操作215,基于用户位置随时间的变化来确定用户的瞬时速度。速度同时可以由MR设备110直接提供。在判定操作220,方法200确定速度是处于零还是接近零。可以使用阈值,例如小于0.1公里/小时。如果是,则操作220在225处推断当前动作是用户仍在原地或没有移动。

重播170可以由任何合适的动画系统生成,以基于空间数据再现未具体记录的现实,并提供来自不同视角的视图。在教学、训练、运动或工作环境中,可以使用缩放和平移功能来评估用户的动作和行为。另外,根据系统输入,可以更改动画速度、方向、强度等。例如,如果用户的头部非常稳定,则动画可以降低强度以显示虚拟化身正在轻轻地行走。相反,如果用户的头部不太稳定且振动较大,则动画强度可能会增加,以显示用户更像是在跺脚。

在一个实施例中,由动作推理引擎140推断出的动作可以存储在存储器中以备将来使用,例如在MR记录数据145、空间数据150和情景数据155中的一个或多个处,或者甚至存储在作为数据库的单独存储设备中。用户输入160可用于选择要查看的重播,以及查询存储在145、150和155处的数据或与一个或多个重播相对应的其他存储器。查询可能包括用户体验的许多不同方面,包括推断的操作。

例如,一个数据可以指示用户的头向下移动,并且可以查询用户当时在做什么以及他们的意图是什么。在安全警卫的示例中,可以使用对MR设备110的较低高度的改变来推断警卫出于安全原因正在查看汽车下方。

方法200可在经验记录期间定期重复,以确定每个动作发生的时间。速度和动作可用于生成重播170。

在一个实施例中,可以使用识别动作的机器学习技术。用于训练一个或多个模型的训练数据集可能包括标记有相关动作的记录数据。在进一步的实施例中,训练数据可以包括标记的用户特定的先前记录的数据,或者甚至可以包括来自多个用户的标记数据。

在进一步的实施例中,可以根据IMU数据115推断用户正在观看或注视全息对象,例如苹果。眼睛追踪数据也可用于更准确地检测用户注视全息对象的情况。这样的推断可以在回放中使用颜色绘制对象的表面,例如苹果在用户视场内时的红色或绿色。

此外,如果将用户意图或规则集应用于数据,则可以标记或设置进一步的操作。在一个例子中,四名佩戴头显的用户正在体验全息怪物的MR体验。其中三个角色一起旅行,而一个用户在体验中自行移动。这是数据中记录的所有内容,其他包括怪物的位置。通过应用从附加数据147获得的意图或通过用户输入160输入的意图,可以推断出更好的衍生动作并在重播中表示。例如,这个用户是不是在侦察?如果是,所述动作可以更好地分析为试图避开全息怪物的视野。

用户正在侦察的区域也可能被标记为团队的清理区域。如果用户实际上是怪物团队中的一员,那么用户的操作应该以相同的方式进行,但对于另一个团队。该用户是否只是需要休息一下,并试图离开体验?如果是这样,重播170可以使用体验之外的角色设置动画。这种带有推断动作的播放可用于游戏,但同时可用于许多不同场景,如MR训练模拟。

图3是示出推断动作和创建佩戴MR设备的一个或多个用户的混合现实(MR)体验的动画回放的方法300的流程图。在操作310,记录代表在用户的混合现实体验期间由混合现实设备感测的用户体验的数据。在操作320处处理记录的数据以推断用户在混合现实体验期间执行的动作。在操作330,基于记录的数据和推断的动作创建混合现实体验的增强重放。播放提供用户的表示,并反映用户在体验期间执行的推断动作。

在一个示例中,增强重播包括代表用户的虚拟化身,其中虚拟化身正在执行推断的一个或多个动作。

在另一个示例中,记录的数据包括数字表示空间内随时间变化的用户位置数据。处理所记录的数据可包括根据随时间变化的位置数据确定用户的速度,并响应于所确定的速度推断行走动作或跑步动作。

图4是说明推断进一步动作的方法400的流程图。在操作410,检测到记录的数据包括特定的声音,例如在混合现实体验期间发生的锤子敲击物体的声音。或者,可以检测到与锤击相关的振动。可将特定声音或振动或两者识别为对应于操作420处的已知动作。在操作430,基于所识别的声音或振动或两者来推断动作。在操作440处,可更新增强重播以反映推断的动作。

图5是示出基于记录数据推断意图的方法500的流程图。在操作510,根据记录的数据确定用户的角色。在操作520处处理记录的数据,以在作为角色的函数的一个或多个推断动作期间推断用户的意图。关于推断意图的反馈可在操作530处接收,并用于基于所接收的反馈在操作540处修改记录的数据。可在操作550基于修改后的记录数据修改增强重播。

图6是说明推断次要动作的方法600的流程图。在操作610,接收推断动作。在操作620,基于一个或多个推断动作推断辅助动作。然后,作为推断的次要动作的函数,可在操作630处生成或修改增强重播。

图7是示出查询代表用户MR体验的数据的方法700的流程图。结果可以是列表的形式,其中包含指向列表中项目所在的一个或多个重播的链接。结果同时可以是作为查询主题的一个或多个操作的出现次数的聚合。

一个示例查询可以请求用户在一次或多次MR体验中行走、慢跑、跑步或旅行的米数。另一个例子可能要求用户蹲下多少次,或者蹲下的时间。另外,可以查询特定的推断动作。

通过上面描述的方式,系统可以根据MR设备收集的数据来估计重建当时的MR用户会话情景,以便后续重播并进行各种有用的分析。

相关专利Microsoft Patent | Reconstructing mixed reality contextually derived actions

名为“Reconstructing mixed reality contextually derived actions”的微软专利申请最初在2020年6月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/92963
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

更多阅读推荐......

资讯