微软新HoloLens专利可用深度学习减少ToF功耗,延长系统续航

查看引用/信息源请点击:映维网

减少功耗,从而延长MR系统的续航时间

映维网 2021年01月13日)为了捕捉复杂的3D几何图形,MR系统依赖于深度估计系统生成的深度信息。利用深度信息,MR系统可以确定设备和特定对象之间的相对距离,同时能够识别对象的特定轮廓、边面和形状。行业存在不同类型的深度估计系统,如飞行时间系统、点对点激光扫描和干涉测量等。

由于受环境影响小,测量帧率高,算法开发难度低等特性,飞行时间正日益受到厂商的关注。但这项技术的一个缺点是,为了计算单个深度映射或曲面网格,系统需要捕获大量的红外图像。图像越多,功耗就会大幅增加,从而缩短MR系统的续航。

为了提升MR系统的续航,同时为了利用高质量的深度信息来继续提供高质量MR体验,微软工程团队一直在探索不同的解决方案。日前,美国专利商标局公布了一份名为“Machine-learned depth dealiasing”的微软专利申请。

这份专利主要描述了一种优化深度估计操作的技术,方式是对红外相位深度图像的深度ambiguity进行dealiasing。微软指出,发明所述的技术可用于需要深度信息的任何场景,包括但不限于混合现实和自动驾驶。

在实现方面,可以致使照明器向目标对象发射参考光;作为响应,检测反射光,其中反射光包括从目标对象反射的一部分参考光;然后生成相位图像;产生相位图像的过程基于参考光和反射光之间的相位差。

其中,相位差表示参考光和反射光的重叠正弦周期内的深度变化。另外,相位图像包括ambiguity,这是因为即便实际对应于不同的真实世界深度,由相位图像表示的多个不同深度都共享相同的相位差/偏移值。

接下来,可以将相位图像作为输入输入到机器学习组件之中。机器学习组件可特别配置为对相移信息中的ambiguity进行dealiasing。在执行dealiasing操作时,机器学习组件针对相位图像中的每个像素确定相应的de-aliasing interval。然后基于相位图像,以及由机器学习组件生成的任何de-aliasing interval来生成深度贴图(或曲面网格)。

通过对ambiguity进行dealiasing处理,可以大大减少需要生成的相位图像数量,因而能够在执行深度映射生成或点云生成(或者甚至表面重建)时显著降低飞行时间深度成像和深度计算系统消耗的功率。例如,通过专利描述的实施例,“所生成的相位图像的数目可以从9个或6个图像,甚至减少到3个、2个或潜在的1个图像,从而实现显著的功率降低和更少的数据处理、存储和传输。”

另外,这项技术能够减少达到深度所需的激光照明时间,并因而延长红外照明器的使用寿命。不仅只是这样,所述技术同时可以扩展深度估计系统的操作范围,例如6米远,甚至可以达到14米。利用专利描述的机器学习特征,一些实施例不存在深度范围的上线。所以,在描述的部分实施例中,深度估计可以超过14米,甚至超过20米。

相关专利Machine-learned depth dealiasing

名为“Machine-learned depth dealiasing”的专利申请最初在2019年7月提交。需要注意的是,这只是专利申请,而且文中所述只是理论,不确定实际的应用效果。

本文链接https://news.nweon.com/82209
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

更多阅读推荐......

资讯