索尼专利提出基于光强度CMOS和事件检测传感器,高速预测VR/AR头显追踪

查看引用/信息源请点击:映维网

结合光强度光电二极管和事件检测传感器来进行追踪

映维网 2021年07月21日)为了正确地呈现虚拟图像及其他原因,当前的AR系统必须追踪头显姿态、用户的眼睛和双手。一般来说,AR系统通过RGB传感器和红外传感器,眼动追踪摄像头,以及计算机视觉技术来完成所述任务。

为了减少延迟和提高追踪性能,AR系统可能采用高速摄像头,增加摄像头数据帧速率。但这同时意味着需要更高的带宽和处理负载。所以,头显耗电量和发热量会相对较大。

针对这个问题,索尼申请了一份名为”Combined light intensity based cmos and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality hmd systems“的专利,并介绍了利用基于光强度的CMOS和事件检测传感器来为VR/AR头显系统进行高速预测追踪和延迟补偿。

为了解决上述挑战,索尼提出的传感器系统包括具有捕获RGB和IR图像的光强度光电二极管的传感器单元,以及借助于EDS原理检测运动的事件检测传感器(EDS)感测单元。

摄像头传感器系统可配置为以中等速度(如每秒两百帧)和相对较高的速率(如每秒两千帧以上)捕获RGB/IR帧。事件检测传感器使用一个或多个摄像头像素感测到的光强度变化作为运动指示。

智能图像信号处理器(ISP)使用算法过程获取中速RGB/IR图像,并基于从事件检测传感器感测单元确定的运动创建预测图像。其中,所述ISP过程可以使用算法来外推光运动流,或者可以使用体现在一个或多个神经网络中的机器学习算法。

与现有摄像头传感器不同,组合的RGB/IR/EDS传感器系统接受数字时间值D(如以微秒为单位)作为输入,并用于请求未来预测的摄像头图像帧。摄像头传感器系统响应地提供两个摄像头图像帧输出:即具有当前时间戳的最新RGB/IR摄像头帧,以及具有等于当前时间戳加时间值D的时间戳的预测RGB/IR摄像头帧。

索尼指出,摄像头传感器系统可以在请求模式(仅在请求时发送图像数据)下工作,而不是轮询模式(持续发送图像数据)。由于EDS的使用,摄像头系统可以提供具有相对较大动态范围的预测图像帧,允许在低光或高背光场景中拍摄。在任何情况下,摄像头传感器系统都可以在较低的带宽和功耗下提高追踪性能(相当于使用非常高速的摄像头)。

在示例应用中,在AR头显运行的AR应用程序计算用户何时在显示器中看到新虚拟图像的预测时间。所述预测时间基于针对给定图像帧完成所有头显应用处理所耗费的时间,以及将图像帧传输到显示器并向用户眼睛发射光线的时间。所述总预测时间可用作摄像头传感器系统的输入。

摄像头逻辑

应用逻辑

在一个实施例中,摄像头传感器系统包括用于头显六自由度姿态的SLAM RGB/IR系统、用于手部追踪的RGB/IR传感器、以及用于眼动追踪的RGB/IR传感器。

除了提高追踪性能外,具有未来帧预测功能的RGB/IR+EDS摄像头系统同时可以为头显提供低延迟的真实世界图像。

总体来说,索尼描述的系统包括头戴式显示器,头戴式显示器又包括至少一个配置为生成红绿蓝(RGB)图像的摄像头单元。所述系统进一步包括至少一个图像信号处理器(ISP)和至少一个事件检测传感器(EDS),所述事件检测传感器配置成向ISP输出表示照明强度变化的信号,以允许ISP控制摄像头单元在当前时间=t生成第一RGB图像,并从所述RGB图像外推未来时间=t+D的预测图像。

在一个实施例中,摄像头单元可配置为生成红外(IR)图像。摄像头单元、ISP和EDS可布置在单个芯片之上。由所述元件进行的处理可以由数字信号处理器(DSP)实现。

在一个实现中,ISP配置为从至少一个与头显相关联的应用程序接收时间值D,并将第一图像和预测图像返回给所述应用程序。

在一个实施例中,ISP配置有可由ISP执行的指令,以在时间t+D生成第二RGB图像。在这样的实施例中,ISP可以配置为具有可由ISP执行的指令,以执行至少一个神经网络(NN)来生成预测图像并将第二图像反馈给NN,从而训练NN。在特定实施例中,至少部分地基于与第一图像相关联的时间戳(其匹配与第二图像相关联的时间戳),将第一(未预测)图像和第二(预测的)图像之间的差异反馈给NN。

时间t+D的第二RGB图像可以从历史缓冲区中检索。另外,EDS数据可以从历史缓冲区中检索。

相关专利Sony Patent | Combined light intensity based cmos and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality hmd systems

名为”Combined light intensity based cmos and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality hmd systems“的专利申请最初在2020年1月提交,并在日前由美国专利商标局公布。需要注意的是,这只是一份专利,不清楚索尼是否会或将于何时商业化所述发明技术,同时不确定实际的应用效果。

本文链接https://news.nweon.com/87730
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯