Valve专利介绍了利用光流来进行VR头显追踪的传感器系统
传感器集成电路中的每一个可以是能够测量光流或视觉运动，并且能够输出基于光流的测量的视觉传感器
（映维网 2021年05月24日）日前美国专利商标局公布了V社一份用于头显定位追踪的专利申请。名为“Position tracking system for head-mounted displays that includes sensor integrated circuits”属于一份专利延续案，并主要介绍了包括利用光流来进行头显追踪的传感器系统。
据百科介绍，当物体在运动时，图像对应点的亮度模式同样在运动。这种图像亮度模式的表观运动就是光流（optical flow）。光流表达了图像的变化，由于它包含了目标运动的信息，所以可用来确定目标的运动情况，并用来帮助判断追踪对象的位置。
图2是示例性头戴式显示器的前视图。208a-n#皆为光流传感器集成电路
专利描述的头戴式显示器可包括穿戴于用户头部的支撑结构；由支撑结构承载的摄像头；由支撑结构承载的多个光流传感器集成电路；至少一种非传输处理器可读存储介质；以及至少一个耦合到摄像头、多个光流传感器ic和至少一个非传输处理器可读存储介质的处理器。
在操作中，摄像头以第一帧速率捕获视场中的图像传感器数据。多个光流传感器集成电路中的每一个以第二帧速率在各自视场捕获图像传感器数据。传感器集成电路视场比摄像头视场窄，第二帧速率大于第一帧速率。处理器从摄像头和多个光流传感器集成电路接收图像传感器数据，对接收到的图像传感器数据进行处理；并至少部分地根据图像传感器数据的处理来追踪头戴式显示器的位置。至少一个处理器可以融合来自摄像头和多个光流传感器集成电路的图像传感器数据以追踪头戴式显示器的位置。
多个光流传感器集成电路中的每一个可以包括单个die，其具有图像感测电路和图像处理电路。第一帧速率可以小于或等于每秒100帧，并且第二帧速率可以大于或等于每秒1000帧。至少一个处理器可以处理接收到的图像传感器数据，以检测头戴式显示器工作环境中存在的一个或多个特征。每个传感器集成电路视场可以与摄像头视场的一部分重叠。摄像头视场可能大于100度。
头戴式显示器另外可同时包括一个耦合到至少一个处理器的惯性测量单元（IMU）传感器。在操作中，处理器从IMU传感器接收IMU传感器数据，并从摄像头和多个光流传感器集成电路接收图像传感器数据。然后，处理器至少部分地根据对接收到的IMU传感器数据和接收到的图像传感器数据的处理来追踪头戴式显示器的位置。
如专利图3所示，前置摄像头#206和传感器集成电路#208正朝向用户场景或环境#214。环境#214可包括其中的一个或多个对象#213，一个或多个对象#213可以是墙面、天花板、家具、楼梯、汽车、树木或任何其他类型的物体。
出于解释目的，图3中仅显示传感器集成电路208a、208d、208j和208l。如图所示，前置摄像#206包括具有视场角#207（如60度、90度、120度、150度）的视场#210。每个传感器集成电路具有各自的视场#212，其具有各自的视场角#209。在至少一个实施方式中，传感器集成电路的视场角#209比前置摄像头视场角#207窄。
在至少一个实现中，前置摄像头#206、传感器集成电路#208和/或IMU#216可与一个或多个基站或其他技术结合使用，从而追踪头显系统的位置。
例如，多个传感器集成电路可用于检测光流。在操作中，多个传感器集成电路中的每一个以第二帧速率在相应的视场中捕获图像传感器数据，并利用光流数据来对头显系统进行追踪。
在至少一个实现中，传感器集成电路中的每一个可以是能够测量光流或视觉运动，并且能够输出基于光流的测量的视觉传感器。传感器集成电路可以具有各种配置。一个示例配置是连接到编程为运行光流算法的处理器的图像传感器芯片。另一示例配置使用视觉芯片，视觉芯片可以是在同一芯片同时具有图像传感器和处理电路的集成电路，从而允许紧凑的实现。在至少一个实现中，可以使用模拟信号或混合信号电路来实现处理电路，以使用最小电流消耗来实现快速光流计算。每个传感器集成电路可包括光电材料的光电传感器阵列以形成像素阵列。另外，每个传感器集成电路可包括相关联的透镜系统以实现所需的光学特性。
名为“ Position tracking system for head-mounted displays that includes sensor integrated circuits”的专利申请最初在2021年1月提交，并在日前由美国专利商标局公布。
