微软AR/VR专利探索”眼动+手部追踪“输入交互方式
眼+手追踪
(映维网Nweon 2024年08月12日)对于苹果Vision Pro,最为标志性的一个功能或许是眼+手追踪输入。现根据一份名为“Eye and hand tracking utilizing lensless camera and machine learning”的专利申请,微软同样有在探索手+眼追踪方案。
在一个实施例中,头显设备中的眼+手追踪系统配有使用光学掩模作为编码元件的无透镜摄像头系统。其中,编码元件对头显设备用户身体部位(例如眼或手)的光学图像应用卷积。卷积身体图像是由系统中的传感器捕获的编码表示,但非人类可识别。
像神经网络这样的机器学习系统配置为直接从编码表示中提取身体特征,而不需要执行反卷积,。所提取的身体特征由各自的眼或手追踪系统用来输出用户眼或手的相关追踪数据,这些数据可被头显设备用来支持各种应用和用户体验。
在各种说明性示例中,光学掩模由点扩展函数PSF描述,并且可以使用衍射光学元件来实现。折射光学元件如微透镜阵列、透镜或衍射和折射光学元件的组合同样可用于光学掩模。
......(全文 4048 字,剩余 3689 字)