马里兰大学介绍人眼工作原理启发的摄像装置，极端光照下具有性能、低延迟、低功耗优势
查看引用/信息源请点击：techxplore
具有在极端光照条件下的优越性能、低延迟和低功耗等优势
（映维网Nweon 2024年07月02日）马里兰大学团队日前介绍了一种受人眼工作原理启发的摄像装置，而它可以用于机器人和AR/VR等一系列的领域。例如对于AR/VR，团队表示与传统摄像头相比，他们的发明具有在极端光照条件下的优越性能、低延迟和低功耗等优势，非常适合AR/VR应用。
近年来，新兴的事件摄像头/Event Camera/Event-Based Camera越来越受到行业的关注。Event Camera是一种生物启发式传感器，是研究人员受人类视网膜原理启发而设计了神经拟态视觉传感器。与传统摄像头不同，神经拟态视觉传感器没有“帧”的概念，并且是采用基于事件驱动的方式来捕捉场景中的动态变化。当现实场景中发生变化时，神经拟态视觉传感器会产生像素级的输出，即Event/事件。一个事件可以包括t，x，y，p。其中， x和y是事件在2D空间的像素坐标，t是事件的时间戳，p是事件的极性。事件的极性代表场景的参数变化（如亮度）: 上升（positive）或下降 (negative)。
事件摄像头的像素独立地报告对数强度的变化，而不是像传统摄像头那样以固定帧速率对所有像素进行采样。事件表示为（x，y）位置、极性和时间戳t的元组，每当测得的日志强度变化超过预设阈值时触发。这使得事件数据高效且稀疏，因为只记录场景变化。事件摄像头具有高动态范围(≈ 120 dB），几乎没有运动模糊，比传统摄像头耗电少，并且以亚毫秒的延迟报告事件。
然而，马里兰大学认为今天的事件摄像头在涉及大量运动时很难捕获到清晰、清晰的图像。所以，他们以人类自身作为参考，并尝试解答这样一个问题：人类和动物是如何确保视觉始终对焦在移动对象？
答案是微眼跳。当尝试对焦视线时，人类会不由自主地发生小而快速的眼球运动。通过微小而连续的运动，人眼可以随着时间推移而准确地将焦点集中在一个对象及其视觉纹理，比如颜色、深度和阴影。
团队认为，就像眼睛需要微运动来保持对焦一样，摄像头同样可以利用类似的原理来捕获清晰准确的图像，不会因为运动而产生模糊。
研究人员通过插入一个旋转棱镜来重新定向透镜捕获的光束，从而成功地复制了微眼跳。棱镜的连续旋转运动模拟了人眼中自然发生的运动，使得摄像头能够像人类一样稳定记录对象的纹理。
团队随后开发了软件来补偿棱镜在摄像头内的运动，以巩固从移动光线中获得的稳定图像。旋转楔棱镜的几何光学允许算法补偿额外的旋转运动，从而产生稳定的纹理外观和独立于外部运动的高信息输出。
在早期的测试中，名为AMI-EV的系统能够在各种情况下准确地捕获和显示运动，包括快速运动形状识别。研究人员同时发现，AMI-EV可以以每秒数万帧的速度捕捉运动，优于大多数典型的商用摄像头（平均每秒捕捉30到1000帧）。
他们指出，这样的系统可以用于从机器人到AR/VR的一系列领域。研究人员解释道：“凭借其独特的功能，事件传感器和AMI-EV已经准备好在智能可穿戴设备领域占据中心位置。与传统摄像头相比，它们具有明显的优势——比如在极端光照条件下的优越性能、低延迟和低功耗。所述功能非常适合虚拟现实应用，因为无缝体验和头部和身体运动的快速计算是必要的。”
