谷歌AR/VR专利提出根据用户注视点确定聚焦波束成形方向
根据用户注视点来确定聚焦波束成形的方向
(映维网Nweon 2023年03月31日)对于支持语音到文本转录功能的AR眼镜,由于搭载的是全向麦克风,区分不同方向的声音相当困难,从而导致语音到文本的转录不准确。尽管波束成形可以将麦克风阵列的整体灵敏度聚焦到特定方向,从而帮助区分不同方向的声音,但在判断聚焦方向时依然存在挑战。
所以在名为“Foveated beamforming for augmented reality devices and wearables”的专利申请中,谷歌提出可以根据用户注视点来确定聚焦波束成形的方向。
其中,可以通过跟踪用户的一只或多只眼睛来确定,以确定他们稳定而专注地看在哪里。这种眼睛跟踪波束成形(即中央凹波束成形)可以用于增强来自用户正在观看的方向(即凝视方向)的声音,并抑制来自其他方向的声音。
当使用波束成形音频时,语音到文本算法可以更准确和梗相关。另外,通过从注视方向突出显示语音,可以使语音到文本的文字记录更容易理解。
......(全文 3290 字,剩余 2945 字)