英伟达为远程会议通话研发AI 3D视频聊天解决方案
团队提出的系统支持多种现成的3D显示器,包括立体显示器和光场显示器。
(映维网Nweon 2023年08月16日)第一批商用视频会议系统于50多年前出现,并允许人们能够在看到和听到千里之外的同事,朋友或家人。视频会议的最终目标是实现远程参与者之间的沉浸式通信,就好像大家置身在同一个物理位置一样。
尽管3D视频会议的最新发展已经呈现出捕获眼神交流和其他非语言线索的潜力,但现有系统需要昂贵的3D采集设置。
所以在一个名为“AI-Mediated 3D Video Conferencing”的项目中,英伟达,美国加利福尼亚大学圣迭戈分校,以及北卡罗来纳大学教堂山分校的人员通过AI人工智能的方法实现了一种高保真低成本的3D远程呈现方法,并且提供了基于3D扫描的方法所无法提供的新功能。
另外,团队提出的解决方案支持多种现成的3D显示器,包括立体显示器和光场显示器。
值得一提的是,谷歌同样有在利用AI来优化他们的光场通话项目Project Starline。作为说明,Project Starline基本上是一个3D视频聊天室,主要通过光场技术来营造一种对方仿佛真的坐在你对面一样。这个突破性的远程通信工具结合了谷歌在硬件和软件方面的进步,并旨在提升朋友、家人和同事实现远程共在时的临场感。

回到英伟达团队的“AI-Mediated 3D Video Conferencing”项目。如上图所示,团队在SIGGRAPH大会展示了所述设置,并撰文进行了介绍。

上图显示了系统的管道,它包括一个记录和传输来自单个RGB网络摄像头的2D视频的sender;以及一个接收2D视频并将其提升到3D,从而为相应3D显示呈现新颖视图的receiver。
......(全文 1321 字,剩余 754 字)


