清华大学研究团队探索低成本实时VR/AR观赛框架
探索新的低成本和实时的VR/AR观赛框架
（映维网Nweon 2024年11月06日）近年来，虚拟现实和增强现实技术的快速发展为体育领域带来了一个全新的工具，包括观赛和训练等方面。VR/AR沉浸式可视化代表了一项革命性的技术，为用户提供了一种新颖的观赛和训练体验。然而，在这方面的相关研究依然相对缺乏。
所以，清华大学的研究人员提出了一个在VR/AR平台进行体育比赛分析和实时可视化的综合系统。首先，团队利用多视点激光雷达和摄影机来收集多模态比赛数据，随后提出了一个基于有限监督数据的多运动员追踪和姿态估计框架，以从点云和图像中提取精确的运动员位置和运动。另外，对运动员进行角色建模，获得3D模型。最终，利用3D运动员数据，在VR/AR进行比赛分析和实时可视化。
大量的定量实验证明了多运动员追踪和姿态估计框架的准确性和鲁棒性，而可视化结果则展示了所述体育可视化系统在VR/AR设备观看比赛方面的巨大潜力。
随着科技的飞速发展，体育产业正在经历一场前所未有的变革。科技和体育的紧密结合开辟了新的研究和实践领域，并展示了巨大的潜力和价值。
例如，体育比赛与AR/VR技术的融合开启了观赛体验的新篇章。VR/AR技术可允许观众有身临其境的感觉，从不同的角度和距离观看比赛，并选择跟随特定运动员的视角，这大大增强了观看比赛的沉浸感。对于无法观看比赛的球迷来说，VR/AR观看提供了一个绝佳的替代解决方案。
另外，观众可以与其他观众或虚拟环境中的元素交互，从而提供更加个性化和交互性的观赛体验。
随着VR/AR产品的日益普及和性能的不断提高，这为VR/AR观赛奠定了基础。然而，目前的VR/AR观赛方法通常需要大量的摄像机阵列来收集比赛数据，导致成本高，难以应用于常规比赛。
另外，它们需要很高的计算成本来渲染，使得难以实时广播事件，限制了它们在比赛重播中的使用。因此，迫切需要探索新的低成本和实时的VR/AR观赛框架。
在研究中，清华大学以一种新颖的视角来解决VR/AR观赛的挑战，同时实现对比赛数据的分析。首先，通过多模态和多视角传感器收集比赛数据。随后，采用多目标追踪和姿态估计算法来感知运动员的位置和运动，使用Avatar建模算法来创建3D可驱动模型。最后，基于位置和姿态结果驱动Avatar模型，以在虚拟空间中可视化它们。
另外，团队构建了一个新的多模态数据集来评估所提出的方法。数据集包括在各种现实场景中从两场篮球比赛中捕获的近11000帧。3D多目标检测和追踪对于视觉监视和球员追踪至关重要。
最近的大多数多目标追踪方法遵循检测追踪范式，其中首先通过检测获得目标，然后通过数据关联将目标与先前的轨迹联系起来。由此产生的轨迹可以用于运动分析，如跑步速度和总距离。传统的球员追踪系统通常使用多视角RGB摄像头来观察场景。但较差的光照、有限的前景识别能力、相似的外观以及不准确的深度估计都会影响效果。
近年来，基于激光雷达的系统发展迅速，成本越来越低，并可实现精确的3D物体检测和追踪。由于点云提供精确的三维信息，基于三维检测结果可以产生稳健的追踪轨迹。然而，由于缺乏外观信息，基于激光雷达的系统容易由于对极近对象的检测性能差而导致追踪错误。
在研究中，清华大学提出了一种融合多视点激光雷达和摄像头的在线追踪方法。为了提高动态目标感知的可靠性和准确性，可以利用多模态传感器提供更丰富的线索，从而减少检测和追踪误差。
另外，人体姿态估计是计算机视觉中的一项基本任务。具体来说，多视图图像数据集可以比单视图数据集实现更精确的3D人体姿态估计，因为多视图能够从极极几何中捕获3D信息。随着技术的进步，研究人员在多视图图像数据集中取得了可喜的成果。
不过，实际场景比现有的公共数据集更具挑战性。团队指出，通过结合不同的传感器，如激光雷达和RGB摄像头，有可能在多种情况下提高3D人体姿态估计性能的准确性。考虑整合来自不同类型和视图的传感器信息，并将它们融合，这可以显著提高三维人体姿态估计的准确性。
研究人员提出了一个三维人体姿态估计管道PointVoxel，以有效、合理地融合RGB和点云。对于多模态特征融合，团队将不同的模态统一到一个保留每个模态几何特征的体积空间中。为了在没有姿态标签的挑战性场景下获得更好的结果，他们采用了先在合成数据集进行预训练，然后在目标数据集进行无监督域自适应训练的方法。
团队提出的VR/AR观赛框架遵循动画制作领域的建模和驱动过程，包括使用真人Avatar建模技术对比赛中的运动员进行预建模，并通过多运动员追踪和姿态估计获得虚拟运动员的位置和姿态，从而驱动虚拟运动员。
然后，他们利用Unity软件实现比赛的3D重建和渲染，并将其部署在VR/AR终端，从而为观众提供身临其境的观看体验。
总的来说，这项研究为体育比赛分析和VR/AR可视化提供了一种新的方法。通过利用多模态和多视角激光雷达和摄像头进行数据收集，再加上用于多人追踪和姿态估计的新框架，研究提高了体育可视化和分析的准确性。另外，角色建模和球员驱动的整合为观众提供了更加身临其境和引人入胜的体验，同时增强了可用性和交互性。
清华大学团队指出，系统以实时性能和成本效益而脱颖而出。当然，团队坦诚，尽管在VR/AR可视化过程中高效地完成了球员的3D建模和动作，但并没有考虑到某些特定于比赛的工具，例如篮球和足球比赛中的篮球和足球，或者网球和羽毛球比赛中的球拍。所以在未来的研究中，团队将专注于相关工具的建模和追踪，从而增强观赛体验的真实感和完整性。
