TimeGAN头部旋转数据生成技术通过深度学习模型合成逼真XR用户运动时序数据
扩展头部旋转数据集
（映维网Nweon 2025年05月22日）XR是向用户传送多媒体内容的一种革命性方法。它受欢迎的一大原因是沉浸感和交互性。对于扩展现实，生成和传输的内容在很大程度上取决于用户在看什么。无缝系统主动考虑用户的运动，所以需要准确预测即将到来的旋转。
训练和评估这样的预测器需要大量的定向输入数据，而数据的收集成本非常高，因为它需要人类测试对象。更可行的方法是通过测试对象收集适度的数据集，然后使用合成数据生成方法将其扩展到更大的数据集。
在一项研究中，安特卫普大学和加泰罗尼亚理工大学团队提出了一个基于TimeGAN的头部旋转时间序列生成器。这种方法能够用与测量时间序列分布密切匹配的新样本扩展头部旋转数据集。
XR是媒体消费的一场重大革命。除了广泛用于娱乐目的之外，XR同时为其他任务提供了新的方法，包括培训、远程操作以及建筑和施工等。XR体验的一个关键促成因素是它如何在体验中准确而迅速地反映用户的真实运动。
XR中的用户自由对系统提出了具有挑战性的要求。当用户转动头部时，显示的内容必须立即适应。具体地说，延迟决定了任何用户晕动的效果必须在20毫秒内可见，以避免用户感到恶心。有数种算法有助于满足这种需求。
生成的内容通常在显示之前通过异步时间扭曲等算法扭曲，使用最新的用户姿势测量。当显示预先录制的360度内容时，视口相关编码确保仅传输预期在用户视场内的内容，从而减少传输延迟。
另外，远离用户预期注视中心的视频可以以较低的质量编码，进一步减少数据大小。总体而言，旨在满足运动到光子延迟的算法通常包括深度学习组件，将用户的方向数据转换为有用的输出，例如如何压缩视觉数据。训练和测试深度学习算法是一个众所周知的数据饥渴过程。另外，对完整算法的广泛评估再次需要大量的定向数据。
在过去的数年中，业界已经发表了一系列的XR定向测量数据集。通常，数据集由时间戳方向的日志组成，以规则的间隔测量，并以偏航-俯仰-滚转格式表示。
收集数据集通常需要几十到几百个测试对象，每个测试对象都要看几分钟到几十分钟的XR内容。显然，收集数据集是一个昂贵且劳动密集型的过程，而且不能很好地扩展。
一个明显更有效的方法是应用合成数据生成技术，在不改变整个数据集分布的情况下，用新的、独特的样本来增强现有数据集。尽管如此，对这种方法的研究非常有限，只有少数研究提出了通过傅里叶变换生成数据。
相关方法将方向时间序列作为信号，将其转换为功率谱密度，然后对平均功率谱密度进行建模。然后，将模型的扰动版本转换回信号，最后转换为定向时间序列。
然而，这导致合成时间序列与输入时间序列集合的平均值紧密匹配，而不是它们的完整分布。相比之下，安特卫普大学和加泰罗尼亚理工大学团队建议使用一种功能更强大的合成数据生成方法，即生成对抗网络（GAN）。
GAN由两个并行训练的子系统组成。生成器生成合成样本，而鉴别器尝试将样本分类为真实样本或合成样本。在零和游戏中，两个子系统交互地提高了它们的性能：鉴别器发现合成样本的特征，而生成器学习避免引入特征。理想情况下，生成器最终输出与真实样本无法区分的唯一样本。
由于定向数据集中的每个样本都是一个时间序列，所以可靠的合成样本不仅要在观察单个时间步长时匹配原始分布，而且要在观察其随时间的演变时匹配原始分布。一种名为TimeGAN的修改旨在满足这一需求。
在研究中，安特卫普大学和加泰罗尼亚理工大学团队依靠TimeGAN来生成真实的合成定向数据样本。在训练期间，向TimeGAN提供定向数据序列，以便它最终学会生成类似但以前未见过的序列。
他们只将TimeGAN应用于方向数据，而不是位置数据，因为大多数应用主要依赖于方向数据。位置数据的动态程度较低，在应用中影响有限。
为了衡量这些合成数据集的效用，我们需要一个度量标准来衡量真实数据集和合成数据集的分布有多相似。通PCA，t-SNE和TSTR等通用指标通常用于这一目的，然而，它们都很难直观地进行解释。目前尚不清楚相关指标何时表示“真实”的合成数据集，这意味着它们的主要用途是比较不同来源的合成数据。
幸运的是，在这项研究中考虑的定向数据本身可以非常容易进行直观解释。所以，团队选择放弃上面描述的常用指标，而是定义特定于头部旋转数据的指标，共同表征数据集的重要特征。
相关论文：Generating Realistic Synthetic Head Rotation Data for Extended Reality using Deep Learning
总的来说，团队提出了一种新方法来生成用于XR应用的合成头部旋转数据。研究人员发现，与基于TimeGAN的方法能够根据一系列指标生成真实的数据。相关指标包含了用户看的地方以及他们转头的方式。
他们期望这种方法对包括动态多媒体编码和毫米波波束形成在内的多个XR相关领域的研究人员提供价值。
