研究员提出云边协同预测校正方案优化VR渲染延迟与扩展性
通过云边缘协作优化VR头显性能
（映维网Nweon 2025年03月05日）当前的虚拟现实头显面临着高处理能力和可负担性之间的权衡，而将3D渲染卸载到远程服务器有助于优化成本、续航和头显重量。要实现这一目标，将网络延迟保持在20ms以下至关重要。
预测未来的移动和预呈现对于满足这种严格的延迟限制是有益的，所以伊朗谢里夫理工大学团队提出了一种利用边缘服务器的低延迟特性和云服务器的高可用资源同时实现高性价比、高质量VR的方法。
其中，在云服务器预测头部运动，而帧在云服务器渲染并传输到边缘服务器。如果预测误差超过阈值，则在边缘服务器重新渲染帧。结果表明，使用所述方法，每个边缘服务器可以有效地同时为多达23个用户提供服务，而完全在边缘服务器渲染帧时最多只能为5个用户提供服务。
另外，采用平均绝对误差损失函数并预测加速度而不是速度可显著提高预测精度。同时，使用其平均值和标准差对单个数据进行归一化并不能提高预测精度。团队指出，所述发现为通过云边缘协作优化VR头显性能提供了见解。
虚拟现实头显对于渲染3D环境至关重要，而它需要强大的处理能力。为了降低成本、减轻重量并最大限度地优化续航，3D渲染等处理正在转移到头显之外，依靠基于云端的渲染并将图像传输到头显。
在这种传输中实现最小延迟至关重要。高通白皮书的研究强调，为了获得最佳的虚拟现实体验，延迟必须保持在20ms以下。在基于云端的VR系统中保持高质量的用户体验，特别是在具有较高延迟的场景中，这是一个挑战。
团队提出的一种解决方案是通过预测用户头部未来的位置来补偿延迟。其中，头部位置和欧拉角在云服务器预测，而帧在云服务器渲染并发送到边缘服务器。当边缘服务器同时接收到用户的预测位置和实时位置时，边缘服务器将它们进行比较。
如果位置之间的差异超过一定的阈值，帧将在边缘服务器重新渲染；否则，来自云的渲染帧将转发给用户。
团队提出的解决方案分为两个主要部分：第一部分侧重于使用具有LSTM结构的神经网络编码器-解码器，并用于预测360度视频中的头部欧拉角，但不预测头部欧拉角速度，而是利用头部角加速度。
这种方法解决了当模型预测速度而不考虑速度连续性时出现的问题。通过对加速度进行积分来预测加速度并随后推导速度有助于缓解这一问题。
另外，有别于传统的均方误差（MSE）损失函数，团队采用均值绝对误差（MAE）损失函数。这种改变优先减少错误率较低的点的错误，而不是错误率较高的点。
接下来，使用相同的神经网络来预测用户的头部欧拉角。其中，采用通过Meta Quest 2收集的数据集，所以除了头部欧拉角，它同时包括用户在VR空间中导航时头部位置的数据。这个环节使用LSTM encoder-Fully connected decoder。与之前数据不同，这个数据集中连续数据点之间的间隔从10ms到18ms不等。
团队研究了在模型中输入时间差对预测精度的影响。另外，他们观察了使用每个单独数据的平均值和方差而不是整个数据集的平均值和方差对数据进行归一化时对模型准确性的影响。
研究人员发现，采用平均绝对误差损失函数并预测加速度而不是速度可显著提高预测精度。同时，使用其平均值和标准差对单个数据进行归一化并不能提高预测精度。
相关论文：Latency Reduction in CloudVR: Cloud Prediction, Edge Correction
总的来说，团队提出了一种在边缘计算和云计算之间进行分布式渲染的方法。结果表明，与仅预测360度视频中的速度相比，预测加速度并将其集成到计算速度中可以提高准确性。另外，评估表明，使用平均绝对误差（MAE）损失，而不是均方误差（MSE）损失，可以提高模型的精度。
