2020年12月30日新公布AR/VR科研论文摘选
文章相关引用及参考：映维网
一共更新了10篇论文
（映维网 2020年12月30日）近期各支科研团队公布了一批全新的AR/VR论文，下面映维网整理了来自大厂机构和学院的论文（详情请点击论文标题），一共10篇。更多论文披露请访问映维网专利板块https://paper.nweon.com/进行检索。你同时可以加入映维网AR/VR论文交流微信群（详见文末）。
1. 《SnapMove: Movement Projection Mapping in Virtual Reality（SnapMove：虚拟现实中的运动投影映射）》
团队：微软
团队提出一个在虚拟现实中重新映射伸手动作的技术：SnapMove。SnapMove可用于减少对大规模、易疲劳或难以实现的动作的需求。团队设计了多种重投影技术，线性或平面，单手，双手或头部捕捉，而它们可用于伸手，投掷和虚拟工具操作。在一项用户研究（n=21）中，团队探讨了如何根据重新映射引入的运动成本来调节自我化身跟随者的效果。SnapMove成功地将手部位置从较低的区域重新投影到较高的手部位置，而这是限制疲劳的理想映射。它同时成功地保留了虚拟化身具现化，并逐渐允许用户执行更高能量成本的动作。这对于康复场景最为重要。团队实现了菜单交互、攀岩、划船和投掷飞镖的应用程序。总之，SnapMove可以使虚拟环境中的交互更加容易。团队讨论了SnapMove在游戏、可访问性和治疗方面的潜在影响。
2. 《Predictive Test Selection（预测性测试选择）》
团队：Facebook
基于改变的测试是Facebook持续集成的关键组成要素。然而，大量的测试加上提交给团队的单一存储库的高更改率，使得团队无法根据每个改变运行所有可能受影响的测试。团队提出了一种新的预测性测试选择策略，所述策略针对提交给连续集成系统的每一个变化选择测试子集。这个策略使用基本的机器学习技术并以历史测试结果的大数据集进行学习。当部署在生产环境中时，所述策略将测试代码改变的总基础结构成本降低了两倍，同时保证95%以上的单个测试失败和99.9%以上的错误改动依然能够报告给开发者。团队在这里提出的方法同时解释了测试结果的不确定性。
团队：Carnegie Mellon University；Facebook
团队提出了一种从单目RGB视频输入中获取衣配动态变形的方法。与现有文献相比，所述方法不需要预先扫描个性化的网格模板，所以可以应用于无约束条件的视频中。为了将输出约束到一个有效的变形空间，团队建立了T恤、短裤和长裤三种衣配的统计变形模型。通过最小化轮廓、分割和纹理的差异，团队使用可差分渲染器将捕获的形状与输入帧对齐。为了减小变形追踪中的漂移，团队提出了一种UV纹理生成方法，依次扩展衣配的可见纹理区域。团队同时将衣服表面拟合到卷积神经网络估计的法线映射，从输入视频中提取出精细纹理的褶皱细节。团队的方法从单目视频中产生身体和衣服的时间相干重建。团队展示了从各种具有挑战性的视频中成功捕获衣配的结果。大量的定量实验证明了所述方法对人体姿态误差和衣配表面重构误差等指标的有效性。
4. 《Situated and Interactive Multimodal Conversations（情境互动式多模态对话）》
团队：Facebook
团队设想了下一代虚拟助理处理多模态输入，并执行多模态动作。团队将情境互动式多模态会话（Situated Interactive MultiModal Conversations；SIMMC）作为一个新的方向。团队提供了两个SIMMC数据集，总计13K个人类对话（169K个话语）。所述对话是通过Wizard-of-Oz (WoZ)在两个购物情景中采集：（a）家具-基于共享虚拟环境；（b）时尚-基于一组不断发展的图像。最后，团队介绍了SIMMC中的几个任务作为客观评估协议，如结构API预测、响应生成和对话状态跟踪。
5. 《Investigating Remote Tactile Feedback for Mid-Air Text-Entry in Virtual Reality（VR悬空文本输入的远程触觉反馈调查）》
团队：Facebook Reality Labs；University of Cambridge
本文探讨了在VR中以裸手方式操作Qwerty键盘的实用性。为此，团队利用先前研究中的见解，设计了一个虚拟键盘以及不同形式的触觉反馈，包括空间的和非空间的，并用于手指和手腕。团队报告了一项含有24名被试参与的多会话文本输入研究。其中，团队调查了四种振动反馈条件：手指；手腕空间化；手腕非空间化；仅视听。团队使用微观指标分析和被试访谈来分析支撑观察到的性能和用户体验机制。结果显示，不同反馈类型的性能相当。然而，绝大多数被试更喜欢触觉反馈条件和手指反馈，因为他们的心理需求、挫折感和努力程度明显较低。结果同时表明，空间化的手腕振动反馈在性能和偏好方面可比拟单一振动位置。微观指标分析表明，用户通过更高的视觉和认知注意来弥补触觉反馈的不足，这确保了相似的性能，但用户需要付出更大的努力。
6. 《Design and Fabrication of Freeform Holographic Optical Elements（自由曲面全息光学元件的设计与制造）》
团队：Facebook
全息光学元件（Holography Optical Elements，HOEs）有着广泛的应用，包括在虚拟和增强现实中的新兴应用。但这种元件的设计和制造在很大程度上依然局限于使用简单波前的配置。在本文中，团队提出了一个用于设计、优化和制造复杂的和定制的HOE，提高其成像性能并赋能新应用的管道。团队针对光栅矢量场提出了一种特殊的HOEs矢量优化方法。团队进一步展示了如何将团队的管道应用于两种不同的HOE制造方法。第一种是利用一对自由曲面折射元件来制造高光学质量和高精度的HOE。第二种是使用带有两个波前调制臂的全息打印机，实现快速原型制作。团队提出了一个统一的波前分解框架。为了证明所述方法的多功能性，团队制造并描述了一系列特殊的HOEs，包括非球面透镜、平视显示透镜、透镜阵列以及全彩焦散投影元件。
7. 《Constraining Dense Hand Surface Tracking with Elasticity（基于弹性约束的密集手部曲面追踪）》
团队：Facebook
团队人类通过双手执行的一系列动作都涉及自接触和自遮挡，如握手、握拳，或者在思考时的交叉手指。这样的用例说明了通过自接触和自遮挡来实现手部追踪的重要性。但是，现有的追踪方法方法并不是为了处理普通手势所表现出的有限自接触和自遮挡而设计。通过扩展基于视觉的追踪和基于物理的动画的最新进展，FRL Research提出了一个能够通过高度自接触和自遮挡手势来追踪高保真手部变形的算法（适用于单手和双手）。通过将基于视觉的追踪算法与基于物理的可变形模型相结合，团队获得了一种对普遍存在的自交互和常见手势所表现出的大量自遮挡具有鲁棒性的算法，从而允许追踪双手交互和高挑战度的人手配置。
8. 《HDR Environment Map Estimation for Real-Time Augmented Reality（用于实时增强现实的HDR环境映射估计）》
团队：苹果
团队提出了一种从窄视场LDR摄像头图像中实时估计HDR环境樱色的方法。这使得任何材质表面（从镜像到漫反射）的虚拟对象都能实现具有视觉吸引力的反射和着色，并使用增强现实将其渲染到真实的物理环境中。团队的方法是基于团队高效的卷积神经网络结构EnvMapNet，端到端训练，两个新颖的Loss，生成图像的ProjectionLoss和对抗性训练的ClusterLoss。通过与现有方法的定性和定量比较，团队证明了所述算法将估计光源的方向误差降低了50%以上，并实现了低3.7倍的Frechet Inception Distance（FID）。团队进一步展示了一个移动应用程序，它能够在iPhone XS以不到9ms的时间内运行团队的神经网络模型，并实时地、视觉一致地渲染虚拟对象。
9. 《Stretchable distributed fiber-optic sensors（可伸缩分布式光纤传感器）》
团队：康奈尔大学
基于二氧化硅的分布式光纤传感器（DFOS）系统已经成为不可拉伸结构中应变、压力、振动、加速度、温度和湿度传感的有力工具。然而，DFOS系统不兼容柔性和可拉伸的电子产品。团队开发了一种可伸缩的多模式传感光波导（Stretchable Lightguide for Multimodal Sensing；SLIMS）。这种波导包含一对聚氨酯弹性体芯。一个体芯为透明；另一个则在多个位置填充吸收染料，并连接到一个LED。每一个体芯都与一个红绿蓝传感器芯片相接，以记录光路中的几何变化。双芯设计增加了输出的数量，而通过所述输出，传感器可以通过点亮充当空间编码器的染料来检测到一系列的变形，如压力、弯曲或伸长。研究人员同时将这项技术与一个可以解耦或分离不同变形并精确其位置和大小的数学模型相结合。
10. 《Slim-panel holographic video display（薄面板全息视频显示器）》
团队： 三星综合技术院；Optic Research Group；University of Seoul
全息术的一个关键限制是，当屏幕放大时，最佳视角会变窄，而随着视角的增加，屏幕尺寸则会变小。这意味着，如果2mm*1mm的全高清全息显示屏具有30度视角，将全息图的尺寸增加到200mm*100mm会将视角缩小到0.3度。为了解决窄视角的问题，团队开发了一种特殊的光学元件：Steering-Backlight Unit（s-BLU；光束偏转背光单元）。S-BLU包括一个名为Coherent-Backlight Unit（C-BLU；相干背光单元）的薄面板状光源，后者将入射光束转换成准直光束。S-BLU同时包括一个光束偏转器，它可以将入射光束调整到所需的角度。传统的4K屏幕尺寸为10英寸，视角非常小，只有0.6度。但你可以使用S-BLU将图像向用户弯曲，将视角扩大约30倍。
