结合深度数据和骨架，清华大学研究单深度相机实时动捕技术DoubleFusion
文章相关引用及参考：techcrunch
你知道为什么在动捕设置中，演员必须穿上紧身衣吗？
（映维网 2018年06月19日）随着增强现实技术的日渐流行和深度追踪摄像头开始登陆各款旗舰手机，提高计算机对人体运动追踪的时机已经成熟。现在映维网了解到，一项全新的计算机视觉系统甚至可以隔着衣服抽离人体运动。
一个基本的问题是，如果你要在电影或AR游戏中捕捉运动中的人体，衣服所造成的模糊感将会令人感到沮丧。你知道为什么在动捕设置中，演员必须穿上紧身衣吗？因为只有这样系统才能更准确地识别各肢体的位置。
即便是相当紧身的牛仔裤，这都会影响计算机对身体位置的捕捉。
这份最新的研究结合了深度数据和智能假设，利用一种X射线视觉来揭示衣服下面的人体形状和位置，即使在跳舞这样的快速动作时也能实时支持。
这篇论文是基于两个以前的方法：DynamicFusion和BodyFusion。前者通过单摄像头深度数据来估计身体姿势，但在快速移动或遮挡情况下效果不佳；后者则使用骨架来估计姿势，但同样在快速运动中表现不佳。研究人员将这两种方法合并为“DoubleFusion”，通过单个深度相机对动态人体进行采集，从深度数据中创建一种合理的骨架，然后通过距离适当的皮肤对其进行收缩包裹。
如上所示，摄像头的深度数据与人物的一些基本参考图像组合在一起，然后生成一个骨架并追踪身体的关节和末端。右边的是，DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）的结果。
我们可以看到，DoubleFusion的效果比单独任何一种方法都要好，可以在一系列的姿态和服装下生成优秀的身体模型：
但一个缺点是，如果用户身穿太多衣服，系统往往会高估一个人的体型。没有简单的方法来判断某个人是否体型巨大，或者只是身穿一件厚重的毛衣。当用户与一个单独的对象进行交互时，如桌子或游戏控制器，系统同样表现不佳：它可能会试图将这一切解释为四肢的奇怪扩展。研究人员正计划在未来解决这一系列的问题。
论文作者包括清华大学的于涛，郑泽荣和郭凯文，但北京航空航天大学，谷歌，南加州大学和马克斯普朗克研究所的研究人员也有参与其中。值得一提的是，该研究工作得到了国家自然科学重点项目和优秀青年基金的资助。
研究团队在论文中写道：“我们相信，我们方法的稳定性和准确性将能支持众多的应用，特别是AR/VR，游戏，娱乐，甚至是虚拟试装，因为我们同时重构了身体形状。借助DoubleFusion，用户第一次真正可以轻松实现数字化。”
