机器人 + HoloLens 2可如何实现“乒乓球AR特训”，挑战专业运动员
查看引用/信息源请点击：映维网
高频发球加上精准落点要求也将考验运动员的稳定性与精准度
（映维网 2020年08月05日）在刚刚落下帷幕的ChinaJoy高通展馆中，我们境腾科技与和上海庞伯特科技合作实现了基于混合现实技术的乒乓球机器人协同娱乐互动系统，现场人头攒动，尽管受疫情影响执行了限流措施，但“机器人+HoloLens2“的神仙组合让玩家们热情高涨，展位前仍排起长长的队伍等待与机器人训练师的对垒。
本嘉宾稿来自境腾科技CEO张力（微信：johnzhang6387），他也是映维网会员成员
境腾科技还将在2020 Qualcomm XR生态合作伙伴大会（9月5日，南昌）上做主题分享
在这个“真人 vs 机器人”的乒乓球项目中，刚开始的时候，头戴HoloLens 2混合现实眼镜的玩家会对球台另一边的机器人发出发球指令。这时，乒乓球即将发生的虚拟运动轨迹则会以AR特效的方式通过HoloLens 2 呈现在玩家视野中，引导玩家立即进入热血备战状态。接着在机器人发球的同时，在HoloLens 2上也会呈现出玩家回球应该在机器人那一端的目标落点。即玩家在已知轨迹的情况下，如果能将球击打回到对面球台用虚拟光圈标注的范围内即可获得奖励。
总的来说，系统会告知玩家他接球前的球的运动轨迹，以及他回球后的球应该达到的目标落点范围。所有这些轨迹信息以及落点要求信息，都是以AR的形式通过HoloLens 2呈现在玩家眼前。即使面对乒乓球专业运动员，机器人也会毫不示弱，高频发球加上精准落点要求也将考验运动员的稳定性与精准度。这一协同训练方案实现了：
1. 在真实球桌空间上准确稳定显示发球轨迹和目标击打区域
庞伯特发球机器人在发球时可以计算出在自身坐标系里乒乓球的运动轨迹以及准确落点，通过同步选手头戴的Hololens2 的坐标系和发球机器人的坐标系，境腾科技可以在真实球桌3D空间上，用虚拟动画效果呈现出酷炫的运动轨迹和炸裂的落点特效，给选手带来从未经历的科幻体验。
在实际运行测试中，即使选手戴着HoloLens2做比较剧烈的运动，选手看到的虚拟轨迹和落点仍然非常稳定，选手头戴HoloLens2时也没有影响到运动状态的不适感，让我们不得不为HoloLens2强大的SLAM能力和巧妙的人机设计点赞。
2. 人工智能识别选手回球轨迹实时追踪和落点得分判定
基于高通骁龙创新的RB5平台，庞伯特智能乒乓球轨迹识别与分析系统可实时追踪分析乒乓球的轨迹信息，利于人工智能技术，对乒乓球的飞行轨迹，落点，旋转，速度等一系列参数进行实时采集并进行数据分析。
采用双目摄像头对普通乒乓球进行轨迹捕捉，深度学习人工智能算法从选手回球到识别出轨迹延迟低于10ms，再通过高效的网络传输到Hololens2和第三方视角的虚拟特效渲染整体延迟在50ms以内，让选手得到真假难辨的虚实结合体验。回球的轨迹数据信息可以实时渲染也可以储存在系统中，未来可以通过HoloLens2在球桌上回放，将数字娱乐信息叠加到现实运动中，更有效的提高运动员的训练效果，增加玩家的代入感和体验感，将乒乓球运动数字化，电竞化，给玩家带来革命性的体验。
3. 真正用球拍发球的机器人
基于先进的人工智能及机器人技术，庞伯特开发出了世界上第一款完全拟人型的乒乓球发球机器人。该机器人实现了手持球拍发球，完全模拟乒乓球训练过程中针对技术动作的多球训练环节，甚至可以发出很多专业选手才能够打出的下旋上旋等特效。同时，智能传感及创新的增强现实技术的引入，将该训练过程娱乐化，竞技化，使训练更专业，让运动更有趣。
4. HoloLens2眼镜、机器人、回球轨迹追踪识别设备和第三方视角零延时多协议通信
整个训练系统涉及了多个设备（Hololens2 眼镜、发球机器人、 回球轨迹识别设备、 第三方视角设备）、平台（Windows UWP、 Android、 Ubuntu、 iOS），和多种通信协议（TCP / UDP / 蓝牙通信）。在无缝整合所有这些设备的同时，系统还保证了信息在各个设备中近乎零延时的传输，从而保证了用户的最佳体验。
5. 总结
这个方案中四大技术应用的整合，开创性地将原本单一的技术领域充分融合，形成人机共融平台。
完全仿人化的机器人在人类的运动中与人类协同互动；同时，基于创新的传感技术，人工智能摄像头对整个运动过程中的人，球，环境等数据进行实时采集分析，指导机器人与人类进行动态互动；利于创新的增强现实技术，机器人直接从三维空间的维度上向人类高效，直接的传达信息。人工智能，智能机器人，增强现实，新一代通信技术等创新性技术在这一场景中得到了综合应用。
在搭建系统的过程中，我们突破了多个技术壁垒和难点，可以预见，这将为各个行业提供更广阔的解决方案，为企业带来丰厚的商业价值，极可能成为未来技术发展的一个方向。
