俄罗斯Su-57战斗机生产线之AR装配应用分析与启示
查看引用/信息源请点击：映维网
AR技术在航空工业领域应用的远大前景
（映维网 2020年12月14日）2020年12月10日The Dead District在推特上发布了一条推文，曝光了俄罗斯战斗机Su57生产线上在使用AR应用辅助装配工作。
图 1 The Dead District的推特截图
我们团队现在也在做类似的航空AR项目开发，现就视频中包含的信息进行分析，并给出一些我们的看法。博主The Dead District指出视频是UP主shota sabauri今年12月10日上传到Youtube的，shota sabauri不是知名UP主，至今只发布过5条视频。
本嘉宾稿作者为李洪鹏（微信：martinelee）
李洪鹏是北京弘宇飞拓科技有限公司、大眼XR实验室创始人之一，北航飞行器设计专业博士（后辍学创业）。在空军航空大学从事飞行员、机务教学16年。现从事航空航天VR/AR开发工作，带领团队为国产大飞机、国产新型航空发动机、多项重大航天项目提供VR/AR技术支持。
相关视频有两段，都是在Su57的装配车间拍摄的，操作者使用HoloLens 1利增强现实应用进行装配检查。
图 2 视频内容是使用AR应用辅助装配检查
视频中Su57还处于部装阶段，其中3分08秒的较长视频中，操作对象是SU57的主起落架舱部分，能看到锯齿状的起落架舱口和格栅的辅助冷却进气口。
图 3 视频中Su57部件对应的飞机部位
3分08秒视频中完整的展示了使用HoloLens程序进行装配部件检查的过程，包括菜单操作、手势操作、显隐组件、设定标定点等内容，内容完整清晰，在视频底部还有文字对操作过程和视频内容进行说明。
1. 视频信息
两段视频可以直接反映出信息包括：
- 使用了两台HoloLens一代增强现实眼镜；
- 使用二维码进行定位，定位操作是手动更新的。
- 精度在1-2cm左右，定位比较稳定，略微抖动；
- 使用了简单的手势识别输入（一代HoloLens不支持复杂手势）；
- 可以实现双人协同操作。
图 4 视频中使用二维码进行定位
通过视频可以推测出的信息包括：
- 该HoloLens应用应该是Su57部装过程中检查安装结果的应用，是一种辅助检查工具。
- 我们猜测HoloLens程序是通过Vuforia进行的构建，使用其中的图像识别功能进行定位。使用二维码定位主要原因，一是由于Vuforia在进行Model Target模式定位时需要上传模型进行学习，会造成泄密，二是二维码定位的精度更高。
- 视频中操作者左手拿的贴有二维码的架子应该是辅助定位装置，属于一种辅助工装。固定二维码定位标志最好的办法是在飞机机身上进行直接喷涂，但是现在AR技术还没有大规模应用，在现有飞机制造流程中一般没有喷涂二维码至机身上的规划，未来AR技术普及了，会实现机身直接喷涂，这样定位精度会更高。
- 视频中文字中提到数字模型有些偏移误差，实际使用者佩戴HoloLens从眼中看到的会精确很多。我们在开发过程中也遇到过类似的问题，看到的定位非常准确稳定，但是视频录制出来以后存在一定的漂移和误差，主要是HoloLens自身录制产生的延迟和误差，原因未知。
- 视频中的应用精度不是非常好，菜单也相对简单粗糙，推测该应用应该是个验证性的科研项目，而不是实际工程中大规模应用
2. 软件和菜单功能
从操作中可以看出这个HoloLens应用是一种对装配结果进行辅助检查的工具，程序菜单左上角是定位切换开关，右上角是参考内容按钮，左下角是总体部位切换按钮，右下角是元素显隐按钮，视频中演示出的软件功能包括：
图 5 视频中AR应用的菜单，有对应翻译，点击看大图
- 应用分为前后两部分操作，前部分先显示出全部虚拟内容，然后通过定位功能将虚拟物体叠加在飞机舱段上。后半部分主要是可以通过显隐各种组件，对飞机部件装配结果进行检查；
- 通过操作虚拟菜单的按钮，可以显示、隐藏包括舱口盖、隔框、装配体、卡箍、管路和紧固件，视频的后半部分操作者演示了显隐的功能，与飞机部件上实体的螺钉、液压管路、卡箍、隔框等物体进行匹配，并利用显示的虚拟物体检查相应的安装是否完整。
图 6 视频中操作者使用AR辅助工具检查液压管路安装情况
3. AR技术在航空装备制造领域中的现状及前景
3.1 视频中反映俄罗斯航空装备制造领域中AR技术的应用水平
据开篇字幕显示，视频是2020年3月4号进行录制的，应该是俄罗斯比较新的AR应用，说明俄罗斯航空工业部门已经在尝试使用增强现实手段提高飞机装配工作效率。这种应用开发周期在半年以上，并且视频使用的是HoloLens一代设备，说明至少在2018年的时候俄罗斯航空工业部分就已经关注到AR技术，并准备进行相应的尝试，这在世界航空装备制造领域是比较靠前的。但是单从本视频看来，程序功能还相对简单粗糙，比较洛克希德马丁、空客等欧美航空装备制造同行，还是有一定的差距。
3.2 增强现实技术在航空装备制造领域的应用情况
航空装备制造业是AR技术主要的应用领域之一。航空装备制造领域的产品昂贵且复杂，产品标准性差、装配工人熟练度低等特点都是AR技术能够得到较好应用的原因。1992年，在研制777飞机过程中，波音公司的两位工程师Thomas Caudell和David Mizell，提出使用一种抬头透视装置。它依据头部摄像头采集的场景生成数字CAD图，自动从安装指导书中提取匹配内容，生成当前操作的安装指导虚拟图像，叠加到真实视野场景里。这不仅是航空工业领域中AR技术的最早应用记录，同时也所有工业领域中有据可查最早的AR技术应用记录。
微软HoloLens设备的投入使用对AR技术在整个工业领域应用产生了巨大的推动作用，洛克希德马丁公司在Orion飞船制造装配过程中使用HoloLens眼镜进行钻孔和装配辅助，并能够辅助工人进行协同工作，可以将安装效率提升达85%。空客公司在空客系列飞机设计制造过程中将HoloLens眼镜运用在设计、装配环节中，进行协同设计评估和布线辅助工作。随着AR技术的不断成熟，越来越多航空装备制造领域的公司看中了其在本行业中应用的前景，并不断进行相关的尝试和应用。
图 7 使用AR技术辅助航天飞船钻孔（左），使用AR技术辅助飞机布线（右）
3.3 视频中HoloLens应用存在的主要问题
视频中HoloLens应用存在的问题主要有两个方面，一是交互性较差。视频中主要采用HoloLens一代设备的简单手势交互，即Click和点击动作来进行与菜单的交互，无法实现对虚拟物体进行拖拽、旋转、缩放等操作，交互性能较差，当然这些问题在2代HoloLens设备中已经得到了基本解决。
第二是精度问题，视频中经常能够看到虚拟物体的偏移、穿插等精度问题，这是航空装备制造领域最怕的问题。低精度导致AR技术无法用于装配制造的核心流程中，航空装备制造行业还是只能采用钻模等传统工装进行辅助装配和制造。这也是视频中HoloLens应用的功能只是装配检查，而不是辅助装配的主要原因。
3.4 增强现实技术在航空装备制造领域的应用场景
AR技术从根本上是一种革命性的人机交互工具，在航空装备制造领域当前能够看到的主要作用是是其显示功能，即进行指示和提示，比如使用AR眼镜将转孔位置直接投射到飞机部件上（让然AR设备当前的精度无法直接满足），为操作工人指示出钻孔位置，替代原有的钻模，或者将零件安装位置和零件提示信息投射到安装对象上，替代掉原有的纸质手册，这些指示、提示功能会节省大量硬件成本并极高的提高操作效率。
随着AR技术的快速迭代升级，其精度也会迅速提升，当其精度能够满足航空工业部门的要求时，它不仅能够成为高效率的辅助生产工具，还会逐渐衍生出我们现在无法认知的功能，这与当前手机设备的发展路径会非常相似。
在当今航空工业领域越发强调柔性生产的大背景下，传统硬件的辅助工装已经不能适应新柔性生产的需求，AR工具不需要生产实体辅助工装，只需要对软件内容进行简单调整，就能适应不同状态甚至是机型的生产，成本低，效率高，是非常优秀的航空装备制造辅助工具。
4. Su57飞机AR技术应用视频带给我们的启示
虽然以从业者的角度，该视频中的AR技术还存在相当多的瑕疵，但是这个视频已经带给了我们足够多的震撼，充分的显示出了AR技术在航空工业领域应用的远大前景。
苏联解体以后，俄罗斯航空工业陷入了低谷，Su57现在成为了独苗，相反我国航空工业随着国家的强大蓬勃向上，20系列飞机的装备不断带给人们惊喜。Su57在中国军迷眼里被称为“伪四代机”，甚至成为嘲讽的对象。然而从视频里可以看出，俄罗斯航空工业部门并未停止创新的脚步，也许他们的经费远远不如我们，但是他们对新技术的接受程度却并不比我们低。
新技术的应用是一个逐渐发展的过程，新技术刚诞生时一定有大量的不足，如果只看到不足，不愿意试错，新技术成熟的时候就是我们落后的时候。只有在新技术起步、大方向确定的时候参与到新技术大潮中，以试错的成本换去领先地位才是最佳选择。
我国的航空设计与制造领域很多有识之士早就认识到AR技术的前景并不断的进行跟踪和尝试，但是整体上对AR技术的认知和接受度还有待提高，AR技术成为下一代计算平台的技术大潮不可逆转，我们的航空工业认识还需要更深入大胆的不断探索和尝试。
