美国纽约大学为飞行员培训开发基于HoloLens AR视觉分析工具HuBar

查看引用/信息源请点击：techxplore

AR视觉分析工具

（映维网Nweon 2024年10月16日）在高风险的航空领域，飞行员在压力下的表现能力非常关键。所以，全面而精确的训练对于帮助飞行员掌握如何处理挑战性状况所需的技能至关重要。

针对这个问题，美国纽约大学开发了基于微软HoloLens的AR视觉分析工具HuBar。

HuBar是一种新颖的视觉分析工具，它旨在通过分析执行者的行为和认知工作量来总结和比较飞行员的任务表现。

通过深入了解飞行员的行为和精神状态，HuBar可以帮助研究人员和培训师识别模式，精确定位困难区域，并优化AR辅助培训计划，从而提高学习效果和实际表现。

纽约大学团队进一步指出：“尽管飞行员培训是一个潜在的用例，但HuBar不仅仅适用于航空领域。HuBar可以将AR辅助任务中的各种数据可视化，这种全面的分析可以提高各种复杂场景下的性能和学习效果。”例如，HuBar可以帮助改善外科手术、军事行动和工业任务的训练。

在以航空领域作为对象的实验中，团队分析了多名直升机驾驶员在AR飞行模拟中的数据。HuBar的详细分析显示，表现不佳的驾驶员经常查阅手册，这表明他对任务的熟悉程度较低。最终，HuBar可以帮助培训师精确定位驾驶员遇到困难的具体领域，并了解原因，从而为改进AR辅助培训计划提供见解。

HuBar的独特之处在于其分析非线性任务的能力，并且同时集成和可视化多个复杂数据流。

这包括大脑活动、身体运动、注视追踪、任务程序、错误和精神工作量分类。HuBar的综合方法允许对AR辅助任务中的执行者行为进行全面分析，使得研究人员和培训人员能够在各种任务完成路径中识别认知状态、身体动作和任务绩效之间的相关性。

HuBar的交互式可视化系统同时有助于在不同的过程之间进行比较，从而有可能在复杂的、非顺序的过程中识别模式和异常。

团队指出：“我们现在可以准确地看到一个人在任务中何时以及为什么会精神超载或危险地负荷不足。在如此广泛的应用中，这种详细的分析是前所未有的。这就像在执行任务时用X光透视一个人的身心，向量身定制的AR辅助系统提供信息，以满足个人用户的需求。”

相关论文：HuBar: A Visual Analytics Tool to Explore Human Behaviour based on fNIRS in AR guidance systems

随着增强现实系统的日渐普及，像HuBar这样的工具对于理解所述技术如何影响人类的表现和认知负荷将至关重要。

研究人员总结道：“下一代增强现实训练系统可能会根据用户的精神状态进行实时调整。HuBar正在帮助我们准确地理解如何在不同的应用程序和复杂的任务结构中工作。”