微软与大众合作，将HoloLens 2应用于汽车驾驶，开辟全息驾驶潜能
从长远来看，微软对消费者在日常生活中使用混合现实设备同样感兴趣
（映维网Nweon 2022年05月06日）请想象下面这个未来场景：早上开车上班时穿戴一副混合现实眼镜。当你的自动驾驶汽车带你前往达目的地的期间，你可以看到交通信息、天气状况、购物建议和沿途建筑的亮点介绍。另外，你可以利用面前的全息控制界面来调节车内各种参数，例如温度。
这正是大众汽车所设想的未来。团队已经将混合现实视为未来汽车概念的关键组成要素之一，而为了更接近这一愿景，他们选择与微软合作，并首先将HoloLens 2用于移动车辆。
HoloLens 2一直在迭代优化的Moving Platform Mode移动平台模式克服了将混合现实设备应用到车辆船舶等移动平台的限制，并创造了以新方式使用所述技术的潜力。例如，培训驾驶员应对具有挑战性的道路条件，或者为自动驾驶汽车创造新的用户体验。尽管汽车是大众和微软合作的重点，但这种能力在未来能够扩展到其他行业。
大众汽车集团数据科学团队负责人安德罗·克林恩（Andro Kleen）表示：“我们认为，混合现实是我们能够提供的最直观信息，它可以增强客户的用户体验。”
作为混合现实技术的早期采用者，大众汽车在2020年为ID.系列电动汽车引入了MR平视显示屏，将导航箭头、车道标记和其他信息投射到汽车前方的环境之中。
但克林恩表示，大众甚至更早就开始探索混合现实的潜力。例如在2015年，大众汽车启动了一个结合无人驾驶汽车和混合现实技术的培训项目Race Trainer。在测试时，这个系统可以在学员前方的平视显示器叠加箭头线和制动提示，从而引导他们完成一系列的课程。
大众汽车希望在研究项目中使用HoloLens，但团队很快就遇到了问题。当设备应用到移动车辆时，传感器追踪及相关全息图出现丢失。克林恩团队向微软寻求帮助，并与微软3D计算机视觉和机器学习专家马克·波勒菲斯（Marc Pollefeys）取得了联系。
双方进行了广泛的讨论，并积极探索具体的解决方案。这两个团队在2018年左右开始合作，并最终为HoloLens 2开发了前述的Moving Platform Mode移动平台功能，从而允许设备在非恒定平稳的移动平台中提供稳定的全息图像显示。
HoloLens使用两种主要类型的传感器来测量运动：可见光摄像头和惯性测量单元（IMU）。所述传感器共同模拟了人类如何感知世界。对于移动环境，上述两个传感器会出现不一致，亦即惯性测量单元识别运动，而摄像头无法识别运动时。
为了解决这个问题，团队开发了一对传感器之间差异进行建模，以支持HoloLens继续追踪和提供合适视图的算法。
但测试这种能力带来了另一个挑战。由于防疫测试，多名研究人员无法一起坐在车内。于是，负责项目的微软高级软件工程师约书亚·埃尔斯顿（Joshua Elsdon）独自寻找解决方案。
在白天，埃尔斯顿选择一边穿戴HoloLens，一边搭乘有轨电车和公共汽车，从而确保全息图在车辆移动时能保持恒定。在夜晚，埃尔斯顿在公寓上下乘坐电梯，从而测试这项技术。
在最初的原型制作完成后，团队同时在微软雷德蒙德园区附近的普吉特湾进行了测试。他们租了游船，并使用外部测量设备评估HoloLens头部追踪系统的性能。
微软后来在大众汽车测试了这一功能。其中，大众研究人员在汽车和HoloLens之间建立了双向数据连接，以便显示和控制来自汽车的实时信息。最后，团队实现了数个演示用例，研究了虚拟界面如何增强未来的车辆。
他们接入了一个追踪车辆位置的定位系统。通过这种方式，团队同时能够在车外放置3D元素，如兴趣点信息。这为不仅在驾驶员的前向视场内显示全息图，而且在头显用户查看的任何地方显示全息图开辟了全新的可能性。
微软已在数个月前发布了Moving Platform Mode，并吸引了海事公司和组织的兴趣。利用这一功能，使用HoloLens和Microsoft Dynamics 365 Remote Assist的海事工作者更能得心应手，尤其是颠簸不平的船舶用例。
波勒菲斯表示解释道：“设备或机器越远，专家就越难到达现场。事实证明，这一功能对于解锁海洋空间的HoloLens 2应用至关重要。”
HoloLens的Moving Platform Mode目前支持在大型船舶上使用，而微软计划进一步完善，并用于电梯、火车和其他移动环境。克林恩设想，这项技术可以通过多种方式将车辆的内部世界桥接起来，例如帮助卡车或公共汽车司机在狭窄的街道行驶，确定驾驶路线上的兴趣点，或为乘客提供娱乐。
克林恩和波勒菲斯认为，随着更小、更紧凑的智能眼镜面世，混合现实技术将成为未来移动领域越来越重要的一个方面。
波勒菲斯甚至将混合现实眼镜描述为继个人电脑和智能手机之后的第三代个人计算设备。他说道：“微软不仅对HoloLens这样的商业设备感兴趣，而且从长远来看，对消费者在日常生活中使用这种有意义的设备同样感兴趣。”
克林恩设想，混合现实技术能够实现无缝、互联的移动体验。你在出门时可以穿戴智能眼镜，并在一天的出行中通过智能眼镜接收信息，涵盖导航辅助到娱乐的一系列场景。
