微软研究团队为HoloLens带来MRTouch触觉反馈交互技术

文章相关引用及参考：tomshardware

为HoloLens上的混合现实内容带来触觉反馈

（映维网 2018年04月26日）微软是沉浸式技术的坚定信徒，而这家公司一直都在致力于提升沉浸式计算技术。微软的一支研究团队最近演示了一种名为MRTouch的交互技术，其能够为HoloLens上的混合现实内容带来触觉反馈。

微软在2016年推出了HoloLens头显，这是我们首次见证这家科技巨头的混合现实愿景。HoloLens头显搭载了环境映射和手部追踪技术，可让你与叠加在真实世界的3D虚拟对象进行交互。HoloLens支持手势，基于注视点和基于语音的输入，但上述方法并不像我们想象般直观。手势无法提供对用户交互的触觉反馈，而尽管基于注视点和基于语音的交互可能有一定的帮助，但它们实际上并不适合作为通用的交互方法。

大多数人习惯于使用智能手机，平板电脑和摸屏电脑显示器进行基于触摸的交互。微软的实验性软件MRTouch利用HoloLens先进的环境映射和手部追踪技术，能够精确定位可用作虚拟输入设备的平坦表面，从而将触摸交互带到混合现实环境。

微软HoloLens头显提供两种环境追踪模式。长冲程（long-throw）追踪模式采用机载摄像头来映射你周围的空间，包括房间的墙壁和空间中的物体。这款头显同时支持短冲程（short-throw）模式，主要用于手势追踪和最大为一米的追踪距离。MRTouch应用程序采用了HoloLens的短冲程追踪模式，因为长冲程追踪对手指追踪而言不够准确。

微软的研究人员结合了短冲程深度摄像头信息与红外摄像头信号，无需依赖长冲程深度摄像头的信息即可提供精确的平坦表面映射。研究人员表示，这使得MRTouch软件能够在缺乏完整3D环境映射的情况下运行。

借助MRTouch，你可以将任何平台表面用作触控表面，如桌面与墙壁。如果要通过MRTouch打开应用程序，用户只需触摸要使用的表面，然后手指向下拖到右侧，这将创建一个虚拟窗口，这时你就可以打开应用程序。物理表面可让你在按下时感受虚拟按钮，但同时可以实现更精确的输入。悬空手势适用于简单的交互，但由于缺乏触觉反馈而无法分辨自己于何时按下了按钮，你将很难使用虚拟菜单。另外，悬空交互仅限于单个输入点，而MRTouch支持多达10位的多点触控交互。

MRTouch软件的追踪管道在运行速度方面为25fps，包含三个组件：Image Streamer，Tracker Engine和Client Library。Image Streamer从红外和深度摄像头输出数据，并通过TCP套接口将其发送到Tracker Engien。MRTouch Tracker Engien从Image Streamer接收数据，并利用这一点来保存“已知追踪表面”及其坐标列表。如同微软WMR平台中的任何应用程序一样，当你在空间中移动时，MRTouch窗口将仍然停留在它的位置。MRTouch系统的第三个组件是Client Library，它可以打开Tracker Engine的TCP连接以接收位置数据和触控信息。然后，Client Library将把相关的信息转换为应用程序可以解释的格式。

MRTouch软件运行在微软的HoloLens头显上，但该团队表示，他们创建了一个自定义的API来构建软件，这意味着开发者将应用程序移植到其他混合现实设备上将很容易。

但MRTouch目前尚未向市场公开，而微软也没有透露MRTouch将于何时或是否将与市场见面。但如果你想了解更多的相关信息，该研究团队的负责人Rober Xiao发表了一份研究论文，详细介绍了其中的工作原理。我们显然希望这个项目能够早日进入市场，因为混合现实中的触觉交互是我们迫切希望看到的进步。

相关论文：MRTouch: Adding Touch Input to Head-Mounted Mixed Reality