支持残障人员在混合现实环境中执行日常任务并享受游戏的乐趣

（映维网Nweon 2024年07月10日）Meta一直在探索基于肌电图的神经腕带输入设备，而他们的一个关键合作伙伴是卡内基梅隆大学。日前，卡内基梅隆大学和Meta共同宣布了一项全新的合作项目，通过利用可穿戴传感技术来支持残障人员在混合现实环境中执行日常任务并享受游戏的乐趣。

延伸阅读：畅想未来AR交互愿景，Meta要创造“新鼠标”革命
延伸阅读：Meta：超低摩擦输入，“腕带”是AR交互的未来
延伸阅读：Meta Reality Labs研究进展：EMG手腕交互、AR眼镜项目、3D扫描重建、虚拟化身驱动

简单来说，团队希望利用双方在神经腕带方面的研究进展，通过基于肌肉信号的转换来支持脊髓损伤人群与计算机和混合现实系统进行轻松交互。

Meta正在为消费者开发一种肌电图腕带，它利用放置在皮肤的传感器来测量用户通过肌肉产生的电信号，然后将其转换成各种设备的输入信号。尽管Meta已经证明了这项技术可以取代键盘和摇杆，但团队依然在继续投资和支持不同的项目，以确认这项技术可以造福广泛的人群。

道格拉斯·韦伯勒（Douglas Weber）是卡内基梅隆大学机械工程系和神经科学研究所的教授。他先前的研究表明，手完全瘫痪的人依然拥有控制前臂肌肉的能力，甚至是过弱而无法运动的肌肉。团队发现，脊髓损伤的人在尝试移动特定手指时依然会表现出独特的肌肉活动模式，而这可以用于人机交互。

韦伯勒表示：“这项研究评估了绕过身体运动，转而依靠肌肉信号。如果成功，这种方法可以帮助身体残疾的人更容易使用电脑和其他数字设备。”

所以对于与Meta的全新合作，韦伯勒的团队尝试以他们最初的研究结果作为基础，并通过使用Meta的表面肌电图研究原型和相关软件来评估脊髓损伤患者是否以及在多大程度上可以与数字设备进行交互，例如计算机和混合现实系统。

据介绍，所述项目以交互式计算任务为中心。经机构审查委员会批准，研究参与者将开始进行一系列的适应性小游戏。一旦熟练程度达到了基准，卡内基梅隆大学团队就会根据参与者的能力和兴趣创建MR游戏和其他活动。

研究人员解释道：“在数字世界中，身体能力完全或有限的人都可以通过运动系统发出的信号来进行虚拟行动。就混合现实技术而言，我们正在创建允许用户不需要考虑运动能力就能与对象和其他用户进行交互的模拟环境。”

团队最后中介到，这个项目是Meta正在进行中的一项研究投资，并旨在支持开发公平和可访问的人机界面。

模拟具有高空间分辨率和快速响应率的触觉反馈

（映维网Nweon 2022年10月28日）对于AR/VR元宇宙，触觉反馈是行业正在积极解决的一个重要挑战。日前，由香港城市大学领衔的合作研究团队介绍了一款创新的可穿戴触觉渲染系统。据悉，所述解决方案可以模拟具有高空间分辨率和快速响应率的触觉反馈。

团队表示，这项研究在可以应用于一系列的用例，包括盲文显示屏，虚拟现实购物和游戏，以及宇航员、深海潜水员和其他需要戴厚手套的人员。

研究人员指出，尽管我们可以通过电话和摄像头远距离听到和看到我们的家人，但我们依然无法感受或拥抱他们。空间和时间隔开了我们，特别是在这场漫长的疫情期间。当然，业界在开发能够以高分辨率和高灵敏度数字化捕捉触觉特征的传感器方面取得了巨大进展。然而，目前我们缺乏一个能够有效虚拟化触觉、并能够在空间和时间方面记录和回放触觉的系统。

所以，香港城市大学与腾讯机器人实验室进行合作，共同开发了一种可以模拟具有高空间分辨率和快速响应率的触觉反馈的新型触觉渲染系统。

现有技术的局限性

现有的触觉刺激再现技术可大致分为两类：机械刺激和电刺激。

通过在皮肤施加局部机械力或振动，机械致动器可以产生稳定和连续的触觉。但当集成到便携式或可穿戴设备中时，它们往往体积庞大，限制了空间分辨率。

对于电触觉刺激器，局部电流通过皮肤，并在电极位置唤起皮肤中的触觉。它可以轻巧灵活，同时提供更快的响应。但大多数人依靠高压直流脉冲（高达数百伏）穿透皮肤最外层的角质层，然后刺激受体和神经。所以，这引起了安全问题。另外，电刺激的触觉渲染分辨率需要提高。

香港城市大学和腾讯团队开发的新型电触觉致动器非常薄且灵活，可以轻松集成到指套中。这种指尖可穿戴设备可以高保真地显示不同的触觉，例如压力、振动和纹理粗糙度。另外，团队没有使用直流脉冲，而是开发了一种高频交变刺激策略，并成功地将工作电压降低到了30 V以下，从而确保了触觉渲染的安全性和舒适性。

他们同时提出了一种全新的超分辨率策略，在物理电极之间的位置而不是仅在电极位置呈现触觉反馈。据悉，这将刺激器的空间分辨率提高了三倍以上（从25点提高到105点），所以用户可以感觉到更真实的触觉。

具有高空间分辨率的触觉刺激

研究人员指出，电极可高度灵活且可扩展，而新系统可以以高空间分辨率（76点/平方厘米）（类似于人体皮肤中相关受体的密度）和快速响应率（4千赫）激发触觉刺激。

团队进行了不同的测试，目标是展示这种新型可穿戴电触觉渲染系统的各种应用可能性，例如VR/AR应用和游戏，为元宇宙增加触觉反馈。

实验证明，用户可以在虚拟时装店中感知衣服的质地。另外，当被VR猫咪舌舔时，用户会感到指尖发痒，而当撸猫时，用户可以感觉到随着抚摸方向和速度改变的猫毛粗糙度变化。

这个系统同时可用于通过手套传输精细的触觉细节。其中，团队成功地将电触觉渲染系统的薄而轻的电极集成到手套的柔性触觉传感器中。触觉传感器阵列捕捉手套外部上的压力分布，并通过触觉刺激将信息实时传递给用户。

在实验中，用户可以根据手套与传感器和刺激器的触觉反馈，快速准确地定位一个半径仅为1 mm、厚度仅为0.44 mm的微型钢垫圈。这显示了系统在实现高保真触觉方面的潜力。

延伸阅读：Super-resolution wearable electrotactile rendering system

研究人员指出：“我们希望我们的技术能够广泛应用，如信息传输、外科培训、远程手术和多媒体娱乐等等。”

一双手套的价格为5495美元，约合人民币4万元

（映维网Nweon 2022年10月26日）触觉反馈手套开发商HaptX日前宣布，全新的企业向产品HaptX gloves G1开启预购，一双手套的价格为5495美元（约合人民币4万元），发货日期预计是2023年Q3季度。

G1

G1

这家公司表示，HaptX gloves G1以HaptX gloves DK2为基础进行了一系列的优化改进，包括人体工学、多种手套尺寸、无线、以及触觉反馈功能。

最关键的是，新产品要比DK2的价格低，一双手套的价格为5495美元。尽管DK2的价格没有对外公开，但根据2021年的报道，DK2的每单位售价为数万美元。

据介绍，G1内置数百个微流体致动器，它们可以单独膨胀以移位，从而对皮肤产生触感。这款设备同时能够提供力反馈，可以在物理手指触达虚拟对象边界时提供反向作用力。

尽管尚无法上手体验G1，但根据过去的体验，HaptX的手套能够带来仿佛像是触摸真实对象的感觉，紧密地复制它的质地，形状和运动。

除了简单的视觉验证，你可以知道自己的虚拟手部何时与虚拟物体接触，因为你能感觉到指尖或手指的作用力。这意味着你可以完全依靠自然的物理操作来进行交互，比如用两根手指微妙地旋转立方体。

Airpack

值得一提的是，由于手套需要压缩空气来给为微流体致动器充气，所以G1附带了名为“Airpack”的辅助设备。这是一种无线背包。这家公司表示，Airpack一次充电最多可以工作三个小时。

当然，与DK2一样，G1 Airpack不包括机载计算，你需要自己提供PC和PC VR头显，又或者是无线解决方案。

HaptX gloves G1已经开启预购，一双手套的价格5495美元，而包含四种尺寸的全套件为一双手套4500美元，亦即全套件18000美元。另外，用户可以以每月495美元的价格选择HaptX Subscription订阅计划，包括HaptX SDK和面向企业的服务和维护计划。

2023年Q1季度发货

（映维网Nweon 2022年10月20日）成立于2015年的Tap Systems专注于开发先进的蓝牙可穿戴输入设备，他们的目标是“将任何物理表面变成你的专属键盘和鼠标”，从而允许你在任何地点和空间执行输入操作。团队瞄准的用例包括医疗器械，智能手机，平板电脑，智能电视，以及AR/VR头显等等。

延伸阅读：Meta：超低摩擦输入，“腕带”是AR交互的未来

对于AR/VR，随着科技巨头纷纷开始探索腕带设备这种前沿输入方式，Tap Systems同样不甘人后，并于日前正是发布了面向AR/VR领域的腕带式输入解决方案TapXR，标价299美元，限时优惠价249美元，预计2023年Q1季度发货。

需要注意的是，Meta等厂商研究的肌电图腕带设备主要是将手腕神经信号转换为数字命令，并能直接将你的物理操作一对一映射至虚拟世界。例如，物理拇指和物理食指悬空捏合，你的虚拟拇指和物理食指同样可以实现捏合；又如键盘模拟，Meta探索的肌电图腕带设备可以在任何物理平面复刻键盘的布局，并允许你如同指敲物理键盘的WASD按键的位置一样，在物理平面指敲相同对应的位置。如同下面的视频所示：

Meta探索的肌电图腕带设备的演示视频

尽管同样可以将诸如手背等任何表面作为操作界面，但与Meta等厂商不同，Tap Systems的解决方案依赖于解读你的指触敲击，并将其解码为数字信号。例如，食指敲击一下可以作为一个信号；食指敲击两下可以作为另一个信号；食指敲击一下，然后中指敲击一下，这又可以作为一个信号；食指敲击两下，然后中指敲击一下，这又可以作为另一个信号…….

通过组合各种信号命令，Tap Systems可以帮助你完成一系列的导航和键入操作，如同下面的视频所示：

TapXR的宣传视频

Tap Systems表示，手指轻触敲击速度快、准确，不会造成视觉或身体疲劳，而TapXR是第一款允许用户键入文本、输入命令和导航菜单的手腕可穿戴设备。它可以支持任何蓝牙设备，包括智能手机、平板电脑、智能电视以及AR/VR头显。

这家公司进一步宣称，Tap用户用一只手打字的速度已达到每分钟70多个单词，并且目前已经支持100+个独特信号命令（可定制）。但这同时意味着用户需要自己记忆多个不同的信号命令组合。

Tap Systems首席执行官多维德·舒切克（Dovid Schick）评论道：“到目前为止，XR用户都没有办法舒适地与头显进行交互。但现在有了TapXR，用户现在可以更快地打字、选择菜单并与其交互，并且不会感到疲劳，同时又有触觉反馈。这使得XR在生产力、商业和元宇宙等方面的应用范围更广。”

下面是TapXR宣称的功能：

• 全键盘模拟
• 精度超过99%
• 续航10小时，待机14天
• 任何表面
• 与任何支持蓝牙的设备配对
• 手和手指追踪的六自由度IMU
• 100+个自定义命令
• 开放源代码SDK
• 两种尺寸

TapXR目前已经可以预订，标价299美元，限时优惠价249美元，预计2023年Q1季度发货。

Mixed Reality Toolkit（MRTK）

（映维网Nweon 2022年09月26日）微软的开源项目Mixed Reality Toolkit（MRTK）旨在帮助开发者轻松利用Unity开发跨平台MR应用，它同时允许开发者通过编辑器模拟轻松进行原型设计，并立即查看相应的改动。

这个MRTK提供了丰富的组件，用于手和眼追踪、输入、解算器、诊断工具、场景管理等的组件可以帮助你用更少的时间来搭载更出色的体验。通过MRTK构建的体验可以兼容任何支持OpenXR运行时的设备，例如HoloLens和Meta Quest。

对于全新的MRKT3，开发者届时可以选择更轻量级的解决方案。它允许你仅选择所需工具包的组件，而且提供了一个新的交互系统、新的主题和数据绑定功能、Unity画布支持，以及更新的设计语言。另外，本机OpenXR支持更容易定位多个设备，如HoloLens、Meta Quest、Windows Mixed Reality和未来支持OpenXR的设备。

日前，微软的芬恩·辛克莱尔（Finn Sinclair）撰文介绍了构建MRTK3的体三维UI。下面是映维网的具体整理：

MRTK3代表着我们MRT用户界面设计工具成熟度方面向前迈出的重要一步。在过去的一年里，我们投入了大量资源来现代化混合现实中的UI设计系统，并对组件库和工具进行了全面优化调整。如果你曾经有过MRTK的经验，你就会知道为混合现实应用构建漂亮的现代用户界面从来都不是一件容易的事情。高质量的体三维UI需要独特的工具和系统。从人员挑战（可用性和保持大型设计团队的一致性等等）到工程挑战（布局引擎、3D体三维交互、模拟输入、渲染/着色器），我们在开发更成熟的设计系统的过程中遇到并克服了几类UI工具挑战。

在MRTK3的下一代UI工具中，我们寻求通过更强大的工程系统来显著改善开发人员的体验，通过更现代的设计功能改善设计师的体验，并通过更令人愉快和身临其境的微交互和设计语言改善用户体验。

1. 爆炸的变体

在MRTK的早期版本中，设计3D UI通常意味着手动计算、对齐和填充的数学基础，以及众多无法响应布局或尺寸变化的手动放置asset。这种限制大多是由于MRTK2中构建UI的主要方式没有使用Unity可用的典型UI工具。后来的MRTK2版本探索了使用画布和RectTransform布局来构建3D UI，但它从来不是在MRTK中构建UI的首选/主要方式。

在微软，随着我们为MR设备构建了更大、更雄心勃勃的应用，我们已经达到了需要更多现代设计工具、工作流程和方法来管理高度复杂UI布局的规模。当你有100多名工程师、设计师和项目经理时，保持设计语言和布局的一致性是一个重大挑战。如果我们依然在使用手动方法来对齐、调整大小和设计UI，我们很快就会碰到一堵巨大的墙壁，而上面会有数百个略微错位的按钮、毫米级的问题、成倍增长的预置变体和asset数量。这真是一场噩梦。

过去，MRTK的第三方用户可能经历过这个问题的小型版本，特别是从描述UI控件的所有可能配置和大小所需的大量预置和预置变体。我们有一个指数级的变种，我们需要为按钮样式、配置、布局甚至“大小”的每一种排列提供变种（最后一个特别令人沮丧）。

有了MRTK3，我们大大减少了预制件的数量。我们可以使用单个预置，而不需要预置变量来调整大小和配置，允许用户自由调整控件的大小，在控件中添加和删除自己的子功能，甚至用动态布局展开按钮组/列表/菜单。

你在MRTK3中通常使用的每个按钮都是相同的预置式按钮。所有UI元素都是可调整大小，可以动态适应其周围的容器及其内容。这都不是真正的MRTK特定发明。我们只是确保我们所有的用户体验都是按照Unity自己的用户界面所构建的相同标准进行构建，并且兼容所有现有的布局组、约束和对齐系统。

实际上，你在这个UI看到的每个按钮都是完全相同的预置：

设计者构建UI模板的速度大大加快。现在，在MRTK中构建UI真的非常有趣。简单的构造块，组合在一起，并形成更复杂的布局。

2. 计量

大规模使用UI的另一个问题是，设计语言/库对度量有非常具体的要求，既有可用性方面的考虑（最小接触目标、可读性等），又有设计方面的要求（填充、边距、角半径）。这是我们在混合现实中的设计偏离了大多数设计师在2D环境中所习惯的典型工作流程的最关键方面之一。过去，我们不仅在绝对坐标中指定了所有内容，没有任何弯曲或对齐参数，而且对所有内容都使用了物理的、真实的单位。所有用户界面均以毫米为单位设计。brand指导原则是以毫米为单位，边距、填充、边沟、间距都是毫米。甚至字体都是以毫米为单位指定。

这存在一定的好处。值得注意的是，我们面对的是真实的物理环境。混合现实中的UI不仅仅是屏幕显示的抽象信息；它本质上是存在于真实的物理世界中的真实物理对象。在开发过程中的某个阶段，它必须具有定义的物理大小和物理单元。我们对全息图的可用性同样有着非常严格的要求。我们的用户研究告诉我们，某些触控目标尺寸（32mm x 32mm，或最小的24mm）可以用于与手指进行三维立体按压交互。

然而，这种对物理单位的依附同样有缺点。首先，对于典型的前端设计师而言，这是一个陌生的工作环境，他们习惯于非物理设计单元，如em、rem、%、vh。传统的2D设计同样有DPI或屏幕密度的概念。但在混合现实中，设计与物理世界之间的关系更为密切。

最直接的缺点是，在这个以绝对物理单位指定所有内容的系统中，根本没有缩放空间。在混合现实中，在特定情况下依然需要放大或缩小整个UI布局或设计。这在为远距离、大型对象重用UI布局时十分常见（。对于笔划、轮廓和角半径等UI元素，我们使用着色器驱动的渲染技术。当仅以绝对物理单位指定时，这种计量值无法与设计的其余部分保持成比例一致。如果将32mm x 32mm按钮放大5倍，则1mm和5mm设计元素仍将保持1mm厚和5mm宽。尽管以绝对单位指定，但它们在比例上并不正确。

这令人十分困惑，但问题的核心是：没有RectTransforms或Canvas，就没有维度。只有尺度。对于笔划或角半径等元素，我们必须“绝对地”指定它们，以便在用于调整其大小和形状的缩放操作中保持一致。但当整个UI布局需要放大或缩小时，绝对测量值将成比例地不正确。

为了尽可能避免混淆，我们看一看可视化示例。首先，我们来看看当我们想“放大”基于非RectTransform的Dialog控件时会发生什么：

你可以看到，所有在物理单位中绝对指定的笔划、角半径等都保持“物理正确”，笔划总是精确到1mm。但随着其余设计的放大和缩小，它们变得不成比例。

你可能会说“只需将所有元素指定为相对于总体设计比例的

相对

…”问题是，如果没有RectTransform/Canvas，就没有任何相关元素。如果一切都只是缩放操作之上的缩放操作，那么就没有办法定义任何真正的相对甲量。每一个相对计量都是相对于它的父对象，它会应用任意数量的破坏性缩放操作。没有设计的“根”，也就没有可用于指定相对测量单位的“DPI”。

你怎么解决这个问题？答案是非物理设计单元，具有一定的“比例因子”。非物理单位和设计比例因子仅适用于Canvas和RectTransform布局，其中Canvas本身充当“设计根”，单个UI元素不缩放，而是调整大小。

UI是在任意的非物理单元中设计。现在我们叫它u吧，因为没有更好的名字。

我们同时定义比例因子或计量。MRTK3的组件库默认使用1mm到1u的比例计量，但微软的其他组件库使用了其他计量，如1mm到3u。在MRTK3中，我们可靠的32mm按钮现在计量为32u x 32u。在默认比例（1mm:1u）下，我们得到了我们的标准，推荐的32mm目标。但最关键的是，我们同时可以随时自由地重新调整计量值，这样我们可以在保持设计完整性的同时放大和缩小整个设计。

这是一个基于RectTransform的Dialog控件。即使我们将其从0.5x缩放到2x，所有的brand和视觉元素依然保持成比例正确。

现在，当设计师在Figma之类的外部工具中构建布局时，他们可以向工程师或技术设计师提供红线批注，这实际上是可以实现的。通过使用设计单元而不是物理单元，再加上强大的实时布局、灵活和对齐系统，我们可以实现更现代、更稳定的设计，无需借助手动布局和计算。

3. 平面世界中的体三维UI

与3D用户界面交互，同时遵循传统的2D界面“隐喻”（如剪切和滚动）十分困难。我们在MRTK3中的UI控件基本上是真实的实体对象，具有深度、体积和厚度。

在UI隐喻中包含这种对象（如“滚动视图”）可能非常棘手；在体三维情景中，“剪裁”看起来像什么？通常，UI具有光线投射/命中目标，这种目标表示为2D矩形，可以重叠和相交，并且可以通过2D剪裁矩形进行剪裁。

对于3D体三维UI，它看起来像什么？Unity UI通常具有基于图像的光线投射命中测试功能，如上所述，这通常不会影响我们的体三维UI，因为我们需要完整的物理化碰撞器来进行3D按压交互和自由形式的3D布局。碰撞器不能像基于图像的光线投射目标那样轻易“剪裁”，对吗？

作为采用现有Unity UI结构的努力，我们开发了一种以组件对组件方式裁剪体三维用户界面及其相应物理碰撞器的系统。碰撞器以深度校正（平面）方式剪裁，允许具有厚度和体积的3D UI精确匹配Unity UI滚动视图/剪裁矩形的边界。

在MRTK的前几次迭代中，当碰撞器离开裁剪区域的足迹时，我们只启用或禁用碰撞器。这导致用户意外按下90%不可见/被剪裁的按钮，而依然可见的按钮没有响应。通过精确地将碰撞器剪切到剪切区域的边界，我们可以在滚动视图的边缘实现毫米级的3D UI交互。更好的是，这一切都基于现有的Unity UI布局组和滚动组件，因此所有的滚动物理保持不变，同时与传统的2D输入兼容，如鼠标滚轮、多点触控触控板和触控屏。

4. 输入

我们的3D体三维UI支持大量输入方法和平台的。在XR中，你有

• 注视+按压交互

• 手部射线，

• 基于手部追踪的按压/戳压

• 注视+语音演讲

• 全局语音

• 运动控制器射线

• 运动控制器点戳

• 注视驻留

• 空间鼠标

当考虑平面屏幕/2D输入时，列表会进一步扩展……

• 触控屏/多点触摸

• 2D鼠标

• 手柄

• 无障碍控制器

• 键盘导航

Unity的UI系统非常适合2D输入。他们提供现成的触控屏、鼠标和手柄输入。他们甚至提供了基本的点击式XR输入。但遗憾的是，当你看到我们尝试用MRTK解决XR输入空间的多样性和丰富性时，基本的Unity UI输入并不足够。

Unity UI输入基本上是二维。最明显的差距是三维立体按压交互；当然，指针事件可以从手指与画布平面的交点进行模拟，但XR输入比这丰富得多。你的手指可以穿过按钮的一半，或者你的注视+按压交互可以夹到一半，或者手部、控制器、注视点、语音的任意组合。当UI是一个具有物理特征、尺寸和体积的真实物理对象时，你需要一套更丰富的交互系统。

谢天谢地，MRTK3利用了Unity提供的优秀XR Interaction Toolkit，这是一个非常灵活的描述3D交互和操作的框架。它功能强大，足以描述我们所有复杂的XR交互，如戳、按、捏和注视。但是，它远没有处理传统输入的设备，如鼠标、触控屏或手柄。当然，我们可以重新实现Unity UI已经提供的手柄或鼠标输入，但这听起来非常费神。如果我们能将XRI的灵活性与Unity UI输入的开箱即用功能结合起来，那又会怎么样呢。

利用我们的组件库，我们在适配器和转换的微妙捣鼓下做到了这一点。每个MRTK3 UI控件都同时是UnityUI Selectable和XRI Interactiable。

我们基于XRI的交互器可以在UI控件执行丰富、详细的3D交互，包括其他不可能的特殊行为，如模拟“选择性”或“按下”。但与此同时，我们可以获得触控屏输入、鼠标输入，甚至是定向手柄导航和输入，而无需自己实现任何输入处理。

我们通过将传入的UnityUI事件（从Selectable）转换为XRI指令来实现这一点。XRI Interactible是我们用户界面中真理的最终来源，开发者需要订阅的唯一“点击”事件是Interactible事件。然而，使用代理交互器，我们将UnityUI事件（如OnPointerDown）转换为代理交互器上的等效操作（如XRI Select或Hover）。这样，任何UnityUI输入都会转换为等效的XRI事件，所有代码路径都会聚合到相同的OnClicked或OnHoverEnter结果。

这对UI意味着，你可以在数量惊人的大量设备和平台使用完全相同的UI预置、完全相同的事件和完全相同的界面布局，同时保留MRTK-UX众所周知的丰富和令人愉快的细节。

5. 总结

这篇文章可以再多写几十页，并介绍所有MRTK3 UX工具和特性。但是，探索它们的最好方法是动手构建。你可以参阅我们的全新系统文档，并学习如何设置自己的MRTK3项目。或者，你以通过这个mrtk3分支克隆这个git存储库，直接查看我们的示例项目。

未来，我将编写更多关于使用新工具构建体三维UI的指南、分解图和教程。我希望你喜欢深入探索我们为MRTK3构建的全新UI系统，我们非常期待你用我们的新工具，并构建出令人称叹的项目。就我个人而言，我喜欢华丽、丰富、富于表现力和令人愉快的用户界面，我非常期待看到社区给我们大家带来的惊喜。

]]> https://news.nweon.com/100856 Thu, 22 Sep 2022 01:02:04 +0000 https://news.nweon.com/100856 团队将在未来几个月内对所述API进行各种优化调整]]> 查看引用/信息源请点击：映维网Nweon

团队将在未来几个月内对所述API进行各种优化调整

（映维网Nweon 2022年09月22日）Meta于今年四月发布了Hand Tracking API v2.0。这一版本带来的一系列改进可以帮助你将越来越逼真和自然的手交互集成到应用程序中，包括追踪连续性、手势支持、对象操纵等方面。总而言之，相关功能可以提供更深入的临场感。

延伸阅读：Meta发布Quest 2手部追踪2.0版，带来更稳健遮挡、移动交互

日前，Meta介绍了针对Hand Tracking手部追踪的路线图，团队将在未来几个月内对所述API进行各种优化调整，包括扩展对2.0版的支持；应用程序默认为2.0版，并将于2023年4月弃用1.0版：

扩展Hand Tracking API v2.0的支持

Hand Tracking API v2.0目前可用于Quest 2设备。为了帮助你覆盖更广泛的受众，从2022年10月开始，API v2.0支持将扩展到Quest 1。

2022年12月应用程序将默认采用2.0版本

现在要利用最新的API，你需要在应用程序的Android Manifest文件中选择2.0版。但从2022年12月开始，所有未指定手部追踪版本的应用程序将默认采用2.0版本。

尽管将API的默认版本从1.0调整为2.0应该会带来手部追踪质量的整体改善，但你可以选怎暂时opt out，将应用程序的Android Manifest文件更新为1.0版。

2023年4月，取消手动跟踪API 1.0版

从2023年4月开始，不再支持Hand Tracking API v1.0，所有集成Hand Tracking API的应用程序都将自动开始使用v2.0。无论应用程序的Manifest文件中选择了什么API版本，它都将强制更新以利用v2.0功能。这包括在Manifest文件中没有选择API版本的应用程序。

]]> https://news.nweon.com/95583 Sat, 26 Mar 2022 00:28:02 +0000 https://news.nweon.com/95583 定价为9000美元]]> 查看引用/信息源请点击：roadtovr

定价为9000美元

（映维网Nweon 2022年03月26日）在本周举行的GDC 2022大会，VR手套开发商Manus亮相了最新的设备Quantum Metagloods，并表示它提供的手指追踪精度远超过先前的作品。另外，尽管定价主要瞄准企业用例，但团队希望有朝一日能将这项技术带给消费者市场。

Manus一直致力于开发用于实时VR和动捕的手套产品。先前的产品主要是基于IMU和flex传感器追踪，而Quantum Meta选择了一种全新的磁性追踪。这家公司表示，新方案可以提供更为精确的手指追踪，尤其是在自接触情景，亦即手指触碰其他手指或手掌的时候。

尽管手套设计成结合六自由度追踪，但在GDC 2022大会的现场演示并没有采用六自由度（所以你会在视频中看到手臂的渲染图是原地旋转）。同时，工作人员表示设置中所反映的延迟不代表实际的追踪延迟。

Quantum Meta在手背搭载了一个磁性底座，每个手指的尖端则配备一个感应模块。Manus指出，这意味着手套可以检测手指的绝对长度和宽度（前提是完成校准），而且当与根据用户基本骨骼模型相结合时，系统可以实现更为精确的手部追踪。

如视频所示，演示手套的工作人员执行了一系列的手势操作。你可以看到，手指与手指，以及手指与手掌的接触效果令人印象深刻，没有明显的穿模或卡顿。这家公司表示，相关行为完全是由于传感器的位置数据，而且Quantum Meta在这方面独一无二，因为其他手指追踪技术往往会在这种近距离自接触情景出现崩溃。即使是昂贵的光学追踪系统（每个指尖都配有标记）都非常容易出现自遮挡或一只手遮挡另一只手的情形。类似地，纯粹基于IMU的手指追踪则容易漂移，需要定期重新校准。

不过，磁性追踪绝非完美。实际上，我们有在其他磁性追踪系统中看到过延迟和电磁干扰的挑战。对于这一点，Manus承认，金属或电子物品可能会造成影响，但团队非常努力地确保手套不会相互干扰。另外，他们指出，多达八只手套可以在彼此附近活动，不会产生干扰问题。

尽管自接触情景的效果看起来相当出色，但其他姿势的效果并没有那么好。演示手套的工作人员表示，这可以轻松通过包含类似姿势的稳健校准过程进行改善，而GDC现场所使用的校准是为了便于演示而设计。

与先前的大多数设备演示相比，Manus的手指追踪确实看起来很棒，但在手指追踪之外，其他演示内容的精度则要低得多。尽管工作人员将其归类为“校准”问题，但这种手套系统的一个挑战是：随着时间的推移，漂移累计有多少，以及重新校准之间的时间间隔对于给定用例而言是否可行。

另外，在任何情况下，用例都会受到价格的严重限制。Manus指出，一双Quantum Meta手套的定价为9000美元，而预购将于4月开始，暂定Q3季度末发货。这家公司同时表示，为了增强虚拟现实中的沉浸感，他们计划推出一款包含手指触感的触感版Quantum Meta手套。

值得一提的是，团队希望有朝一日能将这种手套带给普通消费者，但表示暂时难以将价格降低到所述市场可以接受的合理水平。

增强现实体验和交互空间将能大大优化提升

（映维网Nweon 2022年03月09日）追踪解决方案供应商Crunchfish日前亮相了最新手势解决方案XR Skeleton Stereo。得益于双摄像头输入，它能够在所有三维空间实现高精度追踪，并且同时追踪42个点（每只手21个点），以高精度测量摄像头传感器和手上每个点之间的距离。

团队指出，有了两个广角摄像头传感器，增强现实体验和交互空间将能大大优化提升。与之前发布的产品XR Skeleton（专为单摄像头配置和单手交互而设计）相比，新的XR Skeleton Stereo（XR Skeleton Stereo）支持双摄像头的双手跟踪，并能够高精度测量摄像头传感器与手的每个点之间的距离。

Crunchfish首席执行官乔基姆·尼德马克（Joakim Nydemark）表示：“基于Crunchfish的Skeleton平台，我们开发出了一种功能强大、完全满足消费者AR眼镜沉浸式交互要求的解决方案。”

XR Skeleton Stereo的使用领域主要包括AR/VR，可用于支持用户与虚拟对象交互。它同时提供了远距离追踪双手的新方法，例如控制各种屏幕功能和菜单。

Crunchfish研发总监丹尼尔·米莱森（Daniel Milesson）评论道：“有了XR Skeleton Stereo，我们的Skeleton平台和手部追踪更接近完美，它现在可以使用双摄像头实现毫米精度的双手追踪。XR Skeleton Stereo的开发真正展示了我们Skeleton平台的技术实力和多功能性。”

能够与你进行自然对话的未来人工智能助手

（映维网Nweon 2022年02月25日）Meta日前举办了一个名为“Meta AI: Inside the Lab”的人工智能实验室揭秘活动。除了演示人工智能团队所取得的最新突破外，Meta同时希望进一步说明人工智能将如何赋能公司的元宇宙未来。

在一个名为Project CAIRaoke的项目中，Meta希望构建一个能够与你进行自然对话的未来人工智能助手。下面映维网整理了团队的博文分享：

如果我们能够用自然的对话式语言与人工智能助手进行互动，就像普通的人类间交流一样，它将可以大大提升我们的生活质量。但无论是通过语音还是短信与其交流，如今的人工智能助手总是机器味道十。当你发出“在今天剩下的时间里静音所有通知，除非是我妈妈”等常见的请求时，它们往往无法予以正确的回应，更不用说像“我能为私人聚会租用当地社区中心吗？”或者像“为7月4日的周末规划一个价格合理的家庭海滩度假”等复杂任务。

所以，是时候提供更好的对话式人工智能了。

为了实现这一目标，Meta日前正式发布了宣布Project CAIRaoke。团队开发了一个端到端的神经模型，并已经在Portal中使用了Project CAIRaoke产生的模型。与人们现在熟悉的系统相比，它可以进行更多的个人和情景对话。这家公司的目标是将其与增强现实和虚拟现实设备集成，以便在未来实现与人工智能助手的沉浸式、多模式交互。

对于更好的对话式人工智能来说，最大的障碍可能是驱动当今先进数字助手的架构。尽管系统只提供一项服务，但它们实际上依赖于四个独立的组件：自然语言理解（NLU）、对话状态跟踪（DST）、对话策略（DP）管理和自然语言生成（NLG）。不同的人工智能系统必须联结在一起，所以它们难以优化，不善于适应新的或不熟悉的任务，并且高度依赖劳动密集型的注释数据集。

这就是为什么如今为大多数设备提供服务的数字助手会只能提供机械式的选项，忘记对话的情景，并遵循规定对话流程的原因之一。例如，你可以向助手询问当地的天气预报，但如果你继续询问简单但出乎其意料的问题，比如“天气比上周热吗？”，它将无法很好地予以回应。

通过使用Project CAIRaoke创建的模型，人们将能够自然地与对话助手交谈，从而可以在谈话中回顾之前的内容，完全改变话题，或者提及依赖于理解复杂、微妙情景地内容。你甚至可以以全新的方式与它们互动，比如使用手势。

Meta已经开始在视频通话设备Portal使用所述模型，以便更轻松地创建和管理提醒。例如，你可以快速澄清如下请求：

你：将闹钟设置为6:30。

助手: 早上6：30还是晚上6：30？

你: 晚上，然后提醒栏目就叫‘买鸡蛋’吧。

助手 : 好的，买鸡蛋的提醒时间定在明天傍晚6:30。

即便是这个早期测试，Meta都相信模型的性能优于标准方法。团队观察Portal时发现，与现有的方法相比，Project CAIRaoke在提醒方面有了显著的改进。相关评估是通过完成一组提醒目标的成功率，并同时保持正常的轮次数来衡量。

但这只是利用所述新技术的第一步。团队相信，Project CAIRaoke的进展将能帮助人与AI之间实现更丰富的交流，并且成为构建元宇宙未来的一个重要工具。未来，AR眼镜内置的Project CAIRaoke数字助手可能会以一系列感觉自然的形式来与你交互。例如，如果你问：“这条裤子应该搭配什么？”它可以回答：“这件有着你最喜欢的红色的衬衫”，然后它甚至会显示相关物品的图像。如果你说，“我喜欢，但条纹太宽了。”这时，它就会显示一个细条纹版本。

在未来，Meta希望在世界各地数百万人的日常应用中能够利用所述项目产生的模型。

1. 构建真正的交互式对话人工智能

推进对话式人工智能的一个必要步骤是理解问题的全部范围。你或者知道NLU的众多最新进展，比如BART和GPT-3，并认为理解和生成类似人类文本的挑战已经解决。但其实我们尚未达到所述里程碑。为了理解这一点，我们必须将人工智能区分为理解式人工智能和交互式人工智能。前者在整个行业都获得了充分的研发。它用于从各种输入模式中提取意义，例如自动语音识别、图像分类和NLU。后者则是我们如何利用我们对世界的理解来与使用技术的人员交互。这可以是发送文本、语音命令、触觉反馈、显示图像、视频或相关组合。

整个行业的研究人员和工程师都同意，好的对话系统需要一个由人工智能模型支持的坚实理解层。但许多人认为交互是一个工程问题，而不是人工智能问题。所以，理解世界状态的工程师可以创建一个复杂的逻辑来处理所需的交互。工程方法使理解系统如何工作变得容易，并在必要时快速调试逻辑。然而，这种普遍的信念导致了一个不是那么强大的对话式人工智能，亦即你无法通过它们轻松规划假期的一个主要原因。

2. 一种新的、统一的方法

上述示例对话框展示了Meta希望助手具备的关键技能：不仅提供准确的、最新的真实世界知识，而且可以跨多模式工作（在本例中是跨视觉和语音），跨领域工作（发送消息并估计到达时间），让你推动对话，不需要遵循僵化的对话模板。

人工智能助手的规范方法需要四组输入和输出：管道的每一层（NLU、DST、DP和NLG）各一组。它同时需要为每一层的输入和输出定义标准。例如对于NLU，传统的对话人工智能系统需要定义的本体。

然而，Meta的模型使用了神经网络，而且根本没有规定对话流程。利用这个模型，团队只需要一组训练数据。

Project CAIRaoke减少了添加新域所需的工作量。在规范方法中，扩展到一个新域需要依次构建和修复每个模块，然后才能可靠地训练下一个模块。换句话说，如果NLU和DST每天都发生变化，训练DP就无法有效完成。一个组件的更改可能会影响其他组件，从而触发所有后续模块的再训练。这种相互依赖性会减慢后续模块的进度。但通过所述的端到端技术，Meta消除了对上游模块的依赖，从而提高了开发和训练速度，并使团队能够用更少的精力和数据微调其他模型。

在这种新方法中，对话功能更加强大，因为它们能够通过在一个地方查看全部信息来做出决策。以前，即使一个组件中的一个小错误都可能会以意外的、难以解决的方式传播到其他组件。例如，当前基于规则的助手会明确地编程为在数字后寻找特定的单词或短语“p.m.”以表示下午，而Project CAIRaoke利用了高级的预训练语言模型，从而可以更好地理解情景，并能识别同一事物的不同表达方式。

最后，Project CAIRaoke将支持Meta AI的最新对话式机器人BlenderBot 2.0。这意味着使用模型构建的助手可以表现出同理心语言，传递通过实时搜索互联网发现的知识，并表现出一致的个性。

当系统生成自然语言时，其必须解决潜在的安全和隐私挑战。如今，大多数NLG组件都编写了脚本，以便内容审核员确保助手不会向用户提供令人反感的响应。但通过将助手直接对接到用户，这存在错误或冒犯性交互的风险。

重要的是，Meta在BlenderBot中加入了保护措施，这将有助于减少攻击性反应。团队同时在考虑隐私的情况下开发辅助技术。例如，对于Ray Ban Stories和Portal，语音命令的使用属于可选选项，你可以查看和删除语音命令的转录本，并且始终可以选择关闭语音存储。

为了降低对用户产生不良反应的风险，Project CAIRaoke的第一个里程碑是生成对话动作和自然语言。短期内，生成对话动作，并依靠一个经过测试和严格约束的NLG系统来提供用户响应。长远看，在确保模型的端到端完整性之后，团队将公开生成的句子。

另一个问题模型自信地陈述不正确的信息。这对端到端技术而言是一个巨大的挑战，因为模型可能会根据训练数据在对话框中引入或更改entities。例如，如果你让助手“设置一个呼叫唐姆的提醒”，它可能会设置一个呼叫汤姆的提醒，因为唐姆是一个不太常见的名字。Meta正在使用各种数据增强技术和注意力网络来增强Project CAIRaoke的稳健性，并利用BlenderBot 2.0来减少所述问题。

3. 使用语音完成无数日常任务

尽管短期内实施的Project CAIRaoke模型是用于Portal的提醒，但团队希望能够很快将其应用于更大的领域，从而帮助个性化人们的购物体验，并允许人们推动对话流程。

Meta同时认为，这一进步对于为增强现实构建AI对话能力特别有用。在不久的将来，人们会像今天使用智能扬声器、智能手表和其他设备一样，定期在AR眼镜使用语音助手。考虑到这一点，团队正在努力缩小像这样的端到端模型的大小。研究人员同时在努力提高模型的易调试性。这是一个复杂的挑战，因为在这个新框架中，信息是在嵌入空间中表示，而在规范模型中，信息属于显式。为了充分实现对Project CAIRaoke的愿景，其需要将其扩展到多种语言，并找到高效使用所述模型的方法。

这家公司最后总结道：“我们可以想象，数年后，Project CAIRaoke的技术将成为下一代人与设备交互的基础。对于诸如VR头显和AR眼镜等设备，我们预计这种通信最终将成为无处不在的无缝导航和交互方法，就像触摸屏取代初代智能手机的键盘一样。我们目前的模型是向前迈出的重要一步，但要充分实现这一愿景，我们还有更多的工作要做。但我们对迄今取得的进展和面临的挑战感到非常兴奋。”

]]> https://news.nweon.com/94271 Wed, 09 Feb 2022 01:04:06 +0000 https://news.nweon.com/94271 下月登陆Kickstarter进行众筹]]> 查看引用/信息源请点击：映维网Nweon

又获得了战略投资者额外提供的1300万美元

（映维网Nweon 2022年02月09日）调研机构National Research Group早前曾就消费者对元宇宙的看法进行了研究。相关数据显示，大多数人对这个新兴媒介感到兴奋，但78%的消费者表示在沉浸式世界中与虚拟对象交互时渴望真实的触感。

对于这一点，超声波传感器厂商Emerge日前宣布，名为Emerge Home的触觉反馈系统已经登陆Kickstarter进行众筹。目标金额是20万美元，时间截至2022年4月9日，而早鸟支持者可享受499美元的优惠价。

所述系统由由三个组件组成：Emerge Wave-1（上图设备）、Emerge Home社交体验和Emerge Home app，并且主要针对Meta Quest 2设计。

如上图所示，Emerge Wave-1与13英寸的笔记本电脑大致相同。它能够通过超声波在用户前方营造一个高出设备三英尺，并且环绕设备120度的区域。同时，它能够监控你的双手，并根据VR应用向你提供与虚拟对象交互时的悬空触觉反馈。

以这种方式，用户将能够在虚拟空间中徒手感受触觉体验，不需要手套、控制器或任何可穿戴设备的产品。

Emerge联席执行官斯莱·李（Sly Lee）表示：“Emerge代表了我们人类交互的下一个范式转变。Emerge Home的目标是将人们突破屏幕的限制，并帮助他们以自然的方式进行情感交流。”

首席技术官艾萨克·卡斯特罗（Isaac Castro）则补充道：“Emerge正在打造一系列能够允许用户在虚拟空间中徒手感受触觉体验，并且不需要手套、控制器或任何可穿戴设备的产品。我们现在将从虚拟现实开始，并在不久的将来探索其他接口。”

值得一提的是，对于Emerge Home的发布，Emerge又获得了战略投资者额外提供的1300万美元。团队将利用所述资金来完成产品开发并支持早期用户社区。这家公司迄今为止的融资额已经达到3100万美元，投资者包括Matthew Ball、拳头游戏联合创始人Marc Merrill、Twitch联合创始人Kevin Lin、MEMS专家Kurt Petersen、专利公司Schox、M13和Vulcan Capital等等。

2022年Q2发布开发者套件

（映维网 2021年12月29日）自2015成立以来，触觉技术厂商bHaptics已经发布了多款VR相关产品，支持100+的游戏和应用，例如《Beat Saber》和《半衰期：爱莉克斯》等等。研发人员一直在根据市场变化而不断优化迭代产品。

日前，这家公司又发布了全新的VR触觉手套TactGlove，售价299美元。团队计划在2022年Q2季度提供开发者套件，随后再开售消费者版本。

据介绍，设备能够兼容基于摄像头的手部追踪系统，如Meta Quest和Ultraleap的Leap Motion。所述手套的每个指尖都搭载10个线性谐振执行器，能够单独提供“精细和复杂的反馈”（通过bHaptics SDK进行控制）。另外，TactGlove可以实现4小时的无线畅玩。

TactGlove由弹性面料制成，发布时将提供三种尺寸：中号、大号和特大号。团队同时提供了内手套，以便用户轻松清洗替换。就兼容性而言，手套目前支持少量手部追踪游戏和应用，包括《 Unplugged: Air Guitar》，《Hand Physics Lab》和《bHaptics Player》等等。

bHaptics评论道：“我们致力于通过触觉技术将人们联系起来，而TactGlove在这方面真正标志着一个里程碑，因为它不仅可以帮助用户与虚拟对象进行逼真的交互，同时允许大家以非常实惠的价格在VR/AR环境中与朋友和同事进行逼真的交互。随着我们进入元宇宙时代，我们非常期待看到TactGlove将给虚拟交互带来变化。”

有关TactGlove和更多信息请访问公司官网

源域科技CTO李子琪专业解读，数据手套是理想VR物理交互的最佳载体

（映维网 2021年11月24日）作为最重要最自然的交互方式，基于人手的人机交互方案将变得越来越重要。近期，AR/VR领域的主要玩家Meta（Facebook）公司也对外展示了他们在基于人手的人机交互方案领域的最新原型设备。与此同时，腾讯、招商银行也参投了知名的视觉手部追踪与交互厂商Ultraleap的6000万英镑D轮融资。

延伸阅读：Meta深度分享用力反馈手套为AR/VR元宇宙提供触感体验

延伸阅读：腾讯、招行参投，Ultraleap完成6000万英镑D轮融资

为了更好地解读基于人手的人机交互方案的重要性，映维网与手部交互专家源域科技CTO李子琪进行了一次对话交流。源域科技是一家专注于手部姿态捕捉和交互的科技公司，其核心产品Mastery—掌控数据手套，在手部追踪领域有世界领先的性能和体验。

映维网：人机交互是AR/VR不可或缺的一环，也是资本青睐的硬科技之一。比如，刚得到腾讯、招行等众多投资者提供的6000万英镑融资的Ultraleap。作为AR/VR元宇宙的主要投资者，Meta（Facebook）近期也展示了他们重点投资的手部交互数据手套。为什么基于人手的人机交互方案很重要呢？

李子琪：人类对运动/躯体感觉皮层的早期认识主要来自于对正在经历脑外科手术的清醒病人的皮层进行直接进行电刺激。皮层拓扑地形图记录了人脑皮层与身体部位的对应关系。将运动/躯体感觉皮层的拓扑地形图以3D的形式呈现，我们可以直观了解到身体的不同区域在运动和躯体感觉皮层表征的比率。

皮层拓扑地形图（Cortical topography）

身体部位的实际大小和该部位在皮层表征的大小之间并没有直接的联系。比如，控制手指、嘴部和舌部肌肉的运动/感觉的皮层面积要远大于如果按身体比例进行表征时应得的大小。这样的脑部结构保证了我们可以控制手指和嘴唇/舌头进行精细的操作，这一定程度上也有利于我们对工具和语言/表情的使用。

躯体感觉侏儒图（左）和运动侏儒图（右）

手是人类能够用于生产交互的最自然也是最灵巧的器官。在基于VR/AR的3D计算机环境下狭义的物理交互技术中，高品质的手部交互方案很显然也是最为关键的技术。

可以想象，假如存在完美的人手动作捕捉和手部触觉反馈，那么这套系统在第一人称的3D环境里可以在涵盖继承所有已有的物理交互方案。这无疑最自然的物理交互方式，配合以VR/AR在虚拟环境中更能够创造无限新的可能。

虽然总有人喜欢拿动漫及科幻故事的脑机接口来畅想未来，可是很遗憾，依照现实的技术发展情况，距离能够大规模应用，达到人类现有设备，诸如常见的鼠标键盘交互效率和方便程度的脑机技术方案仍是遥不可及的事情。因此高质量的手部交互方案仍然是可见的未来中最值得期待的方案。

映维网：基于人手的人机交互方案主要有哪些

李子琪：Meta和Ultraleap相关的技术和产品涵盖了多种基于手的交互方案，包括数据手套（触觉和追踪）、视觉手部追踪、以及革新性的Oculus Touch手柄（弱追踪3指）。除此之外还有Valve Index的Knuckles手柄（弱追踪5指），以及B端多种不同方案的数据手套（外骨骼手套）。

这些技术及产品毫无疑问指向的是同一个大目标：让用户在第一人称3D环境（尤其是VR/AR）中，能够更加自然地用手来完成高精度的物理交互，并且获得良好的触觉反馈体验。

在这里讲的物理交互特指需要用物理动作操作的交互方式，例如过去基于鼠标键盘的点击拖动，基于电容屏的多点触控操作，以及在VR/AR环境中需要用手部完成的3D交互操作等。

Meta（Facebook）力反馈手套（2021）

映维网：这次Meta（Facebook）展示的触觉手套的技术原理是什么

李子琪：时隔多年Meta也重新将大众的目光吸引到了触觉手套上，向我们展示了一款主要基于微流体气动的触觉手套。但这并不是一项全新方案，该方案与多年前已公开的HaptX手套的基础原理相同——通过对手套上的微小气囊阵列进行充气、放气的进而模拟产生触感。

气囊触觉组件：Haptx （左）vs Meta（右）

在Meta的演示视频中，我们可以看到手套有一簇气体管道以及疑似为气体控制阀门阵列的组件。气体管道连接末端疑似还有气泵支持组件，但并未在视频里公开。

Meta 触觉手套 疑似气体控制阀门阵列组件

映维网：该技术方案目前有哪些优缺点

李子琪：不同于过往的力反馈方案只能在手部个别部位产生力的牵引效果，这种基于微流体气动的微小气泡阵列方案，通过数量众多的微小气囊，可将人手的触觉反馈信息量提升到新层次，能够给手提供远超过去设备能够提供的丰富触感信息。在这个层面上讲，这是人类工程往手部触觉探索的一次大进步。

延伸阅读：HaptX指责Meta抄袭触觉手套专利

同时，参考HaptX的商业发展路径，在对价格不敏感的高端商用VR训练场景中，这类触觉手套方案已经能够发挥重要作用。

再说这项方案的问题或缺点。从HaptX公开信息中对比得知，该方案需要气泵及控制阀门等组件，为手套中气囊触觉组件的充放气提供供给。HaptX在2019年左右公开过气泵组件，气泵的尺寸体积与台式电脑机箱相当。HaptX曾声称，HaptX基于微流体气囊的触觉手套方案或许永远无法做成普通消费产品。

HaptX 手套的气泵集成箱体

基于Meta公开的视频资料，我们可以看到，目前Meta同样未能将气泵组件做到小型化。

与普通电子产品相比，Meta整套方案同时也是融合了更多复杂机构的机械产品。但如果要往消费市场发展，还需要考虑更多其它问题——复杂的机械机构组件，难以控制的成本，以及复杂组件带来的售后和维护等。这些都会极大阻碍产品向消费市场发展。

当前来看，我认为Meta（Facebook）更多是在用这项方案展示一下技术实力。在未来相当长的时间内，这个技术方案都没有可能应用在其消费级产品中。

映维网：那如何评价Ultraleap的技术方案

李子琪：Ultraleap核心产品之一是基于视觉的手部追踪，其最新推出的手部视觉追踪算法引擎Gemini更是把视觉手部追踪推向了极致，从目前的公开资料对比，其效果要强于Oculus Quest 2以及微软的Hololens 2的视觉手部追踪。

Ultraleap第五代手部追踪平台Gemini

AR/MR与VR的交互有很多相似性，对手部交互提出了新的需要，但是对于物理交互的需求程度，二者还是有区别。

AR/MR应用于开放环境，现实环境占据的比例甚至远大于虚拟部分，仅需要弱物理交互即可完成大多数操作，允许手部在现实世界里维持原有的职能而不受影响。此类设备对裸手直接交互有着更为迫切的需求，具有代表性的是微软的Hololens系列MR头显和大部分现存的AR头显，基于视觉的手部追踪也非常好地吻合了这个需求。

但高质量的VR环境需要的是强物理交互，对交互的可靠性、稳定性和精准性提出了更高的要求。受限于其自身原理，基于计算机视觉的手部追踪方案，在追踪可靠性和追踪范围上不能得到保障。即便是当今世界最好的视觉手部追踪，其问题和天花板也非常明显，Ultraleap也不例外。

我所接触过的深度体验过视觉手部追踪交互的用户，几乎都会认为手部追踪交互有点反人类设计。为什么呢？首先，手需要放到摄像头视野内才能被有效追踪，但长时间把手放到胸前就会让手臂极其疲劳；其次，可靠性的不足会大大提高交互失败的概率，这就进一步要求用户要尽可能以较大的动作幅度去完成交互，同时用户还要忍受交互失败后要重做动作的痛苦。

相比按键式轻松点击操作来进行选择、确认，通过视觉原理手势来完成交互几乎成了一种煎熬。

目前市面上把基于视觉原理的手势交互作为自身亮点的VR/AR眼镜，基本都存在这个问题——让人感觉很酷，但实际操作体验较差，无法承担高频的物理交互。

HoloLens -左上、Quest -右上、Ultraleap-左下、影创-右下

好在AR/MR可以只需要弱物理交互，操作需求并不频繁。相比AR/MR带来的功效和便捷而言，这种偶尔才需要手部操作，累一点、失败一次，也完全可以接受。在这种需求下，视觉手势交互就有了一定的发挥空间。

但在VR的强物理交互需求下，基于计算机视觉的手部追踪的弊端就特别明显了。我们可以参考强物理交互需求的电脑手机的办公或游戏，没有用户能忍受每20次操作就会错一次的交互操作体验，我们会怀疑是不是产品坏了。这也可以解释，为什么即使是拥有非常优秀视觉手部追踪技术的Oculus Quest 2，也难以推动这项技术在Quest上的更大范围应用。

UltraLeap 的超声波阵列+视觉追踪

另外，为了弥补裸手视觉追踪时的手部触感缺失，UltraLeap使用了超声波阵列隔空向手部发射声波能量，以制造触感。需要注意的是，该方式会引入体积较大的外部超声波组件，会进一步限制手部的自由交互可操作空间范围。

虽然在VR环境中，基于视觉的手部追踪技术没有很好的优势，但不可否认它在特定环境下的价值，例如车机系统或者公共场合中的无接触操作的环境。

映维网：你认为AR/VR手部物理交互在未来会有怎样的发展

李子琪：相比VR，目前AR的发展阶段过于早期，未来走向消费级AR的产品形态仍不确定，即使是苹果，初期也很可能只是Apple Watch级别的配件，提供简单的信息呈现功能。与AR眼镜技术相容性很好的视觉手部追踪方案，在独立AR眼镜大规模铺开之前，难有更大的用武之地。

VR在Meta（Facebook）的大力推动之下，已经稳步向消费品迈进。高质量的手部追踪和触觉反馈是VR物理交互的关键。数据手套无疑是可见的实现理想VR物理交互的最佳载体——不受视觉遮挡限制，手部物理交互不再需要将手放至面前胸前，可随意舒适地自由操作，同时还能承载物理反馈功能。

过往高品质数据手套制造成本过高，性能效果不佳，这些原因一定程度上导致其无法承担消费级用途。目前市面售价在8000-20000元每套的数据手套，捕捉品质差强人意，没有追踪细节可言，无法提供消费者潜意识中认为的数据手套应有的使用效果和体验。与消费级千元价位的VR手柄相比，除了新奇性和特种应用之外，基本没有优势可言了。

基于数据手套的手部交互方案目前主要面向B端用户。当前基于手部的人机交互方案也是方兴未艾，国内有源域科技、诺亦腾等数据手套方案，国外有Manus，Meta等。

映维网：源域科技也是专业的数据手套厂商，相比之下，你们的产品具有哪些优势

李子琪：源域科技的数据手套可以高精度追踪全手30+自由度信息，超过了传统解剖学对手部自由度简化后的定义，超过了市面上所有已公开的手部追踪技术。从性能指标来看，更是超过了市面售价15-20万元每套的动作捕捉数据手套。源域科技有更加精细的手部捕捉，可以捕获细微的动作变化，允许用户用最小的体力消耗，不傻也不累地完成手部自然物理交互。

源域科技旧版数据手套原型视频，新版产品暂时保密

源域科技采用了革新的数据手套技术方案，在提升性能的前提下大幅削减了组件成本，并从设计之初就考虑了量产的选型与可行性。若向消费级产品方向发展，在保证最佳追踪效果的同时，量产成本及售价与当前的VR手柄可达到同一数量级。源域科技的方案为面向大众消费市场的高品质低成本数据手套提供了可能。

在可预见的未来，随着市场需求增加和技术发展，面向C端的低成本交互套装将随之涌现。

触觉手套，柔性机器人技术、微流体技术、手部追踪、触觉渲染和感知科学方面的进展

（映维网 2021年11月17日）从今年三月开始，Meta的Reality Labs Reasearch开始通过系列博文来探讨人机交互（HCI）的未来。在第一篇博文中，团队为增强现实眼镜构思了一个情景感知AI界面的十年愿景。它能够利用你选择共享的信息来提供主动帮助，支持你查找并与周围的人保持联系。在第二篇博文中，团队介绍了关于人机交互方面的进一步研究：将基于手腕的输入与可用但有限的人工智能相结合，从而动态地适应你和你的环境。

延伸阅读：畅想未来AR交互愿景，Facebook要创造“新鼠标”革命

延伸阅读：Facebook：超低摩擦输入，“腕带”是AR交互的未来

日前，团队撰写了本系列博文的最后一篇，介绍了其在触觉手套，柔性机器人技术、微流体技术、手部追踪、触觉渲染和感知科学方面的进展。下面是映维网的整理：

Reality Labs Reasearch有一支团队专门负责为增强现实和虚拟现实发明未来的交互。他们不仅仅只是在寻找前面数年的机会。基于其在高技术领域的专业知识，这群有志之士正在为我们10年到15年后的数字世界打造一个愿景。他们的工作是创造未来的技术，帮助我们实现与这数字世界进行无摩擦的交互。

团队的研究人员、工程师和设计师正在进行长期的研发工作，而从中诞生的技术不仅有可能从根本上改变增强现实和虚拟现实的进程，而且有可能影响医学和太空旅行等各个领域。

这是下一个人机交互时代的中心，这是一个大胆的研究项目，并旨在解决元宇宙的核心挑战之一：我们如何触及虚拟世界？

1. 通过触觉手套来触碰数字世界

想象一下，你正在与朋友的超逼真虚拟化身一起进行虚拟拼图。当你从桌面拿起一块虚拟拼图时，你能够感觉到它确实存在于自己的手中。当你拿着拼图进行判断时，你能够感觉到拼图边缘的锐利和表面的光滑。然后当你把它放在正确的位置时，你会感到满意的咔嗒声。

再想象一下，你正坐在一家咖啡馆里工作。一个虚拟的屏幕和键盘出现在你面前，其中虚拟键盘匹配双手的尺寸和面前的可用空间，并且可以根据你的喜好轻松个性化。你可以感觉到每次敲打键盘时的咔哒声，以及虚拟按键的边缘。你的文本键入就像如同操作完物理键盘一样简单。

这种体验将如何增强你与虚拟世界的联系呢？在元宇宙中，它们会对你的生产能力或执行任何行动的能力产生何种影响呢？

今天最接近这一点的体验是Quest的手部追踪功能。它可允许你在虚拟现实中看到双手的数字版本，然后利用它们来操纵虚拟对象。但是，你没有任何一点触感。如果没有触觉反馈，我们在虚拟世界中的操作就不能像在现实世界中那样灵巧。我们这项研究的目的正是要改变这种状况。

肖恩·凯勒（Sean Keller）是Reality Labs Reasearch的创始人和负责人，他在七年的时间里将其发展成拥有数百名世界级专家的团队。

这位研究实验室的总监解释道：“手在解决AR和VR交互方面的价值非常巨大。我们用手与他人交流，了解世界，并在其中采取行动。如果我们能将双手完整呈现在AR和VR之中，我们就可以像真实世界一样触摸、感觉和操纵虚拟对象，无需学习新的交互方式。”

凯勒的目标是发明柔软、轻巧的触觉手套，并解决AR/VR交互问题的两个方面：帮助计算机准确理解和反映佩戴者的手部动作，并为佩戴者再现一系列复杂、细微的感觉（例如压力、纹理和振动），从而创造用手感觉虚拟对象的效果。

要想成功，这种手套需要时尚、舒适、经济、耐用，并且完全可定制。你可以将它们与VR头显配对，以获得身临其境的体验，比如在元宇宙中参加音乐会或畅玩扑克游戏。最终，它们同样可以与AR眼镜配对。

这种手套不仅仅是一个外设，它能够令虚拟世界变得有形。但真正的新型触觉手套需要在一系列的科学和工程学科中实现突破性的进展。

凯勒指出：“我们几乎是从零开始创造这门学科的一切。我们正在学习人类是如何感知触觉，以及他们是如何完成任务。我们正在研究如何适配人手的各种形状和大小，同时保持与用户的机械耦合。我们正在探索柔性机器人和仪器追踪系统的极限。我们正在研究和采用与过去完全不同的全新柔性材料和制造技术。”

面对这一巨大的挑战，凯勒和团队首先提出的问题是：如何创造出可信的触觉。

为了提供真实的触觉，触觉手套需要安装数百个执行器（微型电机），并以协调一致的方式移动，从而为佩戴者提供仿佛自己正在触摸一个虚拟对象的感觉。但现有的机械执行器产生了太多的热量，所以不适合全天候穿戴。它们同时太大、僵硬、昂贵、耗电，无法呈现真实的触觉。

开始工作两年后，团队遇到了传统电气、金属部件方面的限制。他们假设通过柔软、柔韧的执行器来代替机械执行器，而且这种执行器由全新的材料制成，可以根据佩戴者的动作改变形状。

但是，这种执行器在当时根本不存在。

Reality Labs Reasearch硬件工程总监特里斯坦·特鲁特纳（Tristan Trutna）解释道：“你绝对不能够在手上安装1000个微型电机和电线。即使你拥有无限的资源，你都无法做到。从物理的角度来看，这并不合适。质量太大，热量太大。如果你需要在不同距离的不同位置施加数千个有形的力，你要么只能是通过气动、液压或高密度电动执行器。”

团队转向了柔性机器人和微流体技术等常用于假肢和PoC诊断设备的新兴领域。

在过去的两年中，他们在气动执行器和电活性执行器两方面都取得了重大突破。作为说明，气动执行器利用气压来产生力，而电活性执行器则在电场作用下改变形状或尺寸。

为了控制这种新的柔性执行器，团队正在构建世界第一个高速微流控处理器：位于手套的一个微型微流控芯片，它能够告诉阀门何时打开和关闭，从而控制移动执行器的气流。

研究科学家安德鲁·斯坦利（Andrew Stanley）指出：“我们与更广泛的微流体领域的不同点在于，我们强调足够轻、快速和可穿戴。对于触觉交互，当虚拟现实或增强现实发生事件时，执行器需要非常快地对指尖加压。大多数微流体过程发生在秒级，而我们则是毫秒级。我们可以实现更快的响应时间。通过我们的流体逻辑电路，我们能够通过减少控制大量执行器所需的机电阀数量来消除系统中的重型机电部件。”

2. 触觉渲染：构建虚拟环境的精确图片

但即使有了控制气流的方法，系统都需要知道何时何地传递正确的感觉。这就需要先进的手部追踪技术，以便计算机能够准确地知道手在虚拟场景中的位置，你是否与虚拟对象接触，以及手如何与对象交互。

它同时需要一种能够根据人手位置和对虚拟环境的理解（包括虚拟对象的纹理、重量和刚度），在合适时间向执行器发送正确指令的新型渲染软件。

Reality Labs Reasearch软件工程师弗雷斯特·史密斯（Forrest Smith）表示：“人们通常认为‘渲染’是视觉效果，但我们使用‘渲染’一词来表示触觉。我们正在做的是获取这个虚拟世界的状态，以及你与它的交互，然后将其渲染到执行器，以便你能感受到相应的感觉。”

工程师贾斯汀·克拉克（Justin Clark）则进一步指出：“为了呈现与对象的实时交互，我们需要模拟相应的物理现象。”。

物理引擎确定手在与虚拟对象交互时应经历的力的方向、大小和位置。然后，触觉渲染算法将所述信息与触觉设备的特征（例如其各个执行器的位置和属性）结合起来，以便向设备发送正确的指令。

软件工程师安德鲁·多克森（Andrew Doxon）补充道：“其中一个挑战是构建能够与不同类型执行器协同工作，并支持广泛触觉体验的软件。最终，我们还需要允许人们能够以创建视觉或音频内容的方式来创建触觉内容的开发工具。”

3. 结合听觉、视觉和触觉反馈

当团队继续工作到第四年时，面前出现了第三个挑战：要令纹理和感觉起效，必须以模仿现实的方式模拟触摸物理，但又不能完全再现真实世界的物理。

尽管触觉手套可以提供有价值的反馈，但它们不能完全阻止你在尝试抓住虚拟对象时闭合手指，或阻止人手穿过虚拟桌子（穿模）。

于是，研究人员转向感知科学和多感官集成：一项关于人类感官是如何协同工作以建立我们对世界理解的研究。

用户体验研究科学经理索菲·金（Sophie Kim）解释了团队是如何利用人类的感知能力来创造令人信服的感觉。她说道：“我们的大脑非常擅长于接收一点触觉信号、一点视觉信号、一点听觉信号，然后就能将它们融合在一起并允许你获得一种感觉，并确信自己手中确实是有一个物体。”

为了帮助我们理解在AR/VR中实现感官统合的感觉，感知研究科学家婕西·哈契·奥布莱恩（Jess Hartcher-O’Brien）以操纵立方体为例进行了解释：“如果我拿起一个立方体，我已经对它的材料类型和可能的重量有了假设。我拿着它，我验证了材料，所以我结合了关于其材料特性的视觉线索和来自第一次接触瞬间的触觉反馈。当我去操纵物体时，我的大脑会识别摩擦力和惯性，并能计算出物体的密度或重量。根据对我手臂运动的观察，我的视觉系统正在进行更新。然后，本体感告诉我手臂在空间中的位置、移动的速度以及我的肌肉正在做什么。”

触觉手套甚至可以允许佩戴者的感知系统相信它正在感受物体的重量，方法是用执行器轻轻地拉动佩戴者手指的皮肤，以模拟对手持对象的引力。但这一切都必须安排得恰到好处。

在2017年末的一个实验中（如视频所示），一系列由不同材料制成的虚拟球体（木材、大理石、泡沫）从天而降，而团队使用指尖上的一个振动旋转装置来提供触觉反馈。当球落在被试的虚拟手指尖上时，每个球都会提供独特的视觉、听觉和触觉反馈线索。

凯勒指出：“所有的时间安排和设计都正好契合这种视听触觉体验。你会感觉到那是一块泡沫、木头或大理石。你可以感受到材料在落下时接触手指的感觉。当我体验到这一点时，那种感觉真是棒极了。”

4. 智能纺织品：舒适度与定制性相结合

随着项目的成熟，团队开始解决手套的舒适性，以及将传感器和机器执行器集成到手套材料中的挑战。显然，一只僵硬、笨重或不舒适的手套，又或者是一只容易脱落的手套会立即打破佩戴者的任临场感。为了避免这种情况，手套需要轻便、柔软、耐用。

工艺工程师凯瑟琳·希利（Katherine Healy）解释说：“我们意识到我们需要将新技术小型化，并将其设计成多功能系统。这样做可以让我们在更少的空间内适应更多的环境，做更多的事情。这对于实现舒适的形状参数至关重要。”

材料小组开始发明新的廉价聚合物，如塑料和硅树脂等柔性材料。它们舒适、可拉伸，但在分子水平上能够进行定制，以产生新的功能。这就需要全新的制造技术来将所述新材料转变成真正精细的纤维，然后再将其缝合和编织成手套。

研究科学家经理克莉丝蒂·乔斯特（Kristy Jost）补充道：“但是，单靠电导纱线并无法带来我们在虚拟现实中交互所需的全部功能，所以我们正在探索如何在同一纤维或织物中构建多种功能，包括导电、电容和传感功能，并实现更纤细、更耐磨的形状。”

打造一个纤细、轻盈的触觉手套是一个挑战，定制这种手套以适应数十亿人又是另一回事。

所以，材料小组同时在探索允许每只手套都能实现定制，以获得最大触觉精度和舒适度的制造技术。这样做意味着开发设计和制造微型驱动器的新方法，并创造新的编织和刺绣工艺，从而将它们精确地嵌入手套中。

希利指出：“如今，手套是由熟练的工程师和技术人员单独制造。他们制造子系统，并通过手工组装手套。我们尽可能使用半自动化工艺，但大规模生产这种手套需要发明新的制造工艺。”

5. 创造未来：Reality Labs才刚刚起步

在虚拟现实和增强现实中提供可信触觉体验所需的一些技术尚不存在，但Reality Labs Research正不断推动最新技术的发展，创造新的突破，从而令触觉手套变成现实。

研究科学家经理尼古拉斯·科隆尼斯（Nicholas Colonnese）表示：“我相信触觉在AR/VR和元宇宙的人机交互革命中将是至关重要的拼图。未来，我们可能会在虚拟现实中渲染用于与虚拟按钮交互的‘触觉点击’，或在AR中为你选择的运动提供实时训练指导，或在元宇宙中与朋友打招呼时共享自定义‘触觉表情握手’。”

Reality Labs Research的触觉手套项目在一开始像是一次登月计划，但随着团队成功创新并实现跨越数十个学科的研究飞跃，它的可行性越来越高。

凯勒表示：“当我们开始触觉手套项目时，我们问自己是否可以开发一种能够大规模生产且价格合理的消费设备，并且帮助人们在任何地方都能体验到任何有形的界面。我们当时无法做到这一点，所以我们必须发明新的材料、新的传感器和执行器、新的集成和系统方法、新的渲染算法、新的物理引擎。这在当时是不可能完成的任务，但我们已经创造了一条可以帮助我们达到这一目标的可行道路。”

在过去的七年中，凯勒和团队勇敢地面对未知，并开创了新技术、新技术和新学科。但是，他们才刚刚开始。

特鲁特纳指出：“这项研究的可能性是巨大的。尽管我们专注于制造触觉手套，但我们在流体切换和控制方面取得的突破，更不用说柔性机器人技术，它们可能会在lab-on-chip诊断、微流控生物化学、甚至可穿戴和辅助设备方面为医疗行业带来根本性的进步。”

凯勒补充道：“Reality Labs Research是创新的锻造厂。这是成为一名应用研究人员的最佳场所之一，因为你有一个反馈回路，你有一种方法来评估你正在发现、学习和构建的事物的影响。最终，你会看到你所创造的一切实际上是如何影响人们和人们的生活。这是一项非常有回报的工作，而你在Reality Labs这样的地方将能够看到最后。”

通过12个小型无线电磁传感器来追踪人体姿态

（映维网 2021年10月12日）苏黎世联邦理工学院的先进交互技术实验室（Advanced Interactive Technologies；AIT）专注于而研究机器学习、计算机视觉和人机交互的交叉融合。团队的主要任务是开发人类与复杂交互系统互的新方法，比如说计算机、可穿戴设备和机器人。

日前，AIT实验室撰文介绍了一个面向AR/VR的定制电磁传感系统，通过12个小型无线电磁传感器来追踪人体姿态。下面是映维网的整理：

AIT实验室通过6个电磁测量估计三维人体姿态和形状

对于娱乐、通信、医疗和远程显示等领域，AR和VR是一个富有前景的计算平台。沉浸式AR/VR体验的一个重要组成环节是精确重建用户全身姿态的方法。尽管消费者传感器的姿态估计在近几年取得了令人印象深刻的进展，但对外部摄像头的需求固有地限制了用户的移动性。身戴式传感器（附接到身体/由身体穿戴的传感器）则有望避免这一限制，但它同时存在自身的挑战。我们在这个项目中研究了基于电磁（EM）的追踪传感技术，用6-12个没有Line-of-Sight（LOS）视线限制的定制无线EM传感器来进行人体追踪。

1. EM传感原理

（左）由发射源发射的电磁场，其中发射源由传感器定位其位置和方向；（右）在用户身体放置电磁源（黑色立方体）和无线电磁传感器（蓝色球体）

EM追踪技术/基于EM的追踪技术已经存在一段时间。早期的军事应用可追溯到20世纪60年代。在电磁感应中，发射源发射电磁场，其中传感器可以确定其相对于发射源的位置和方向。市场拥有大量的EM追踪系统，而它们在追踪范围、更新率和硬件形状参数方面不尽相同。我们发现现有的解决方案并不适合我们研究的特定用例（全身追踪），因为它们要么涉及大型传感器，要么使用妨碍移动的系留传感器。所以，我们开发了一个搭载12个小型无线EM传感器的定制版EM追踪系统。所述传感器经过调整，可在发射源周围0.3–1米范围内工作。这允许我们在人体附接多达12个传感器，如上图所示。

在一个典型的场景中，我们发现与光学标记追踪（Optitrack）相比，单个传感器的精度通常在1 cm位置和2–3度角误差范围内。但与光学标记追踪相比，我们的EM传感器没有LOS视线限制。

针对7个选定传感器位置和5个不同用户（S1-S5），EM追踪和光学标记追踪之间的比较。

2. 任务

要设计包含多达12个小型、无线且时间同步的传感器的EM追踪系统本身就是一个挑战，而我们同时需要解决如何从EM测量中重建身体姿态和形状的问题。这是我们正在研究的任务。具体地说，给定n个位置和方向测量值（加起来为x），我们希望找到一个将所述输入映射到身体姿态和形状的函数，亦即SMPL参数，表示为Omega。

这非常具有挑战性，原因有几个。第一，尽管电磁感应可以非常精确，但传感器的精度取决于其与发射源的距离。在我们的例子中，这意味着我们的输入测量与姿态相关。

第二，理想情况下，我们希望尽可能少地为人体穿戴仪器，并将传感器数量减少一半，只需在前臂、小腿、上背和头部使用6个传感器。但这会令身体姿态欠约束，例如无法直接观察到左上臂的运动。所以，由其产生的方法需要能够根据简化的传感器组来推断未观察到的关节。

第三，当我们安装传感器时，传感器与皮肤之间的偏移量会因用户而异。另外，由于EM传感器的姿态依赖精度，以及传感器在运动过程中可能会无意中滑落，偏移会随时间而变化。所以，所提出的方法应该要对所述变化具有鲁棒性，以便我们可以为多人3D姿态和形状估计提供单一模型。

这就是我们选择Learned Iterative Fitting（学习迭代拟合）的原因，它是基于学习和优化方法的混合。Learing学习帮助我们利用强大的姿态先验来解决上述挑战，而Iterative迭代优化则允许提高预测的准确性。下面我们将详细地解释工作原理。

3. Learned Iterative Fitting（学习迭代拟合）

为了从6–12个EM测量值x估计SMPL姿态和形状，我们采用了最近提出的Learned Gradient Descent（LGD；学习梯度下降） 框架。在LGD中，我们首先定义重建损失，而我们的目标是最小化：

这个损失测量能在多大程度从SMPL姿态和形状的当前估计值重建输入x。为了实现这种重建损失，我们定义了一个在给定Omega时计算虚拟EM测量值的函数。

LGD采用Per-Parameter更新规则，通过神经网络N估计梯度，而不是以传统方式最小化重建损失。

这允许在典型的4次迭代中快速收敛。为了提供Omega的初始估计，我们将输入馈送到RNN。所以，我们的方法的完整概述如下。

为了利用LGD，我们必须训练神经网络N。这需要一个将EM测量与SMPL姿态配对的大规模数据集，亦即意味着昂贵的获取成本。相反，我们捕获一个较小的真实数据集用于评估目的，并使用AMASS合成虚拟EM测量（使用它来训练N）。通过从专用真实校准序列中提取用户特定的皮肤到传感器偏移，我们可以通过这样一种方式来扩充训练数据，即最终的模型可以很好地泛化到多个被试，不需要进一步的域适应技术。

4. 新捕获的数据集

如上所述，我们捕获了一个由成对的EM测量和SMPL姿态组成的新数据集来评估我们的方法。所述数据集包含大约37分钟的运动（约66k帧），涉及3名女性和2名男性被试。为了获取SMPL参数，我们在离线多阶段优化过程中使用来自4个Azure Kinect的RGB-D数据。记录的动作类型包括手臂运动、弓步、下蹲、跳高、就坐和四处走动等。所述数据以后将提供下载。更多详细信息请访问我们的项目页面。

5. 结果

为了评估我们的方法，我们训练了两个模型：一个使用6个传感器作为输入；另一个使用完整的12个传感器设置。实验发现，基于混合LGD的方法优于基于纯学习和纯优化的方法。这突出了LGD的优点：它提供了准确的姿态估计，而与纯优化相比，它在推理时可以快几个数量级。

在12个传感器的输入下，我们实现了低至31.8毫米或13.3度的重建误差。当使用精简的6传感器组件时，性能会下降到35.4毫米或14.9度，但依然具有非常强的竞争力。

实验结果可以参阅下面这个补充性视频：

]]> https://news.nweon.com/90319/feed 0 https://news.nweon.com/87225 https://news.nweon.com/87225#respond Tue, 06 Jul 2021 02:08:06 +0000 https://news.nweon.com/87225 由爱丁堡大学和Facebook Reality Labs组成的团队]]> 查看引用/信息源请点击：映维网

由爱丁堡大学、香港大学和Facebook Reality Labs组成的团队

（映维网 2021年07月06日）据统计，人类平均每天与140个对象交互。在不同的文化和地理环境中，我们交互的日常用品的形状和形式非常不同。迄今为止，行业尚未出现能够与人手灵巧程度相媲美的智能代理。在动画和游戏中，手指运动涉及繁琐的手部动画制作或动捕数据清理，尤其是涉及对象交互的数据。

对于虚拟现实或增强现实，基于控制器或基于手指捏合的对象交互模型无法产生真实的和微妙的手指运动，并会打破沉浸感。利用深度强化学习的最新进展，机器手可以学习精确地执行专门的任务，例如求解魔方等等。然而，一个能够就各式各样对象执行一系列操作任务的通用模型依然遥不可及，更不用说优雅且自然地执行。

由爱丁堡大学、香港大学和Facebook Reality Labs组成的团队利用了行业在深度学习方面的成功，尝试通过深度神经网络直接从数据中学习自然操作行为。然而，操纵的组合性质加剧了对高质量数据的要求。操作不仅取决于对象的形状、大小和功能，同时取决于预期任务、手部解剖结构，甚至个人喜好。尽管现在可以实时捕捉手物交互，但巨大的情景可变性令人望而生畏。

针对这种情况，有研究人员致力于提高社区数据集的质量和数量，而爱丁堡大学、香港大学和Facebook Reality Labs则尝试研究是否能够将基于小量对象形状的学习类推到几何变化情景，并将目标驱动的抓取扩展到人类经常自然和无意地执行的微妙手指姿态和手部操作。日前，团队发表了一篇名为《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》的相关论文。

爱丁堡大学、香港大学和Facebook Reality Labs的中心思想是利用代表手部和对象空间关系的特征，并结合有关抓取的生物力学文献。早前的研究指出，总体的抓取姿势位于低维空间中，而这在很大程度上取决于任务。手部姿态的高阶变化取决于对象形状的细节。另外，随着手部越来越靠近对象，手部姿态的变化将会开始形成。所以，研究人员为全局对象形状选择一个粗略表示，但仅当手部接近时为对象表面的局部几何细节选择一个密集表示。

业界存在一系列用于表示神经网络三维几何的解决方案，如体素占用网格，符号距离场和点样本。在爱丁堡大学、香港大学和Facebook Reality Labs的例子中，研究人员尝试减少特征维数以避免过度拟合，同时依然捕获重要信息。团队使用低分辨率的体素占用网格来表示对象的形状，并发现手部和对象表面之间的距离采样是有效的低维信号，能够很好地捕获细节。

对于《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》的研究， 爱丁堡大学、香港大学和Facebook Reality Labs的团队训练一个能够根据控制信号和对象几何特征来预测操作对象时的手指姿势的神经网络。控制信号是手腕和对象的6D轨迹。

早前的研究已经证明了所述控制信号在限制手指操作运动方面的有效性。然而，一个深入的学习公式同时需要一个最小和明确的输入表示。

研究人员设计的网络只处理一个手部-对象。团队镜像另一只手，运行网络两次，从而为两只手生成预测。这种设计允许研究人员在手部空间中变换输入特征，以消除世界坐标的模糊性，并允许其能够在一个统一的框架中处理交互手部和对象的不同组合。

研究人员提出的系统无需详尽的数据集即可成功地合成各种手指姿态，可用于协调双手任务或针对不同对象集进行手部操作，例如端茶或在转动大圆环。团队同时演示了它在游戏和AR/VR中的实时交互潜力。团队表示，将公布在这项研究的操作数据集，以支持精细手指姿态的研究。

研究人员提出的系统概述如图2所示。它将手腕和操纵对象的轨迹，以及手的蒙皮网格和对象的三维几何图形作为输入。然后，系统使用深度神经网络ManipNet作为自回归模型，逐帧生成双手的详细手指姿势。尽管网络本身只考虑一只手，但系统能够在统一的框架中处理手和对象的不同组合。

为了提高网络的通用性和避免对训练数据的过度拟合，团队提出了三种虚拟传感器来编码对象的几何结构及其与手的空间关系。所述传感器以粗体素网格的形式捕捉全局对象形状，以点样形式捕捉局部几何细节。全局特征有助于规划整体姿态和预测未来运动，而局部特征在实现对几何变化的泛化方面起着重要作用。ManipNet是一种基于剩余稠密网络结构的时间序列模型。网络的输入包括前一帧中的手姿势、传感器特征和控制信号，其中包括手腕和围绕前一帧对象的过去和未来轨迹。

所述网络然后预测手指和对象之间的距离，以及一个新的手部姿态。然后，使用预测的距离进一步处理预测的手部姿势，从而校正手部和对象之间的空间关系。接下来，在下一帧使用校正的姿态来计算到网络的输入。

总的来说，《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》主要有三个贡献：

1. 一种基于神经网络的运动合成系统，其可为单手/双手灵巧对象操作生成详细的手指运动。
2. 手部-对象空间关系的表示，其允许神经网络能够将操作运动类推到各种对象形状和操作任务
3. 手部-对象交互运动数据集，包括16个对象的详细手指运动和灵巧操作。

团队坦诚，当前的研究存在一系列的局限，如数据可变性（暂时无法类推到微小或复杂的对象），物理合理性（离真正的自然尚有一定的距离），合成数据捕捉成本高昂，以及尚未在全身交互进行实验等等。不过，研究人员希望这篇论文的发现能够激发社区的新想法和探索。

更多关于论文的研究说明和计算原理请访问《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》。

这种控制器不是通用式装置，只适合特定的用例和场景。

（映维网 2021年05月17日）双手控制器经常用于虚拟现实体验的真实感和沉浸感，而研究人员一般是通过控制器之间的机械键合来重现双手握住不同对象的感觉。然而，这种键合不能快速适应模拟动态对象。它们同时会造成控制器变得笨重，不能分开以支持自由独立的运动。

日前，韩国科学技术院和微软研究院介绍了一个名为GamesBond的项目。具体而言，研究人员探索了一对新颖的四自由度控制器，两者之间没有实际的物理键合，但可以一同弯曲、扭曲和拉伸，以创造一种物理键合的假象。每个控制器可以在任何方向从0度弯曲到30度，从-70度扭转到70度，以及从-2.5毫米拉伸到9.0毫米。当然，这种控制器不是通用式装置，只适合特定的用例和场景。

1. 应用示例

图1：控制器可以向多个方向移动，包括弯曲、扭曲和拉伸

图2：相关键合可以是：（a）刚性，从而模拟诸如用两只手握住一根实心杆的感觉；（b）柔性，从而模拟变形和柔韧感；或（c）动态，从而呈现惯性和振荡，以模拟诸如跳绳这样的对象。

图3：控制器为多用户体验打开的大门。例如（a）一个人或（b）两个人跳绳

图4：控制器可以营造一种力错觉，让你感觉自己折断一根木棒。

图5：控制器可以产生移动重量的假象，比如拿着渔网时的感觉。

图6：应用程序可以呈现不同的握把形状，例如：（a）包含独立手柄的电动螺丝刀；（b）包含两个平行手柄的锤钻；或（c）包含相对手柄的手提钻……

图7：鱼竿应用可以给人一种拉线的幻觉。

上述发明只是团队探索的数个例子，但可能性无穷无尽。

机制原理

GamesBond使用五个伺服电机来渲染四自由度变换。如图3所示，弯曲是通过衔接手柄节段的三根筋束的对抗行为来实现。三根筋束均匀分布在衔接各节段的硅胶主干周围，每根筋束的一端牢固地衔接到上节段的底部，另一端则对接下节段的伺服电机。为了弯曲控制器，调整每根筋束的长度，使其在弯曲方向按比例变短。研究人员的配置允许上节段在任意方向最多弯曲30度，实现2自由度。

扭转和拉伸则是通过移动上节段的外壳来实现（两者都实现1自由度）。具体来说，扭转使用一个内部伺服在-70度和70度之间旋转外壳。对于拉伸，另一个内部伺服驱动齿条和齿轮机制，在-2.5 mm和9 mm之间推动或拉动外壳。

相关论文：GamesBond: Bimanual Haptic Illusion of Physically Connected Objects for Immersive VR Using Grip Deformation

为描述GamesBond控制器的渲染能力，研究人员进行了两项补充性的技术评估：一项有4名被试的试点研究和一项有12名被试的用户研究。定量和定性指标都表明，GamesBond能够增加虚拟现实体验的真实感、沉浸感和享受感。另外，所述设备可以最好地渲染柔性和动态对象（如跳绳），这指明了未来应用的潜在探索途径。

探索更具沉浸感的全息交互方式

（映维网 2021年05月15日）日前，微软旗下混合现实工作室（Microsoft Mixed Reality Studio）的奥斯卡·萨兰玎（Oscar Salandin）撰文介绍了团队是如何探索更具沉浸感的全息交互方式。下面是映维网的具体整理：

“我可以用手指弹一下它吗？”

当用户通过HoloLens 2测试我们的沉浸式交互原型时，其经常会询问这样的问题。基于模拟而不是单个功能的全息图交互可以带来有趣的测试场景。

诚实的回答是：“我不知道，但你可以试试。”

这段视频展示了一个用户用手直接与全息图交互。就像真实对象交互一样，你可以拿、推、扔和抓。

1. 如果能够像真实对象一样对待全息图

你不需要向用户解释与虚拟对象交互的具体步骤。你可以直接要求对方“捡起来”或者“放在那里”，然后对方就会这么做。

我们可以用我们习惯的肢体语言并通过眼睛和双手自然地把玩虚拟对象。

当我们第一次通过HoloLens 2向一位自称具有技术恐惧症的女士介绍一个物理交互原型时，我看到过这种情况。她笑着把玩一个虚拟立方体，并与全息图一同起舞了数分钟之久。

利用手关节追踪和眼动追踪，以及增加的视场，HoloLens 2为用户和交互设计师提供了全新的机遇。作为设计师，我们的目标是利用相关的输入和输出来进一步推动沉浸感，帮助用户以与真实对象相同的物理方式来和全息图进行交互。

当用户的手和手指模拟成铰接球体，并根据速度和与对象的接触而改变颜色。

2. 数字双手孪生

我们如何提升交互的自然度呢？我们从一定的自然法则开始，自下而上构建交互。当你分解它时，像抓、推、扔这样的交互都是由相同的物理概念组成：动量、碰撞、摩擦和重力。

从“半衰期”系列到《萌萌小人大乱斗》，再到《全面战争模拟器》，实时物理引擎是一系列游戏的关键要素。就像所述游戏利用物理引擎来处理虚拟对象之间的开放式交互一样，我们同时可以使用物理引擎来模拟用户和虚拟对象之间的交互。

由于HoloLens 2的手关节追踪为我们提供了手的姿态，所以我们可以复刻手的不同部位的位置、速度和动量，并在虚拟世界中构建手的物理模拟孪生。当这个虚拟手与虚拟对象交互时，物理引擎应用动量、碰撞、摩擦和重力来模拟结果。所有这一切加起来就是抓、投、弹、或任何你能想到的手物交互。

在游戏中，物理引擎是一个完全受控的虚拟环境。这在混合现实中不同，因为你既有一个模拟的物理引擎，又有一个物理现实，它们需要相互作用。物理模拟中的一个重要定律是牛顿第三运动定律，其指出，“相互作用的两个物体之间的作用力和反作用力总是大小相等，方向相反，作用在同一条直线”。然而，我们无法在物理世界中产生这种反作用力，因为我们无法对手施加真实的作用力。这导致了一种感觉缺失：触觉（或触觉反馈）。

3. 补偿缺失的感觉

不管我们把体验做得多么逼真，你依然无法真正触及全息图。HoloLens 2不模拟触觉，而它是手物交互的关键一环。触觉在与对象交互时提供持续的反馈，所以在交互过程中，缺失的触感会使全息图看起来像幽灵。

要围绕这一点进行设计，我们必须与我们能够接触到的感官进行过度沟通：视觉和声音。当用户触碰并释放一个对象时，我们播放一个声音，然后对象亮起以与用户进行强烈的交流，以这种方式来补偿和掩盖缺失的触感。

对象之间的物理交互是双向的，两个对象相互影响。我们无法令虚拟对象通过触碰来影响你的手，但我们可以用光来显示对象和手之间的关系。

在这个视频中，虚拟光影从立方体投射到真实的手和桌面，以帮助说明接近度。

通过将光线投射到你的手，这会提供更多关于手和对象之间相互作用的反馈。将这种微妙的效果添加到虚拟手会对交互的真实感产生出人意料的强烈影响，并提供有关深度、接近度和方向的信息。这种照明效果模糊了数字和物理之间的界限，因为你现在看到的手是真实环境照明和虚拟对象照明的组合。

有用户描述说，拿着一个特别亮的红色发光全息图，看到它对皮肤的影响，即使心里清楚它不可能产生热量，但自己依然会感到手暖暖的。

尽管这种设计改善了处理虚拟对象的体验，但由于没有触觉反馈，交互依然存在一定的幽灵感。

4. 为用户打破物理定律

虚拟对象的行为已经更加物理化，而通过对用户的测试，我们同时发现了不需要的物理交互。走很远的路，然后弯腰并伸手捡地上的东西，这都是现实世界中的烦恼。在虚拟世界中我们不需要容忍这一点。对于不同的用户，这种类型的交互从恼人到不可能（如残障人士）。

我们可以通过禁用重力来减轻虚拟对象坠落的负面影响。但如果没有重力，对象会从你放置的表面漂走，就像置身于国际空间站一样。

这段视频描述了我们开发的一种称为“表面引力”的行为：当没有真实表面时，对象就会漂浮在空中。

为了改善意外对象掉落的负面交互，我们引入了“表面重力”的概念。当下方有一个表面时，给予对象重力。当没有表面时，对象就在原地漂浮。

这段视频展示了我们创建的一个称为“念力”的手势，它能够允许用户召唤和控制远方对象。

在测试过程中，一名用户将一个对象扔得很高，然后它会在上面漂浮，直到用户尝试爬上一个不稳定的吧台才能够到它。这突出了一个问题：用户尝试访问远方对象，但会因为这样而把自己置于危险之中。

为了优化远方对象交互的体验，我们引入了一种“念力”手势。这允许用户将远方对象召唤到手中。尽管“念力”并不是真实的物理交互，但我们都在《星球大战》等媒体看过，甚至模仿幻想过。在这里，我们使用眼动追踪和手关节追踪来帮助用户自信地移动一个对象而无需触碰它。

5. 新兴交互

在这个原型中发现的沉浸是对有形混合现实交互世界的一瞥，模拟的物理性可以改变我们使用和理解每一个数字体验的方式。

想象一下，当你进行网上购物时，你可以将自己看中的数字渲染毛毯拖放到家里的沙发，然后自动折叠并把它放进购物篮里。

如果你能够确实拿着数字唱片，并把它放到扬声器进行播放，所有权的感觉怎么发生什么样的改变呢？

如果我们的数码产品能够对交互更加开放，比如将文件文档折叠成纸飞机，这会出现什么新的艺术和游戏呢？

如果你能够将一个微型行星放到围绕太阳轨道，并以这种方式来教授引力，我们的教育方式又会发生怎样的改变呢？

对于我们的原型，我们致力于实现一种更加沉浸、有趣和开放的交互愿景，从而培养人们探索虚拟体验的好奇心和创造性。这是一次激动人心的旅程的开始，我们将发现这种类型的交互是如何在各种不同的用户体验和用例中实现。

通过全新的图像数据训练算法，可以在短时间内纳入新对象的检测和追踪。

（映维网 2021年05月13日）Crunchfish日前发布了一个可以通过标准摄像头传感器进行全身追踪的手势骨架网络。这同时展示了XR Skeleton平台的多功能性：通过全新的图像数据训练算法，可以在短时间内纳入新对象的检测和追踪。

作为说明，Crunchfish XR Skeleton于2020年发布，并重点瞄准手势追踪和裸手交互。只需一个标准的手机摄像头，这个系统即可检测和追踪每只手的21个关键点。产品的主要目标用例包括AR/VR设备和智能手机，但其多功能性同时适用于其他方面，包括汽车和飞机娱乐系统中的裸手交互，以及用以代替电视遥控器等等。

下面是Crunchfish XR手势交互的演示视频：

对于日前发布的骨骼模型，团队已经利用Crunchfish FB Skeleton将单纯的手势追踪扩展到全身追踪，并且同样是通过一个标准的RGB摄像头实现。

据悉，通过向神经网络提供合成数据和人体注释图像的组合，开发人员仅在数个月内就创建了一个能够进行全身追踪的解决方案。FB Skeleton将在今年晚些时候作为商业解决方案对外提供。

Crunchfish手势交互研发总监丹尼尔·米莱森（Daniel Milesson）表示：“创造各种新解决方案的开发速度证明了我们骨架手势控制系统的技术实力和多功能性。”

开发者不需要添加任何代码来实现VRSS。所有一切都是通过英伟达驱动程序完成

（映维网 2021年04月13日）最初的VRSS是一种旨在提高图像中心质量，并实现固定注视点渲染的解决方案。至于VRSS的最新版本，其能够精确地对用户注视位置进行超级采样，从而进一步提高可感知的图像质量。英伟达日前正式发布了最新版本的可变速率超采样（Variable Rate Supersampling ；VRSS），为大家带来基于注视点追踪的注视点渲染功能。

注视点渲染技术以较高着色率采样头显屏幕的一个区域，其他区域则采用较低着色率。第一个VRSS版本支持固定注视点渲染，而最新版本VRSS 2则通过集成眼动追踪技术来扩展了注视点渲染。现在注视点区域能够根据用户注视而动态变化。最新版本VRSS 2提供8倍着色率的注视点区域。蓝色注视点区域具有最高的图像质量和由眼动追踪确定的位置。

图源Stress Level Zero

VRSS是一个零编码解决方案，开发者不需要添加任何代码来实现VRSS。所有一切都是通过英伟达驱动程序完成，从而令用户能够轻松地在游戏和应用中体验VRSS。

英伟达和Tobii进行了合作，通过眼动追踪技术Tobii Spotlight提供的动态注视点渲染来增强VRSS。这项技术能够以最小的延迟来为英伟达驱动程序提供最新的眼动追踪信息，以用于控制渲染帧的超级采样区域。惠普即将推出的Omnicept G2将是市场第一款利用所述集成的头显，同时利用Tobii的注视点追踪技术和英伟达VRSS 2。

下面这个视频说明了VRSS的图像增强效果：

可变速率着色（Variable Rate Shading；VRS）将作为显式编程API提供，并为应用集成带来细粒度控制。开发者可以利用VRS实现诸如透镜匹配着色、内容自适应着色、注视点追踪着色等功能。通过VRS Wrapper NVAPIs，用户同时可以利用VRS Wrappers简化集成注视点VRS的方法。对于基于DirectX 11 MSAA的应用，VRSS无需任何应用集成。另外，VRSS 2包含在NVIDIA Driver R465。

]]> https://news.nweon.com/84770/feed 0 https://news.nweon.com/84073 https://news.nweon.com/84073#respond Tue, 23 Mar 2021 01:00:06 +0000 https://news.nweon.com/84073 利用传感器而非摄像头的眼动追踪方案]]> 查看引用/信息源请点击：venturebeat

利用传感器而非摄像头的眼动追踪方案

（映维网 2021年03月23日）眼动追踪已经成为了增强现实和虚拟现实系统的一个关键组件，但摄像头方案非常昂贵。所以，AdHawk Microsystems发布了一个利用传感器而非摄像头的眼动追踪方案。

Adhawk的MindLink原型采用MEMS（微机电系统）。首席执行官尼尔·萨卡尔（Neil Sarkar）在接受采访时表示，团队的MEMS技术能够带来可与AR眼镜或VR头显集成的轻量级可穿戴眼动追踪技术，并已经开发了一个即将向研究人员发货的眼镜原型。

可接入Android或PC的原型眼镜今天开始接受预定。据悉，所述设备采用传统眼镜的形态，可以全天佩戴，并且比竞争对手的产品更快、更轻、更省电，同时能够提供高度精确的医疗级数据。这个概念将能解锁眼睛、大脑和我们周围世界之间的联系。

这一点非常重要，因为高质量的数据能够允许研究人员探索焦虑、认知负荷、阅读问题、多动症、脑震荡、癫痫以及阿尔茨海默病和帕金森病的早期症状和进展。

1. 眼镜原型MindLink

拥有芯片工程师背景并曾攻读MEMS的萨卡尔于2017年在加拿大安大略省基奇纳创办了Adhawk Microsystems。值得一提的是，这家公司最初的投资者包括英特尔投资（Intel Capital）。

在2019年，公司获得了三星风投、惠普、Essilor International、索尼创新基金、英特尔投资、Brightspark Ventures和硅谷银行（Silicon Valley Bank）提供了额外投资。

萨卡尔表示：“我们的眼动追踪解决方案不需要任何摄像头或任何繁重的处理。实际上，你可以以非常高的速度、非常低的延迟和非常少的计算量进行操作。这使得它非常适合AR和VR产品。今天，我们认为自己是一个完整眼动追踪解决方案供应商，因从嵌入式系统到利用眼动追踪的应用程序，我们无所不包。”

公司拥有35名员工，采用无晶圆厂模式，这意味着团队仅从事设计研发应用和销售，产品制造则外包。

萨卡尔指出，团队一直在将眼动追踪解决方案集成到VR和AR头显等产品中。但由于时间关系，为了展示相关的技术，公司决定推出自己的原型：具有眼动追踪功能的轻型眼镜MindLink。”

2. 工作原理

AdHawk声称，通过用超紧凑的MEMS取代摄像头，这可以免除高耗能的图像处理，从而将速度和能效提高一倍多。一旦穿戴AdHawk MindLink眼镜，用户就可以启动应用程序并点击“开始追踪”。系统的速度非常快，最快可以在20毫秒前预测接下来的眼睛位置，并且每秒捕获500次注视。

萨卡尔解释道：“每当光束击中眼睛的某个位置，它就会反射回光电探测器，这样我们就会获得一个脉冲。有时我们会接收到来自角膜的脉冲，但有时我们会接收光束穿过虹膜和瞳孔之间的阈值时的脉冲。所以我们可以用传感器每秒测量角膜和瞳孔数千次……这正是我们为取代摄像头所做的努力，我们不需要每秒钟拍摄100张照片。”

除了速度和精度外，AdHawk的产品同时具有灵活性，不受实验室环境的限制。这意味着，医生和研究人员现在可以在更多的环境中进行眼动追踪评估，包括医生办公室，甚至患者家中。

3. 应用

对于VR/AR而言，眼动追踪非常重要，因为它能够支持注视点渲染，从而节省处理能力。

在应用方面，萨卡尔相信这项技术将允许医生将眼球运动与神经健康和眼部健康联系起来，所以公司将相关工具包瞄准了医疗保健和学术界的研究人员。另外，Adhawk正在与滑铁卢大学和加拿大多伦多教学医院进行合作。

AdHawk的眼镜原型允许用户舒适地穿戴。除了通过眼动追踪获取眼球运动和瞳孔大小等数据外，集成的惯性传感器同时可以提供其他方面的数据，如头部运动。通过这样的方式，研究人员可以收集数据，并研究焦虑、多动症、脑震荡和癫痫，同时改善对认知负荷和阅读挑战的评估。另外，相关数据同时有助于研究阿尔茨海默氏症和帕金森氏症等神经退行性疾病。

值得一提的是，这种设备可以用来追踪司机的注意力集中程度。

滑铁卢大学视觉科学教授伊丽莎白·埃尔文（Elizabeth Irving）在一份声明中表示：“眼动追踪系统的采样频率是指眼动追踪器每秒记录眼球位置的次数。更高的采样频率可以提高研究人员估计眼睛运动时真实路径的能力。一直以来，更高的采样频率意味着更高的成本，因为它需要更昂贵的摄像头和更大的功耗。所以AdHawk的系统非常有意义，因为团队找到了一种在不牺牲可供性的前提下提供质量，速度和灵活性的方法。”

价格均为1099元人民币

（映维网 2021年03月11日）HTC日前发布了两款全新的VR配件：一款是消费者版的面部追踪器；另一款则是体积更小，而且续航时间有了大幅提升的Vive定位器。两款配件的售价均为1099元人民币。据称，产品将于3月24日登陆美国市场，而Vive中国官网则显示“即将推出”。

1. Vive面部追踪器

全新的Vive面部追踪器是面向Vive Pro的附加组件。尽管HTC早在2019年就发布了面部追踪器的开发套件，但直到现在才直接向市场开发消费者版本。

这家公司表示，Vive面部追踪器搭载双摄像头，频率为60Hz，并能够追踪嘴唇、下巴、牙齿、舌头和脸颊等多达38种面部表情动态。设备另外包括一个红外照明器，其能允许计算机视觉系统在任何照明条件下都能保持最佳性能。HTC声称面部追踪器的延迟时间为6毫秒。

HTC同时发布两个演示视频。尽管团队承认视频未能真正展示设备的精度，但这样的效果或许更多是因为糟糕的3D模型rigging导致，而不是面部追踪器本身。

Vive面部追踪器演示视频1

Vive面部追踪器演示视频2

另外，有兴趣的开发者可以访问开发者网站并下载相关的SDK。

2. VIVE 追踪器（3.0）

HTC同时发布了新版Vive追踪器。据介绍，它比上一代产品的体积小33%，重量减轻15%，续航时间长75%，一次充电可工作长达7小时。

功能方面，3.0版本与之前的型号相同，均支持SteamVR定位器1.0和2.0。它同时向后兼容相同的pogo pin，并使用标准的1/4螺口。

尽管重量和体积都有了提升，但遗憾的是，价格却有所增加。2.0版本的售价为799元人民币，最新的Vive追踪器则售价1099元人民币。

目前HTC尚未宣布国行版设备的上市时间，相关产品页面只显示“即将推出”。更多信息请访问Vive追踪器的官方页面和Vive面部追踪器的官方页面。

计划利用这笔资金首次进军消费者VR领域。

（映维网 2021年02月16日）专为线下VR门店开发触觉反馈枪械外设的Striker VR日前宣布，已完成400万美元融资，并计划利用这笔资金首次进军消费者VR领域。

Striker VR的Arena无 Infinity VR套装或许是你目前可以找到的最为强大的触觉反馈外设。这家公司的产品已经部署于Spaces和Nomadic等线下VR娱乐门店。

虚拟现实体验能够利用各种各样的触觉反馈来模拟一系列的虚拟对象，如科幻枪械和电锯。但由于价格高达数千美元，Striker VR一直为把消费者VR作为公司战略的一环。

团队日前表示已完成了400万美元的融资，并计划将相关技术带到消费者VR。Striker VR将这项投资描述为“战略融资”，但没有透露投资者的太多细节。

完成融资后，公司计划在未来一年内将员工人数增加一倍，同时加大研发力度，从而为消费者VR市场推出新版枪械外设。Striker VR未完整公布相关设备的细节，但表示产品前端握柄两侧会配备触控板，以及扳机键上方将增加两个电容输入。

团队计划同时支持PC VR和Quest，但目前尚不清楚追踪将如何实现。Striker VR之前的线下VR产品是利用高端OptiTrack系统或SteamVR Tracking和Vive追踪器。

在PC VR方面，公司可能会选择将SteamVR Tracking直接集成到外设之中，或者期待终端用户将Vive追踪器作为补充。至于Quest的，目前不清楚具体的实现。Oculus尚未向第三方开放自家的追踪系统，但我们已经看到有VR外设将Quest作为追踪器。

由于全部细节尚未公布，我们不清楚消费者版本将采用何种触觉反馈技术。对于Striker VR的高端线下产品，其触觉是基于大型线性驱动器(和大型电池)。当然，这使得价格非常昂贵。这家公司声称，消费者产品将拥有“比以往任何控制器都要多的触觉”，并表示更多细节将在未来公布。

说道价格，团队没有公布价格，但确认目标是低于500美元。他们进一步指出，“取决于最终的版本，价格可能可以大大压低。”

如何争取开发者的支持可能是Striker VR进军消费者VR领域的最大挑战。

在PC VR领域，目前没有一款获得普遍认可和支持的VR枪械外设。当然，PSVR端的PS Aim广受好评，并已经支持了20多款游戏，包括《Arizona Sunshine》、《Borderlands 2 VR》、《Farpoint》、《Firewall Zero Hour》和《Doom VFR》等主流游戏。

虽然PS Aim包括一个操纵杆和几乎完全映射PS4手柄的输入，但Striker VR迄今为止的设备似乎将依赖于大型触控板和较少的其他输入。这可能会让开发者更难以针对所述设备调整游戏，而支持PS Aim的现有游戏同样不太可能为所述设备进行移植。

]]> https://news.nweon.com/83098/feed 0 https://news.nweon.com/82710 https://news.nweon.com/82710#respond Thu, 28 Jan 2021 00:46:18 +0000 https://news.nweon.com/82710 提高双手交互的性能]]> 查看引用/信息源请点击：映维网

提高双手交互的性能

（映维网 2021年01月28日）Ultraleap日前正式亮相了第五代核心软件Gemini的开发者预览版。追踪引擎属于将图像转换为手部数字模型的软件的一部分。对于Gemini，团队从零开始重写了这一部分。这使得软件更为灵活，能够适应不同的平台和摄像头硬件。

一系列的头显将能利用作为原生功能的Ultraleap手部追踪来运行手部追踪应用。值得一提的是，这家公司早前宣布，Gemini将集成到Varjo VR-3和XR-3，以及高通晓龙XR2 5G参考设计中之中。

团队同时致力于提升手部追踪的稳定性。这样做的一个关键好处是提高双手交互的性能。

团队表示：“我们知道，为最终用户减少摩擦能够解锁企业用例。Gemini增强的稳定性意味着你可以轻松地同时使用双手。它允许你与虚拟对象和新的可穿戴菜单进行更自然、更逼真的交互。”

Gemini的功能优化主要包括：

• 提升了流畅度、姿态保真度和稳定性（可能在Desktop模式下最为明显）

• 提升了手部初始化

• 双手交互的性能显著提高

• 除了HDM模式和Desktop模式之外，同时增加了新的Screentop模式

为了获得早期反馈，Gemini Developer Preview版本已经向开发者社区开放，详情请点击这个页面。Gemini Developer Preview仅支持Windows 10，而未来将扩展对其他平台的支持。

当然，你可以在现有的摄像头模块Leap Motion Controller和Stereo IR 170运行Gemini。它们可以利用Ultraleap提供的VR Developer Mount或Stereo IR 170 Evaluation Kit Mount附接到你的头显设备。这允许开发者社区可以开始探索和开发相关的应用，并获得即将亮相的搭载原生手部追踪功能的头显支持。

如果双手看起来不可靠，这将会减损具现感和沉浸感。所以Gemini改进了双手的初始化。加上Stereo IR 170更宽的视场，系统在双手进入你的视场之前就能够开始追踪锁定。

这家公司指出：“稳定、精确的手部追踪是计算机领域在21世纪面临的最大挑战之一。十年来持续不断的开发者支持、实验和反馈是我们改进手部追踪的关键。”

]]> https://news.nweon.com/82710/feed 0 https://news.nweon.com/82690 https://news.nweon.com/82690#respond Wed, 27 Jan 2021 00:18:46 +0000 https://news.nweon.com/82690 每只手套包含超过130个触觉反馈点]]> 查看引用/信息源请点击：映维网

每只手套包含超过130个触觉反馈点

（映维网 2021年01月27日）VR力反馈手套开发商HaptX日前正式发布了新产品HaptX Gloves DK2，而这同时是第一款可供选购的手套设备。

团队指出，HaptX Gloves能够提供前所未有的真实感，每只手套包含超过130个触觉反馈点。另外，DK2专门为培训和模拟、工业设计和机器人技术领域的专业人士设计。

HaptX创始人间首席执行官杰克·鲁宾（Jake Rubin）表示：”HaptX Gloves DK2可能是你在现实世界最接近于获得超能力的东西。它标志着VR，XR和机器人技术的一大进步。世界各地的财富500强企业和政府机构都在使用HaptX Gloves来培训他们的员工。”

值得一提的是，这家公司在生产方面与Advanced Input Systems进行了合作。作为说明，Advanced Input Systems一直是医疗、工业、商业、军事和游戏市场人机界面产品的重要厂商。

HaptX Gloves DK2耗时两年开发，团队在期间减小了设备的尺寸和重量，改善了合身性和人体工学，同时实现了房间规模支持和添加了众多SDK功能（包括多用户联网），以及增强了触觉逼真度。

HaptX主要是通过专有的微流控技术来实现触觉反馈。每一只手套都包含超过130个离散的触觉反馈点，并可致使皮肤产生最大2毫米的位移。HaptX Gloves同时采用了先进的力反馈和运动追踪技术。

HaptX首席营收官乔·迈克尔（Joe Michaels）指出：“我们已经与数千家公司和虚拟现实行业领袖分享了HaptX Gloves的早期版本，并将他们的反馈意见纳入到DK2的设计中。疫情增加了对虚拟训练和设计工具的需求，而科技公司正在增加对远程机器人技术的投资。我们非常荣幸能够推出HaptX Gloves DK2来满足这一需求。”

]]> https://news.nweon.com/82690/feed 0 https://news.nweon.com/82653 https://news.nweon.com/82653#respond Tue, 26 Jan 2021 00:14:05 +0000 https://news.nweon.com/82653 未来将能够将信号写入人类的大脑]]> 查看引用/信息源请点击：tvnz

可以人为抑制晕动症

（映维网 2021年01月26日）Valve创始人表示，游戏能够利用人脑信号来调整体验，甚至计算机可以反过来调整人类心智的未来正在快速到来。

图源：tvnz

Valve创始人加布·纽维尔（Gabe Newell）在接受1 NEWS采访时探讨了脑机接口的未来，并介绍了Valve是如何将其用于游戏方面。值得一提的是，他与其他V社员工探究这一领域已有数年时间。

G胖坦诚，部分概念可能听起来难以置信，而且他关于脑机接口的一些讨论“就如同科幻小说一般”。但是，游戏开发商在可预见的未来里不探索脑机接口将是一个错误。

延伸阅读：Valve谈脑机研究：比你想象还更接近黑客帝国

为了做到这一点，G胖表示V社目前正在开发一个开源的脑机接口软件项目，并允许开发者利用改装的VR头显等硬件来解释从大脑读取的信号。

他说道：“我们正在进行一个开源项目，这样每个人都可以在头显中内置高分辨率（大脑信号）读取技术，并采用一系列不同的读取方式。”

Valve一直在与OpenBCI进行合作。OpenBCI在2020年11月发布了一款名为Galea的头显设计，其可以用于Valve Index等头显设备。

延伸阅读：脑机接口公司OpenBCI在为AR/VR头显构建专门接口平台

Open BCI的Galea头显设备

G胖表示：“如果你是2022年的一家软件开发商，而你的测试实验室里没有这种软件，你将犯下一个愚蠢的错误。对于交互式体验的软件开发者，你绝对会经常使用这种改装版VR头戴，因为这可以带来太多有用的数据。”

这些数据通常由玩家身体和大脑的读数组成，并可以用来判断玩家是否存在兴奋、惊讶、悲伤、无聊、好笑和害怕等其他情绪。

开发者可以利用这些读数来提高沉浸感，并对游戏中发生的事项进行个性化处理。例如，如果系统意识到玩家感到厌烦，其可以稍微提高难度。

除了阅读大脑信号外，G胖同时认为未来将能够将信号写入人类的大脑，从而改变玩家的感觉或在游戏中提供比现实世界更优的视觉效果。

穿戴OpenBCI Ultracortex BCI Array的Valve首席实验心理学家迈克·安宾德（Mike Ambinder）正在开玩游戏

他相信，脑机接口带来的游戏体验将远远好于玩家“肉体外设”获取的体验，比如眼睛和耳朵。

你已经习惯了通过眼睛来体验这个世界。但眼睛是由这个低成本的投标者创造，它不在乎故障率和RMA（退料审查），如果坏了，你就没有办法有效地进行修复，这从进化的角度来看完全有意义，但根本不能反映消费者的偏好。

所以对于视觉体验，对于我们能够创造的视觉逼真度，现实世界将不再是我们用来衡量最佳视觉逼真度的标准。

与你能在大脑中创造的体验相比，现实世界将显得平淡、无味、模糊。

目前，人们只是单纯地接受感觉体验，但脑机接口很快将允许你以数字方式编辑这种感受，而这可能会变得如同使用app一样简单。

G胖说道：“我希望我们将看到的早期应用之一是改善睡眠。睡眠将成为一款app，你可以说，‘哦，我需要多少多少的睡眠，我需要多少多少的REM。’”

另一个好处可能是治疗，亦即减少或完全消除大脑中不想要的感觉或状况。

一些使用VR头显的人玩家会因为肉眼所看和身体所感的不匹配而产生晕动症，但G胖表示，当前的脑机接口已经发展到可以人为抑制晕动症的程度。他说道：“这与其说是科学的问题，倒不如说是证实的问题”。

尽管脑机接口存在数个可实现的应用，但G胖表示，在研究进度这样快的情况下，他对于是否要暂停Valve的项目并将其转变为消费品感到犹豫不决。

关于VR移动机制的完整数据库

（映维网 2021年01月19日）虚拟现实行业已经提出了一系列用于移动机制的技术，如传送，原地跑和驾驶舱模拟。但根据不同的属性，又存在不同的分类方法。对于要为设计寻找一种合适的移动机制的开发者而言，这是一个非常巨大的挑战。

针对这种情况，微软团队设计了一个用于VR移动机制的数据库Locomotion Vault，并已经将其托管至GitHub。这个库包括来自学界和业界的100多种移动机制，并配以GIF动图，描述说明，视频演示和类似方法等等。

另外，微软同时提供了一系列用以评估比较的属性参数，从而帮助学界和业界对各种移动机制进行对比分析，并实现进一步的创新。

值得一提的是，相关分析同时强调了晕动症和实现简易性之间的内在权衡。简单来说，Locomotion Vault是一个关于VR移动机制的完整数据库，是一个旨在实现移动机制标准化和大规模比较分析的工具，从而帮助我们理解VR移动机制的可能性。

Locomotion Vault已托管至GitHub，而微软团队后续将发布一篇相关的论文说明。

这家公司已经与100多家公司和机构达成了合作

（映维网 2021年01月12日）力反馈功能数据手套开发商SenseGloves于218年亮相的首款产品在很大程度上是笨重巨大的机械式设备。但来到2021年的CES大会，这家公司向我们展示了一款更为紧凑、更为用户友好的设计：SenseGlove Nova。

SenseGlove Nova主要为VR培训用例设计。它抛弃了初代产品的外骨骼样式（其依然用于VR研究用例），并选择了受人体肌腱启发的全新机制。力反馈主要由四个附接到手指的磁性摩擦致动器施加。每一个磁性摩擦致动器都能提供高达20N的力，这样用户就能感受到数字对象的形状形态。SenseGlove表示，这个力“相当于每个手指承受一块2公斤重的砖头”。

除了感官反馈，Nova同时配备了用于拇指和食指振动触觉的音圈致动器。这将允许用户感受到纹理和其他感觉，比如按下仪表板的按钮或使用工具。另外，SenseGlove Nova更容易穿戴，因为你不再需要单独绑接每个手指。现在只需几秒钟即可完成。

SenseGlove指出：“与研究用例不同，VR培训项目都是为了快速实施。根据客户的反馈，SenseGlove利用可扩展的、易穿戴的材料制造了一种全新手套。 SenseGlove Nova能够允许你通过直观的真实行为体验数字世界，再加上5000美元的价格，它成为了未来工作中最易使用的设备，并为虚拟现实培训带来了新的意义。”

自最初的SenseGlove发布以来，这家公司已经与100多家公司和机构达成了合作，包括大众、空中客车、斯堪尼亚和本田。大众汽车集团的马尔特·海德曼（Malte Hedemann）补充道：“对于真正的沉浸式VR培训，下一个重要步骤是实现触觉交互。所以大众汽车选择与SenseGlove合作，共同致力于将可扩展的触觉VR培训愿景变成现实。”

SenseGlove将在本周的CES 2021大会展示设备原型，并计划在今年3月发货首批Nova手套。

]]> https://news.nweon.com/82171/feed 0 https://news.nweon.com/81323 https://news.nweon.com/81323#respond Fri, 11 Dec 2020 00:44:17 +0000 https://news.nweon.com/81323 开发套件售价399美元]]> 查看引用/信息源请点击：映维网

开发套件售价399美元

（映维网 2020年12月11日）NextMind正在开发一种可将大脑视觉皮层信号转换为机器可读指令的可穿戴脑机接口设备。利用视觉信号，你可以向计算机输入命令，直接通过意念控制数字世界。

日前，这家公司宣布已经发货所述可穿戴设备开发套件，并表示这项突破性技术为游戏和人机交互开辟了全新的可能性，因为它能够将用户视觉皮层的大脑信号立即转换为任何设备的数字指令。所述开发套件售价399美元。

NextMind的创始人兼首席执行官西德·库伊德尔（Sid Kouider）表示：“这对NextMind来说是一个巨大的里程碑，同时是对所有帮助我们为开发者社区带来真正变革体验的科学家、投资者和合作伙伴的致敬。我们相信这项技术将以巨大的动能改变游戏行业。我们的产品能够让你感觉自己仿佛成为了绝地武士，我们非常期待NextMind能给全球开发者社区以及脑机接口的未来带来什么。”

NextMind提供了一款轻巧的可穿戴设备，并且能够捕捉用户视觉皮层发出的大脑电信号。通过利用机器学习算法，NextMind可以将输出实时转换为设备的直接数字命令。

这种独特的脑机接口可允许用户控制PC和物联网中的任何设备，比如电灯、电视、音乐和游戏等等。另外，NextMind可以单独使用，或应用于增强现实/虚拟现实头显。

NextMind的开发套件微软Windows 10、苹果macOS、Oculus、HTC Vive和HoloLens等多种数字平台。

NextMind开发套件包括：

• NextMind Sensor：带可调节头带的大脑感应装置。
• NextMind Engine：将神经信号转换为命令的实时机器学习算法。
• NextMind SDK：随时可用的Unity资源，如教程、演示应用和游戏、以及代码构建块等等。

RealitySketch可以提高远程教学的吸引力

（映维网 2020年12月08日）加拿大卡尔加里大学、Adobe Research和美国科罗拉多大学博尔德分校的研究人员最近开发了一种可以生成响应性草图、图形和可视化效果的增强现实界面。另外，相关论获得了ACM Symposium on User Interface Software and Technology的最佳论文奖和最佳演示奖。

团队表示：“我们项目最初的出发点非常简单，就是帮助用户通过AR交互式素描来形象化真实世界的现象。这种动机来自于我们对物理课堂教学的观察，教师进行的实验往往是学习物理的一个组成要素。”

向学生解释物理现象有时十分具有挑战性。这是因为完全理解相关现象需要可视化具体的发生情景，不仅只是学习与它们相关的理论。所以，能够帮助物理教师以一种动态的、引人入胜的方式解释概念将非常具有价值，因为它们可以提高学生对课程主题的理解。

RealitySketch是这支团队构建的平台，它允许用户生成动态的和高响应速度的图形，并在现实世界中的黑板、墙壁或其他对象之上实现可视化。这允许学生通过直接观察运动中的物理现象来更好地理解教师尝试解释的物理现象。

研究人员解释说：“在过去，制作这样的可视化效果是一个耗时的过程，需要单独的视频编辑或后期制作步骤。相比之下，如果用户可以实时地将动态可视化效果绘制到真实世界上，从而能够动态地对物理对象的运动进行动画化和可视化，那又会怎样呢？”

RealitySketch基于Apple ARKit，从而能够将动态草图嵌入到真实环境中。在一开始，用户只需用手指或数码笔在触控屏绘制简单的草图，然后，他们绘制的元素就会覆盖到真实世界的摄像头视图之上。

团队指出：“RealitySketch最独特的地方在于它支持实时动画化基于真实世界运动的草图元素。”

尽管目前市场存在无数基于AR的绘制界面，但迄今为止的大多数解决方案都集中在将静态图形嵌入真实世界中。示例包括Pronto、Sybiossketch和PintAR，以及谷歌的Just a Line或DoodleLens。RealitySketch不仅允许用户创建静态草图，同时支持嵌入动态和交互式图形，这样它们就会绑定到用户环境中的真实对象并对其移动做出响应。

“RealitySketch集成了目标追踪和基于AR的可视化。首先，它用计算机视觉来追踪对象。当用户通过iPad轻触一个对象（如一个钟摆球）时，系统就会根据对象的颜色进行追踪。所有的草图元素都绑定到这些被追踪对象，所以当物理对象移动时，例如当用户抓取、移动、推动、抛出对象时，草图元素会根据它们预期的运动来设置动画。”

团队在一项涉及卡尔加里大学学生的研究中评估了他们创建的界面。他们招募的参与者对RealitySketch非常满意，并且似乎对它在增强物理实验方面的潜力特别兴奋。

相关论文：RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching

由于疫情影响，国外依然有大量的学生通过网络学习，所以团队创建的界面可能会特别有价值。事实上，RealitySketch可以提高远程教学的吸引力，例如允许教师录制动态物理实验的视频并与学生分享，这样他们就可以更好地理解课堂描述的概念和现象。

研究人员表示：“RealitySketch同时显示了在教学以外的更广泛应用领域的潜力。尽管我们最初关注的是数学和物理概念解释，但我们的用户对其他应用场景非常兴奋，例如运动训练、设计探索和有形的用户界面。”

除了在课堂环境下测试平台，团队另外展示了它在各个应用场景的潜力。例如，他们表明，体育教练可以利用所述工具产生实时的可视化数据分析，例如显示篮球运动员的实时运球轨迹，又或者通过产生特定身体姿势的视觉化来增加瑜伽课堂的吸引力。

团队最后补充道：“我们有兴趣在未来进一步开发这个项目。由于这是Adobe Research、卡尔加里大学和科罗拉多大学博尔德分校合作的结果，我们相信这项工作将激发更多支持沉浸式创造力的研究和产品，并将充分实现AR作为动态计算介质的潜力。”

由于Wacom搭载独立的追踪系统，它可以配合任何虚拟现实头显。

（映维网 2020年12月05日）Wacom日前介绍了一个旨在帮助公司过渡至下一个数字艺术创作时代的实验性工具。名为VR Pen的设备将利用Wacom在交互笔/触控笔方面的专长，并主要面向2D和3D艺术家。

Wacom正在研发的VR Pen是一款压力敏感型笔输入设备，能够在VR环境中提供自然的创作体验。它支持3D绘图，并且内置完整的六自由度追踪解决方案，同时又兼容传统的数位板。

Wacom表示，VR Pen通过“握笔力”来确定你在3D空间中的预期施力。另外，它的尖端包括一个EMR压力传感器，与Wacom的数位板兼容。你可以将VR Pen用于3D和2D媒介。由于Wacom搭载独立的追踪系统，它可以配合任何虚拟现实头显。

Wacom VR Pen采用了符合人体工学的设计。在用户操作设备时，握柄能够提供更佳的握力。VR Pen同时配有为你提供不同苏杭如选项的各种按钮和旋钮。这包括一个中指按钮，一个拇指侧面按钮，以及一个转轮。VR Pen的笔杆另外含有三个可通过拇指触及的按钮。

Wacom尚未准备好批量生产这种VR Pen，但公司正在寻找合作伙伴。Wacom表示需要合作伙伴来帮助这个产品走向成熟。

]]> https://news.nweon.com/81190/feed 0