行业专家分享：对“手+眼动追踪”交互的深度见解

查看引用/信息源请点击：xrtoday

Looking Glass、SpectreXR和Finsa的行业专家对手+眼动追踪技术的独家见解

（映维网Nweon 2024年09月09日）XR的特殊之处在于它的空间元素。得益于完全沉浸式的3D空间，用户可以从一个新的维度与数字内容交互。利用内置追踪摄像头，用户可以抛弃笨重的控制器，并使用手势或眼睛来与虚拟内容交互。

眼+手追踪带来了一系列的新用例。用户不再需要熟悉控制器，而是利用更自然的动作。然而，这项技术依然处于新兴阶段，硬件、软件和采用方面的障碍依然存在。

为了探讨这个话题，XR Today收集了来自Looking Glass、SpectreXR和Finsa的行业专家对手+眼动追踪技术的独家见解：

1. 需要什么技术来支持眼动追踪？

Finsa的荷西·皮切尔（Jose G. Pichel）给出的见解：

为了在企业环境中充分利用手+眼动追踪技术的潜力，头显需要数个关键的硬件改进:

• 高分辨率和高速摄像头

  • 手部追踪：高帧率（90-120 fps）的高分辨率摄像头，以用于精确的手势检测和流畅追踪。

  • 眼动追踪：高分辨率和帧率的摄像头或传感器，用于准确的眼球运动捕捉。

• 深度传感器和激光雷达

  • 深度摄像头：用于精确手部追踪的3D环境映射。

  • 激光雷达：用于增强AR和MR交互的精确距离测量。

• 强大的处理器和GPU：

  • 处理器：用于实时数据处理的多核处理器。

  • GPU：用于复杂图形渲染和数据传输管理的大容量GPU。

• 人工智能和机器学习算法

  • 手势和动作识别：提高追踪精度，适应不同的用户。

  • 预测和纠错：实时纠错，实现更流畅的体验。

• 高级连接

  • 低延迟无线：Wi-Fi或蓝牙稳定，快速连接。

  • 宽带接口：高效的数据传输。

• 人体工学设计

  • 轻巧舒适：减轻长时间使用的疲劳。

  • 贴合舒适：可调节适配不同的头部形状和大小。最好的情况是拥有一款具有六自由度追踪能力的眼镜形态设备。

• 高分辨率显示器和宽视场

  • 高分辨率：清晰细致的图像。

  • 宽视场：增强沉浸感。

• 生物传感器

  • 心率和压力传感器：个性化体验，提高用户的沉浸感。

  • 需要新的触觉设备和传感器来提高体验的真实感。

2. 与虚拟内容交互

Looking Glass的专家给出的见解：

与数字对象的交互使交互体验感觉更自然。

眼+手追踪可用于交流和参与3D信息，解锁空间推理和沉浸感。

在VR中，这种追踪的优势主要是1:1对应，这意味着通常只有一个人从这种体验中受益。

一个核心的进步是使用手+眼追踪以及诸如Looking Glass显示器这样的裸眼技术来提供交互式体验。

3. 释放工作场所潜力

SpectreXR首席执行官伊万·拉杰科维奇（Ivan Rajković）给出的见解：

为了在企业环境中真正发挥手+眼追踪技术的全部潜力，我们需要进行一定的硬件升级。

想象一下，一位外科医生使用虚拟现实技术来进行复杂的手术。为了确保工作顺利，头显中的传感器需要以令人难以置信的精度捕获眼和手的运动，需要精确到毫米。

现在，我们没能完全做到。传感器的精度和速度至关重要。如果没做好哪怕是最小的细节，整个体验就会贴上“不够好”的标签。

但这不仅仅是精度问题。真正的奇迹发生在一切都感觉天衣无缝，没有明显的延迟的时刻。这在医疗保健或国防等领域尤其重要，因为即便是一瞬间的延迟都会破坏沉浸感，减损技术的可靠感。

为了实现这一目标，我们需要增强处理能力并减少延迟。我们的想法是确保技术运行足够流畅，以至于你甚至忘记了它的存在。一切都很自然地运行，就像在现实世界中一样。

所以，尽管手控和眼控在商业环境中的潜力非常巨大，但我们必须突破硬件和软件的界限，确保它们能够无缝工作。

4. 模块化的作用

SpectreXR首席执行官伊万·拉杰科维奇（Ivan Rajković）给出的见解：

模块化是将眼+手跟踪工具集成到企业环境中的关键，因为它提供了无与伦比的灵活性和可扩展性。

在需求差异很大的商业环境中，拥有模块化系统意味着你可以定制技术以适应每个场景的特定需求。但这不仅仅只是定制。

模块化在未来的技术中同样起着至关重要的作用。随着公司需求的增长或变化，模块化系统可以轻松地添加新组件或调整现有组件，无需彻底检查整个设置。这种适应性对于在不断发展的行业中保持竞争力至关重要。

这就是我们在开发OctoXR时如此重视模块化的原因。我们希望创建一个不仅满足今天需求，而且可以随着业务增长而适应的工具，从而确保长期价值和成功。

Looking Glass的专家给出的见解：

由于手部追踪技术是一种新技术，并且具有广泛的应用，所以能够从大量潜在的交互模式中选择特定于用例的交互至关重要。

Finsa的荷西·皮切尔（Jose G. Pichel）给出的见解：

模块化对于在企业环境中集成手+眼追踪工具至关重要。原因如下：

• 易于升级和维护

  • 简化升级：无需大修整个系统，只需更换或升级单个组件。

  • 减少停机时间：在不影响整个系统的情况下维护特定模块，最大限度地减少中断。

• 可扩展性

  • 自适应增长：从基本设置开始，并根据需要添加新模块进行扩展。

  • 灵活集成：集成额外的功能，例如新的传感器或软件，无需进行大幅重新配置。

• 定制和灵活性

  • 定制解决方案：定制配置，满足特定需求，优化性能。

  • 互操作性：确保与广泛的系统和设备兼容。

• 成本效率

  • 降低初始投资：最初投资必要的模块，并根据需要添加更多模块，减少前期成本。

  • 运营效率：高效管理和升级单个模块，实现长期成本节约。

• 创新与竞争力

  • 快速采用：快速集成新技术，无需重新设计完整的系统。

  • 测试和适应：在全面实现之前，在受控环境中试点新模块。

• 实际例子和成功案例。

  • VR/AR应用：无需更换整个头显即可升级追踪功能。

  • 医疗保健：采用新的生物识别传感器或先进的追踪算法。

  • 制造：为不同的流程定制追踪系统，提高效率。

模块化简化了升级、可扩展性、定制、成本效率和快速技术采用，增强了企业环境中的性能和竞争力。

5. 中间件构造块

Finsa的荷西·皮切尔（Jose G. Pichel）给出的见解：

用于缩放眼+手追踪工具的中间件包括数个关键的构造块。

• 应用编程接口

  • 通信API：促进追踪设备和软件应用程序之间的数据交换。

  • 集成API：实现与CRM和ERP等企业系统的无缝集成。

• 设备管理

  • 设备驱动程序：确保追踪硬件的适当通信和控制。

  • 设备管理：用于配置、监视和更新设备的工具。

• 实时数据处理

  • 预处理：整理和过滤原始数据以提高准确性。

  • 分析：实时手势和注视检测算法。

• 数据存储与管理

  • 数据库：存储大量追踪数据以用于分析和报告。

  • 数据管理工具：有效地组织和管理数据访问和存储。

• 识别引擎

  • 机器学习算法：解释手势和眼球运动。

  • 手势库：预定义的可识别手势和动作集合。

• 安全及私隐

  • 身份验证和授权：对数据和功能的安全访问控制。

  • 数据加密：在传输和存储过程中对数据进行保护。

• 用户界面和体验

  • 仪表板：实时数据可视化和设备状态监控。

  • 定制工具：配置和个性化追踪体验。

• 可扩展性和编排

  • 微服务架构：每个功能都有独立的、可扩展的组件。

  • 负载均衡：跨服务器分配工作负载以获得最佳性能。

  • 容器化：有效地管理和扩展组件。

上述构造块可以确保在企业环境中实现稳健、可扩展和高效的手眼追踪系统。

6. 扩展手+追踪

SpectreXR首席执行官伊万·拉杰科维奇（Ivan Rajković）给出的见解：

在企业环境中扩展手+眼追踪工具取决于几个关键的中间件组件，其中访问摄像头馈线数据是最关键的元素之一，同时是经常遭到忽视的元素。

相关数据对于精确追踪至关重要，可为开发者提供在XR环境中创建响应性、直观交互的原始材料。

然而，访问所述数据会引起重大的隐私问题，包括用户同意、数据安全和管理等问题。尽管这种担忧是合理的，必须加以解决，但它们不应该阻碍创新。

可靠地访问高质量的摄像头数据对于推进手+眼追踪、改进虚拟交互和集成机器学习至关重要。如果管理得当，这种访问可以成为推动技术向前发展的催化剂，实现跨行业的可扩展性。

除了摄像头数据访问之外，软件开发工具包同样是关键的中间件组件。像OctoXR这样的解决方案提供了模块化SDK，支持技术在各种企业环境中茁壮成长所需的可扩展性和适应性。

7. 转换基本XR数据

Looking Glass的专家给出的见解：

从软件的角度来看，将原始数据转换为有意义的交互。改进中间件，使其能够解析来自硬件解决方案的数据，这将允许集成商能够更好地访问眼+手追踪解决方案的价值。

从物理角度来看，手部追踪UI交互方法不如鼠标或按钮等物理控制器精确。

然而，最大的使用障碍是用户移动和追踪之间的延迟。我们看到在减轻环境限制方面取得了巨大的飞跃，但障碍今天依然存在。

8. 手眼追踪的新应用

Finsa的荷西·皮切尔（Jose G. Pichel）给出的见解：

必须考虑到，根据工作环境的不同，持续的眼动运动可能会导致使用者疲劳。

在企业领域，手和眼动追踪提供了一系列创新的应用：

• 培训与教育

  • 沉浸式模拟：创建逼真的培训环境，员工可以安全地练习复杂的技能。

  • 实时反馈：根据眼和手的动作提供即时反馈，提高培训效果。

• 客户服务及销售

  • 客户交互：使用AR工具进行产品演示，根据客户的目光定制演示。

  • 行为分析：通过分析顾客注视模式来优化产品放置和营销策略。

• 远程协作

  • 增强的虚拟会议：通过允许参与者通过眼睛和手的跟踪来指出和引导注意力，从而改善沟通。

  • 3D协同工作：团队可以实时操作3D模型，增强设计和架构协作。

• 生产力的提高

  • 非接触式接口：具有眼和手的控制系统，在卫生敏感的环境中很有用。

  • 任务自动化：通过追踪学习用户模式来自动化重复任务。

• 安全性和合规性

  • 生物识别认证：使用眼和手追踪安全访问敏感系统。

  • 疲劳监测：检测关键工作中的疲劳迹象，防止事故发生。

• 协助及支援

  • 远程技术支持：技术人员可以通过看到用户所看到的画面，并提供精确的指导。

  • 过程指导：协助工人完成复杂的任务，确保准确性并减少错误。

手和眼动追踪技术可以显著增强企业环境中的培训、客户交互、协作、生产力、安全性和支持。

9. 追踪在XR中的影响

SpectreXR首席执行官伊万·拉杰科维奇（Ivan Rajković）给出的见解：

我特别兴奋的是，手和眼追踪技术将对企业领域的训练模拟产生影响。

这种技术的集成将彻底改变各行业的培训方式，特别是在医疗保健、航空和制造业等领域。想象一下，一个外科培训生使用VR模拟，而眼动追踪可以监控他们对关键区域的关注，手动追踪则可以实时反馈他们的动作。

系统可以分析受训者在复杂过程中的注意力，并评估他们在执行复杂任务时的灵活性。这种水平的洞察力允许高度个性化的培训。项目可以适应学员的需求，在他们可能挣扎的领域提供额外的实践。

相关应用仅仅是个开始。随着技术的不断发展，更加复杂和身历其境的培训环境的潜力将会增长，从而产生更充分准备的专业人员，最终形成更安全、更高效的工作场所。创建这种量身定制且灵敏响应培训项目的能力将改变一切，我期待看到它在未来几年内将如何发展。

10. 将追踪带给大家

Looking Glass的专家给出的见解：

将手部追踪1:1对应带到满是人的房间，而每个人都从使用中受益。潜在的应用无穷无尽。

如今，我们的客户将手部追踪技术与群体可视3D显示器相结合，以更好地交流和呈现3D内容。

随着技术精度的提高，手势交互将带来更多价值。当眼动追踪技术解决延迟问题时，毫无疑问，将会有更多的集成并为最终用户提供价值。