XR与AI技术重塑医疗生态：从手术导航到居家康复的突破性应用
XR技术，以及AI在医学和康复领域的应用
（映维网Nweon 2025年08月07日）扩展现实技术正在深刻地改变医学领域，尤其是在疾病诊断、康复过程、以及外科手术的计划和执行方面。例如，AR可在微创手术中提供支持，可视化患者身体的内部解剖结构，并提供实时反馈，以提高准确性，保持外科医生的注意力，降低错误的风险。另外，XR技术可用于开发术前计划或通过严肃游戏培训外科医生的应用程序。AI在医学图像处理、解剖结构识别和3D模型重建，以及用于患者监测和疾病诊断的生物数据分析方面都有应用。在康复方面，XR和人工智能可以实现个性化治疗计划，通过沉浸式环境提高患者参与度，并提供实时反馈以改善康复结果。
在一篇刊文中，意大利萨兰托大学，立陶宛维陶塔斯马格纳斯大学和英伟达团队综述介绍了XR技术，以及AI在医学和康复领域的应用。
XR一词指的是一个包含多种技术的超集，其中包括将用户沉浸在一个三维数字世界中的VR虚拟现实；通过叠加虚拟对象和信息来增强用户对现实世界感知的AR增强现实；以及不仅仅是叠加，同时将虚拟对象锚定在现实世界中的MR混合现实。
特别是AR，它可以作为一种有用的引导工具，尤其是在微创手术中。它能提供患者解剖结构的“X光透视”效果：通过将虚拟器官重建叠加在患者身体，它能够补偿内部解剖结构可视性不足的问题（这个问题正是使得微创手术比开放手术更困难的主要原因之一）。另外，通过提供实时的视觉和听觉反馈以及其他各种情境相关的指示，它能够保持外科医生的注意力警觉，从而显著降低出错的可能性。
另外，XR的所有三个分支（VR/AR/MR） 都可以用于开发术前规划应用或以游戏形式用于外科医生的培训和教育。
AI在机器学习和深度学习等所有分发展 为医学的各个领域带来了诸多创新。在外科领域，它彻底改变了从手术准备到术后的所有阶段，而这主要归功于图像处理、分割和模式检测方面的进步，使得能够在CT和MRI图像中自动且越来越精确地识别解剖结构，并重建可靠的三维模型。
AI的另一个重要应用领域是分析由特殊传感器或可穿戴设备检测到的生物信号和数据，如心电图、脑电图、心率变异性、皮电活动等。AI使得能够改进那些通常基于历史分析和自适应阈值方法的准确性，提前检测到疾病的发作或恶化。相关能力对于老年人和慢性病患者的持续监测，以及精神疾病的诊断非常有用。
在临床实践中使用AI做出的决策可以为证明选择、追踪和验证决策提供依据，进一步改进算法，更重要的是，能够实时探索新的临床事实
AI和XR同时在康复领域找到了应用，特别是在肌肉骨骼康复、中风后康复和认知康复方面。它们用于制定个性化治疗计划、根据生理参数预测患者参与度、通过沉浸式环境增强参与度，并提供实时反馈以改善运动功能和康复效果。
XR进一步应用于创新的治疗方法，例如支持成瘾康复的治疗和针对自闭症或注意力缺陷多动障碍儿童的康复项目，帮助增强参与度并促进技能发展。
最后，XR可以通过沉浸式分散注意力来减轻住院患者的痛苦并改善福祉，从而减少疼痛和焦虑。它可以利用AI的支持，使用来自可穿戴传感器的数据来监测和预测压力水平及情绪状态，从而提供个性化干预。相关技术同时通过交互式娱乐提高生活质量，帮助患者准备医疗手术或院后康复，并通过将医疗治疗转变为更引人入胜的体验来减轻儿童的压力。
Pellegrino 等人（2025）分析了数字孪生 在医疗保健领域的应用。数字孪生定义为复制物理对象行为并在相同输入条件下产生相同输出的虚拟表示。相关研究建立了一个包含11个维度的概念框架。数据维度强调了强大的大数据价值链对于管理持续数据流和确保物理实体准确建模的重要性。状态 维度对数字孪生类型进行了分类，但指出了它们在可比性上可能存在的不兼容性，而成熟度维度则侧重于其性能水平。
数字孪生之间的结构关系（特别是在分层配置中）及其动态更新是探索的关键领域。建模、功能、传感器和用户交互（User 等维度表明，尽管提供了见解，但通用分析可能缺乏操作精度。研究主张制定协调一致的协议，解决伦理、规范、架构和建模标准，以实现更好的互操作性和成熟度评估。研究人员同时呼吁为特定领域（如医疗保健）建立全面的基准，确保符合伦理法规并保障数据主权。尽管存在局限性，但他们为推进跨领域的数字孪生研究奠定了统一知识框架的基础。
其他论文则介绍了用于诊断的工具和平台，如下颌骨和膝关节软骨的案例。用于下颌骨的工具基于增强现实技术，结合无标记和有标记追踪技术，可协助外科医生进行颞下颌关节改变的临床评估。在使用Hololens 2对一名志愿者进行的测试中，通过虚拟标记捕获了张口和闭口时下颌运动的水平和垂直偏移，结果与标准的运动学测量相比显示出良好的匹配度，尤其是在使用立方体多目标跟踪器时。
膝关节软骨工具采用机器学习技术，基于从138个膝盖的MRI和CT扫描中提取的影像组学特征，对退行性和健康的膝盖进行分类：该方法将纹理和形状相关特征识别为关键预测因子，并通过评估不同分割变化下的稳定性来优化它们。实验结果表明，该方法在膝骨关节炎分类方面具有高准确性，证明了其在疾病早期阶段诊断和个性化治疗中的潜力。
同样与诊断领域相关的有专注于医学图像分割的论文（Munteanu 等人, 2025）和（Chen 等人, 2025）。前者采用人工神经网络通过三个步骤识别超声图像中的恶性乳腺肿瘤：增强、分割和分类。在增强阶段，使用生成对抗网络 创建新图像以增强有限且不平衡的数据集。然后利用UNet模型进行图像分割。最后，使用经典的卷积神经网络（CNN） 进行图像分类。在从600名女性患者收集的数据集，整个流程达到了86%的准确率。
另一项研究则介绍了一种可视化肾脏内部结构并识别肾结石的方法。它采用了三种分割算法来选择最准确的分割结果，用于后续的配准过程，将结果对齐并组合，生成肾脏解剖结构的全面3D表示。使用Swin UNETR和ResU-Net分别实现了肾脏分割最高得分95.21%和结石分割最高得分87.69%。对于集合系统和肾实质，ResU-Net和3D U-Net取得了相似的分数。在准确可视化肾脏内部结构和精确定位肾结石方面取得的成果，有助于改善经皮肾镜取石术的诊断和术前规划。
有两篇论文专注于生理信号的分析。De Marchi 等人（2025）分析了一个基于可穿戴平台采集的心电图（ECG）、呼吸、皮电反应和光电容积脉搏波信号来评估压力水平的多参数模型。对衍生特征的统计分析显示，每种生理信号中至少有两个显著特征，它们对表征压力反应的不同方面有不同的贡献。四十名健康参与者参与了实验，并创建了两个数据集：绝对数据集（捕获压力强度水平）和差异数据集（突出压力变化）。皮电反应和光电容积脉搏波信号总体上最具影响力。心电图 特征显著性较低，但与区分压力水平的上升和下降相关。呼吸特征仅在绝对数据集中与区分压力组别相关。
Apicella 等人（2024）研究了一种基于脑电图和心电图信号的数据融合方法，用于实时评估恐高症的可行性。参与者在一个峡谷的虚拟重建环境中逐渐暴露于不断增加的高度水平。在受试者内实验中，深度神经网络 实现了最佳分类准确率（87.1%±7.8%）。在跨受试者方法中，与将脑电图和心电图结合的数据融合以及基于恐高症严重程度对参与者进行分组的策略相比，域适应策略是最有效的，其分类准确率提高了20%以上。随机森林在严重恐高症组中提供了最佳分类准确率，平均为63.6%。
在康复领域，Lau 等人（2025）为针对老年痴呆症患者的基于VR的怀旧疗法提出了一个概念模型，该模型基于沉浸感、交互性、想象力和印象。与作业治疗师进行的试点测试表明，基于模型的虚拟环境可能引发积极的态度和动机。关于沉浸感，治疗师赞赏VR提供的空间感和真实感体验，强调了其模拟具有深度和声音的怀旧环境的能力。担忧包括患者可能因沉浸式无意识状态而跌倒的风险、设备对老年人来说过重，以及需要设置安全措施并控制单次疗程时间在10-15分钟。
关于交互性，治疗师赞扬了VR相比传统怀旧训练的吸引力和交互性。挑战包括患者能力各异，需要简化的交互和指导。移动选项可以增强参与度，但可能引起困惑或不适。为了有效激发想象力，一个关键方面是使VR设置与患者的生活方式和背景保持一致，以避免扰乱他们的日常习惯。关于印象，治疗师赞赏VR内容的熟悉度及其反映虚拟场景所处时代的能力。他们建议通过添加更多物品和优化细节来增强真实感，以加强患者与所描绘时代的联系并刺激他们的长期记忆。
Rajesh（2025）描述了开发一种基于组合预测模型的疫情决策支持系统。研究利用二手数据和预测模型评估了恢复期血浆疗法对重症新冠患者的风险和效果。模型结合了三种方法：灰色预测模型（GM (1,1)）、残差GM (1,1)模型 和反向传播人工神经网络（BP-ANN）。结果显示临床特征和实验室检查结果呈现积极趋势，表明患者治疗后有所改善。相关发现与梅奥诊所和美国国立卫生研究院等机构的报告一致。
相关论文：eXtended Reality and Artificial Intelligence in Medicine and Rehabilitation
https://link.springer.com/content/pdf/10.1007/s10796-025-10580-8.pdf
特刊收录的论文为基于XR、生物医学信号采集与分析以及AI的各种技术的潜力提供了多方面的见解，并可以在诊断、外科、治疗和康复领域为健康和医学界提供重要支持。
未来，基于AI的方法将越来越能够让慢性病患者直接在家中接受监测，这得益于其在预测危机发作方面更高的准确性和可靠性，从而能够提前向医护人员发出警报。这将缩短住院时间，在经济和组织方面带来重要的附带效益。
另外，人们将寻求XR与AI之间日益增加的协同作用和整合。这将能够自动从医学图像中获得更精确的器官3D重建，改进解剖结构的追踪，以及改善术中支持中真实器官与虚拟器官之间的对应关系，处理器械遮挡，实时可视化从患者电子病历中推断出的情境相关信息，在手术过程中及时预防风险，并更好地分析多种疾病的进程。同时，大型语言模型可用于实现外科医生与XR系统之间具有情境感知能力、直观且自然的沟通。
一个未涉及的方向是AI和XR在机器人手术中的整合。在此背景下，主要挑战之一是找到不同的深度学习和计算机视觉策略之间的最佳整合方式，以便在不受到机器人工具干扰且无需人手辅助的情况下，将可变形虚拟模型即时锚定到真实器官。
