麻省理工通过MR为实体物品的数字映射添加交互能力
复刻现实世界的交互
(映维网Nweon 2025年04月09日)尽管XR设备可以帮助你创建一个实体物品的数字孪生,比如一个旧娃娃。但你很难复刻交互式元素,比如它移动的方式或它发出的声音。换句话说,你映射创建的数字版本只是静态对象。
麻省理工学院的研究人员希望改变这种状况,并提出了一个潜在的解决方案:名为InteRecon的解决方案可以帮助用户映射创建物理对象的数字孪生,然后在混合现实环境中动画化,从而复刻现实世界的交互。
InteRecon能够重建不同物品的互动体验,所以有望成为教师解释重要概念的有用工具。它同时可以为博物馆展品增添新的视觉元素,比如给一幅画添加动画,或者“复活”一个历史人物。
最终,InteRecon或许能够可视化完成任务所需的每个动作,从而教导医学生进行器官手术。
研究人员指出,InteRecon令人兴奋的潜力来自于它可以为诸多不同的物体添加交互功能。
他们解释道:“尽管拍照或录像是保存记忆的好方法,但相关数字副本是静态。我们发现用户想要重建个人物品的数字副本,同时保留它们的交互性,以丰富他们的记忆。凭借混合现实的力量,InteRecon可以令你珍重的记忆以交互式数字项目的形式存在更长时间。”
为了令数字交互成为可能,团队首先开发了一款iPhone应用,然后你可以用摄像头对物品进行三次左右的扫描。
然后你可以将3D模型导入到InteRecon混合现实界面中,标记单个区域,以赋予物品特定区域的交互能力,如玩偶的手臂,头部,躯干和腿等等。或者,你可以使用InteRecon提供的自动标记功能。
InteRecon可以通过Hololens 2和Quest登设备访问,并允许你选择一个可编程动画。
研究小组表明,InteRecon同时可以重现物理电子设备的界面,比如老式电视。研究人员演示了为电视模型加入虚拟组件,如“开/关”按钮、屏幕和频道开关,并将旧视频嵌入其中,从而再现了老式电视的交互性。你同时可以上传MP3文件,并在iPod的3D模型添加一个“播放按钮”,以便在混合现实中收听你喜欢的歌曲。
研究人员相信InteRecon为设计逼真的虚拟环境开辟了有趣的新途径。至于下一步计划,团队将致力于一个更自动化和更强大的管道,以支持用户在混合现实中为更大的物理环境制作交互性数字孪生,比如虚拟办公空间。
InteRecon代表了混合现实领域一个令人兴奋的新前沿,它超越了单纯的视觉复制,并复刻了物理对象的独特交互性。这项技术有可能彻底改变教育、医疗保健和文化展览,为虚拟环境带来全新的沉浸感和个人联系。