AirSketch：基于手部动作的无标记悬空绘图与可控图像扩散模型探索
使用嵌入到智能眼镜等设备中的任何标准摄像头捕获的手部动作视频生成绘图
（映维网Nweon 2025年01月02日）诸如《Tilt Brush》等应用已经证明了在XR中直接进行艺术创作的效用，但它们通常需要额外的控制器，以及一定的操作技巧，这限制了它们的无障碍性和可移植性。另外，手势对于社交表达同样有着重要的辅助补充作用。
为了解决相关挑战，中佛罗里达大学团队提出了AirSketch的裸手悬空绘图概念，目标是使用嵌入到智能眼镜等设备中的任何标准摄像头捕获的手部动作视频来生成忠实和视觉连贯的绘图。
团队设计了一个基于增强的自监督训练程序，令一个可控的图像扩散模型能够学习从高噪点手部追踪图像转换为整洁清晰的绘图，同时保留原始追踪数据中的基本视觉线索。
研究人员提出了两个悬空绘图数据集来研究这个问题。结果表明，除了能够从精确的空间输入产生逼真的图像外，可控的图像扩散可以有效地从噪点输入产生精细、清晰的绘图。他们指出，这是迈向无标记悬空绘图的第一步，并揭示了可控制扩散模型在AirSketch和AR/VR中的不同应用。
......（全文 1313 字，剩余 908 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
