卡内基梅隆大学基于AI开发从2D草图创建3D模型

查看引用/信息源请点击：techxplore

轻松创建各种3D虚拟模型

（映维网Nweon 2023年04月07日）据报道，由卡内基梅隆大学研究人员开发的一种机器学习工具能够帮助初学者和专业设计师创建从定制家用家具到游戏内容的各种3D虚拟模型。

名为Pix2pix3d的工具允许任何人员使用生成式人工智能工具创建2D草图的逼真3D表示。如上图所示，你只需提供简略的素描草图，然后系统将会为你输入相关的3D模型。

研究人员指出：“我们的研究目标是通过机器学习和数据驱动方法的力量，帮助更多人开启内容创作之路。”

与其他能够创建2D图像的工具不同，Pix2pix3d是一种3D感知条件生成式模型，可允许用户从标签图（如分割或边缘图）中输入2D草图或更详细的信息。然后，它能够合成几何、外观和标签的3D体三维表示。其中，所述表示可以从多个视点渲染，以创建逼真的3D图像。

团队表示：“只要你能画出草图，你就可以制作自己的定制3D模型。我们的模型对用户的错误是鲁棒的。即便是一个看起来只能勉强算是猫的2D草图，它都能够生成猫的3D图像。”

一旦Pix2pix3d生成3D图像，用户就可以通过擦除和重新绘制原始2D草图来实时修改。这个功能为用户提供了更多的自由度来自定义和细化图像，而无需重新渲染整个项目。更改反映在3D模型中，并且从多个视点来看都是准确的。

这种交互式编辑功能是Pix2pix3d与众不同的地方，因为用户可以快速高效地进行调整，帮助用户轻松地设计、测试和调整产品。

例如，如果设计师输入一辆带有方形引擎盖的汽车的草图，模型将提供这种汽车的3D渲染。如果设计师删除草图的所述部分，并用圆形引擎盖替换方形引擎盖，则3D模型会立即更新。团队计划在未来继续完善和改进这一功能。

据悉，Pix2pix3d已经接受了包括汽车、猫和人脸在内的数据集训练，而团队正在努力扩展模型能力。未来，它可以用于设计消费品，比如允许人们有能力为自己的家定制家具。届时，新手和专业设计师都可以使用它在虚拟现实环境或游戏中定制物品，或为电影添加效果。