中外研究员介绍新型3D室内场景布局设计器LLplace，基于轻量级微调开源LLM Llama3
通过LLM生成和编辑3D室内场景
（映维网Nweon 2024年12月12日）三维室内场景设计是一项重要的任务，在虚拟现实等领域有着重要的应用。现有的3D布局设计方法要么依赖于利用空间关系先验的扩散模型，要么大量利用专有的大型语言模型的推理能力，而它们在泛化和动态场景编辑方面往往存在局限性。
所以，南方科技大学，华威大学，西安交通大学，约克大学团队介绍了基于轻量级微调开源LLM Llama3的新型3D室内场景布局设计器LLplace。
LLplace绕过了对空间关系先验和上下文范例的需求，仅根据用户输入指定房间类型和所需对象来实现高效可靠的房间布局生成。团队在3D-Front数据集的基础上策划了一个新的对话数据集，扩展了原始数据量，并结合了对话数据来添加和删除对象。数据集可以增强LL,的空间理解能力。
另外，通过对话，LLplace激活了LLM理解3D布局和执行动态场景编辑的能力，从而可以添加和删除对象。方法表明，LLplace可以有效地交互式生成和编辑3D室内布局，并且在提供高质量的3D设计解决方案方面优于现有方法。
三维室内场景设计和优化在虚拟现实等应用中发挥着至关重要的作用。尽管人工智能领域取得了重大进展，特别是在自然语言处理和计算机视觉方面，但从原始文本中灵活生成和动态编辑3D室内场景的任务依然是一个复杂的挑战。
现有的室内场景布局设计方法主要分为两类。第一个是基于扩散模，利用模型以及各种空间特征先验来生成3D布局。第二类依赖于现有LLM的推理能力，使用大量提示生成相应的3D布局，如LayoutGPT和Holodeck。
......（全文 1523 字，剩余 969 字）
