腾讯开源混元3D-Omni和混元3D-Part,加速3D生成模型在AR/VR等领域落地
旨在加速3D生成模型在AR/VR等实际生产流程中的落地应用
(映维网Nweon 2025年09月27日)腾讯日前宣布,混元3D生成模型家族迎新——混元3D-Omni、混元3D-Part发布并开源,并旨在加速3D生成模型在AR/VR等实际生产流程中的落地应用。
作为业界首个统一支持多条件控制的3D生成框架,混元3D-Omni 突破传统图像输入的局限性,支持多种模态输入,实现对物体几何结构、拓扑和姿态的精细控制。混元3D-Part则实现了灵活可控的部件拆分和生成,让分解和生成3D模型像玩乐高一样简单。
团队表示,混元3D-Omni、混元3D-Part将完整开放推理代码和权重,全面开源、免费使用,便于学术研究和工业部署,助力可控3D生成的社区探索。
混元3D-Omni:3D界的“ControlNet”
多条件控制一网打尽
近年来,基于原生3D表示(如点云和体素)的生成模型迅速兴起。然而,当前主流方法主要依赖图像输入,易受单视角遮挡、光照干扰,导致几何准确性不足;同时难以精细调控比例、姿态和细节,且无法适应多模态输入,限制了在复杂场景中的实用性。
混元3D-Omni 基于混元3D 2.1开源模型构建,就像 “3D界的ControlNet”,通过轻量化的统一控制编码器和渐进式难度感知训练策略,混元 3D-Omni能融合多达四类控制条件,显著提升生成的可控性和质量:
● 骨骼:在单图条件下加入骨骼数据,能精确调节生成人物资产的姿态,完美适用于动画制作或虚拟角色设计;
● 点云:注入完整物体点云或从深度图投影的部分点云,帮助消除单张图像的视觉歧义,提升几何细节,让3D模型更逼真可靠;
● 边界框:允许微调生成资产的长宽高比例,确保结果与预期对齐;
● 体素:针对物体结构进行精确调节,让生成的3D资产在几何细节上满足需求。
控制条件可灵活组合,支持深度摄像头、LiDAR或重建模型等输入来源。社区开发者同时可基于开源模型轻松扩展更多创意条件,如额外的人物姿态控制。
混元3D-Omni标志着3D生成从“图像主导”向“多模态可控”转型的关键一步。多模态融合的创新,不仅提升了生成的可控性和鲁棒性,还为下游应用铺平道路。
想象一下,在虚拟现实项目中,你用骨骼信号控制角色动态姿势,再叠加点云细节让模型更逼真——这一切,都能在本地快速迭代,无需昂贵硬件。
混元3D-Part:组件式生成新范式
让3D模型像乐高一样“可拆卸“
与混元3D-Omni的精准生成相呼应,混元3D-Part则专注解决3D生成的“拆解难题”。
传统算法往往输出不可分割的“一体化”模型,但实际应用中,可拆解的模型则能适应更多场景的需求:比如游戏制作中,汽车模型拆分成车身和独立轮子,便于绑定滚动逻辑;3D打印时,像搭积木般逐个组件打印,能够避免大件变形风险。
混元最新推出的混元3D-Part技术,由业界首个原生3D分割模型P3-SAM 与工业级组件生成模型X-Part 组成,首次实现高精度、可控的组件式3D生成,支持50 +组件自动生成,生成的模型几何质量高、可编辑、结构合理,让模型更易编辑、生产和应用。
延展地址
【混元3D-Omni】
代码下载:https://github.com/Tencent-Hunyuan/Hunyuan3D-Omni
权重下载:https://huggingface.co/tencent/Hunyuan3D-Omni
技术报告:https://arxiv.org/pdf/2509.21245
【混元3D-Part】
代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重:https://huggingface.co/tencent/Hunyuan3D-Part
体验入口:
● (轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
● (满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio
技术报告(两篇):
● P3-SAM:
论文:https://arxiv.org/abs/2509.06784
项目网址:https://murcherful.github.io/P3-SAM/
● X-Part:
论文:https://arxiv.org/abs/2509.08643
项目网址:https://yanxinhao.github.io/Projects/X-Part/