用Luma AI的NVIDIA NeRF插件创建Unreal 5体三维对象
以一美元一个场景的价格生成NeRF数字孪生,而创建虚拟对象只需30分钟
(映维网Nweon 2023年04月05日)Luma AI日前发布了一个NVIDIA NeRF插件,从而帮助开发者在Unreal 5实时体三维渲染,无需对几何结构或材质等进行修改。现在,平台开发者可以将Luma AI体三维捕获导入Unreal,并立即在管道中呈现数字化对象。
开发者可以利用Luma AI的插件来简化生产流程,而品牌和娱乐体验制作者则可以利用所述技术堆栈来创建定制内容,如沉浸式媒体验。
创建Luma AI NeRF
Luma AI的“Video-to-3D”API软件允许XR开发者以一美元一个场景的价格生成NeRF数字孪生,而创建虚拟对象只需30分钟。这能够帮助各种用例的开发人员高质量的3D内容。
Luma AI表示,所述NeRF软件适用于电子商务库存预览和VFX内容制作等用例。
这个解决方案允许平台开发者将NeRF对象直接嵌入RT3D引擎,添加纹理对象,并导入360度场景捕捉。
NVIDIA NeRF和Unreal 5
利用Luma AI的体三维捕获API,开发者可以创建一个真实对象的数字孪生,然后通过安装新插件来将文件导入Unreal 5。然后,你可以简单地将他们的NeRF文件拖放到一个项目中,从而在VR体验中体验逼真的asset。
另外,Luma AI提供了四个Blueprint,以帮助Unreal用户将asset适当地导入反映其数字环境的虚拟世界。
- Baked Blueprint准确地模拟了捕获对象的真实照明条件。
- Dynamic Blueprint允许NeRF对象根据Unreal照明和阴影条件进行更改。
- Cropped Blueprint提供了NeRF对象的自动缩短版本(如果存在)。
- Environment Blueprin为每个NeRF捕获模拟一个合适的 sky-box。
Luma AI目前正在开发RT3D渲染解决方案以满足本地计算需求。例如,这家公司在2月份推出了允许开发者在网络浏览器预览RT3D内容的NeRF渲染工具,见下面的视频:
值得一提的是,Luma AI在今年3月的A轮融资中获得了大约2千万美元,投资者包括英伟达。
市场正在涌现一系列的NeRF解决方案
英伟达同样在开发NeRF服务。他们的Instant NeRF利用人工智能网络创建对象或环境的完整体三维捕获,并会充分考虑对象的照明、阴影和反射。所述服务包括将体三维内容导入Omniverse套件的工具,从而用于创建企业级沉浸式解决方案。
Epic Games则通过RealityScan提供体积捕获解决方案。RealityScan是Unreal 5的集成NeRF服务,支持用户通过手机摄像头创建高质量的数字孪生。Reality Scan智能手机服务同时采用AR可视化和反馈来减少输出错误。