生成逼真交互,英伟达发布AI化身Omniverse Avatars平台

查看引用/信息源请点击:映维网

生成逼真交互式AI数字化身

映维网 2021年11月10日)在昨晚的GTC大会中,英伟达创始人兼CEO黄仁勋介绍了Omniverse(全宇宙)战略的最新进展,并发布了旨在生成逼真交互式AI数字化身的Omniverse Avatars平台。

英伟达在2020年10月开始测试面向企业的实时仿真模拟和协作平台Omniverse,并在今年4月的GTC春季大会推出正式版本。在当时,媒体已经纷纷将这个虚拟工作平台称为“工程师的元宇宙”,包括宝马、爱立信、沃尔沃和Adobe等众多公司都有采用Omniverse。

黄仁勋曾将Omniverse描述成 “一款将3D世界连接至共享虚拟世界的平台”,并宣称它是未来数字孪生技术的基础。

在昨晚的GTC秋季大会,黄仁勋进一步扩展了Omniverse概念,并正式推出Omniverse Avatar和Ominiverse Replicator。前者旨在帮助开发者通过英伟达的Omniverse平台创建可以理解真人自然说话意图的交互式虚拟角色,而后者则是一种用于训练深度神经网络的合成数据生成引擎,从而提供创建训练AI所需的大量数据。Ominiverse Replicator主要面向通用机器人和自动驾驶汽车。

值得一提的是,Omniverse同时新增了英伟达早前发布的一系列AR/VR功能。

1. Omniverse Avatar

Omniverse Avatar整合了英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。利用所述平台创建的虚拟形象是具有光线追踪3D图像效果的交互式角色,并能够看见、说话、谈论各种主题,以及合理地理解表达意图。

Omniverse Avatar的主要组成:

Omniverse Avatar所使用的语音AI、计算机视觉、自然语言理解、推荐引擎、面部动画和图像元素是通过以下技术实现:

  • 其语音识别基于NVIDIA Riva。这个软件开发工具包可以识别多种语言的语音。Riva还可通过文本语音转换功能生成接近真人的语音反馈。
  • 其自然语言理解基于Megatron 530B大型语言模型。该模型可以识别、理解和生成人类语言。Megatron 530B是一个预训练模型,它可以在很少或没有训练的情况下完成句子、回答主题广泛的问题、总结长而复杂的故事、翻译成其他语言,并应对许多它未接受过专门训练的情景。
    其推荐引擎由NVIDIA Merlin提供。该框架使企业可以建立能够处理大量数据的深度学习推荐系统,以提出更明智的建议。
  • 其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis。
  • 其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face驱动。

所述技术都集成在一个应用,并使用英伟达统一计算框架进行实时处理。在打包成可扩展、自定义微服务后,它们将能够通过NVIDIA Fleet Command在多个地点安全地部署、管理和协调。

英伟达指出,Omniverse Avatar为AI助手的创建开辟了道路,而且可以根据各个行业的需求轻松定制。例如,AI助手可以帮助处理数十亿次日常客户服务互动,比如餐厅订单,银行交易,个人预约和预订等,带来更多商机并提升客户满意度。

黄仁勋表示:“智能虚拟助手的前景一片光明。Omniverse Avatar将我们的基础图像、模拟和AI技术结合在一起,打造出一些有史以来最复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信,影响深远。”

2. 通往虚拟世界的新门户

英伟达指出,Omniverse平台将充当物理级准确的3D虚拟世界的结缔组织,并将获得AR、VR和多 GPU渲染等新功能。

当然,Omniverse主要是新增英伟达早前发布过的一系列AR/VR功能,包括:

  • NVIDIA CloudXR:这个企业级沉浸式串流框架已经集成到 Omniverse Kit(用于构建原生 Omniverse应用和微服务的工具包),允许用户以交互方式将Omniverse体验串流至他们的移动AR和VR设备。
  • Omniverse VR:领先的完全图像、实时光线追踪VR,可支持开发者在平台上构建自己的VR工具,而最终用户可以直接享受VR功能。
  • Omniverse Remote:提供AR功能和虚拟摄像头,支持设计师查看通过iOS和Android设备全光线追踪的asset。

团队评论道:“随着Omniverse生态系统和功能的扩展,英伟达打开了通往虚拟世界的新门户。”

本文链接https://news.nweon.com/91420
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯