Adobe专利为AR/VR设计创作提出响应式视频画布生成方法

小编刘卫华 | 分类：专利 | 发布日期 2023年9月7日

加入映维网会员

查看引用/信息源请点击：映维网Nweon

用响应式视频画布替换2D设计环境的画布

（映维网Nweon 2023年09月07日）AR和VR应用的一个重要方面包括预可视化阶段，而这可以涉及一系列的设计师、研究人员、客户和项目经理。然而，传统的3D UX工具是基于复杂的交互，并需要广泛的编程和3D建模技能。

尽管现有的2D用户体验工具容易学习并且用户友好，但它们仅限于2D输入，缺乏处理3D AR或VR交互的能力。

所以在名为“Responsive video canvas generation”的专利申请中，Adobe提出了一种响应式视频画布生成方法，用响应式视频画布替换2D设计环境的画布。

在一个实施例中，响应式视频画布可用于将基于底层场景几何的3D效果传递给一个或多个2D数字对象。响应式画布模块接收输入数据，包括数字视频和场景数据，例如由AR/VR设备捕获的数据。数字视频包括描绘环境的若干帧，而场景数据描述环境的3D表示。

考虑这样一个示例：数字视频和场景数据描绘了一个物理环境，例如包括墙壁、天花板和地板的房间。地板、天花板和墙壁由场景数据中包含的平面的3D表示来定义。画布生成模块可用于根据输入数据生成响应式视频画布，并替换2D设计环境的现有画布。

响应式视频画布的生成包括与3D表示的平面生成和关联各自的视觉变换。视觉转换可以令2D数字对象与响应式视频画布中描绘的底层几何图形进行交互。

在一个示例中，视觉转换的生成涉及到对场景数据中包含的矩阵应用额外的转换。响应式视频画布可以在显示设备的用户界面中显示，例如，通过缩放和转换输入数据以适应2D设计环境的屏幕空间，从而显示至少一帧数字视频。

可视转换模块接收相对于响应视频画布定位2D数字对象的编辑。例如，视觉变换模块计算2D数字对象与响应视频画布中特定平面的交点。继续上面的例子，数字视频和场景数据描绘了一个包含2D数字对象的房间，而它是一个“欢迎门垫”的图片。

用户可以通过与用户界面的交互将其添加到响应式视频画布中，而视觉变换模块可用于计算图像与特定平面的交点，例如定义地板的平面。

视觉变换模块将与特定平面相关联的视觉变换应用于数字对象，从而对齐数字对象。在本例中，可视变换模块将与地板相关联的可视变换应用于门地垫的图片，令门地垫的图片对齐。例如，通过将在2D局部坐标空间中定义的图片的顶点转换为与3D表示相关联的剪辑空间坐标。

通过这种方式，2D数字对象与底层场景几何进行交互。例如，门垫的图片会随着地板的深度和方向而变化。因此，门垫的视觉外观修改为看起来好像它铺设在地板之上。

图1是示例实施例中的数字媒体环境100的图示。内容处理系统104包含配置为生成响应式画布的响应式画布模块116。它可以自动替代2D设计环境中的画布无需用户干预。

在所示示例中，响应式画布模块116被配置为接收输入数据120，其中包括数字视频122和场景数据124。所述数字视频122包含描绘环境的多个帧126。

画布生成模块128可用于从输入数据120生成响应视频画布118。在本例中，画布生成模块128通过缩放和转换输入数据120来实现这一点，以便它能够适当地适应2D设计环境的屏幕空间，并提供视觉一致性和准确性。

另外，响应式视频画布118的生成包括与场景数据124生成视觉变换并将其关联。视觉变换的生成涉及将变换应用于场景数据124，以使2D数字对象106能够与底层场景几何结构交互。一旦生成，用户界面模块130呈现响应视频画布118以进行交互，例如通过显示设备112在用户界面110中进行交互。

视觉转换模块132可用于接收相对于响应式视频画布118定位数字对象106的编辑。在所示的示例中，数字对象106是表示室温的2D数字资产。视觉变换模块132计算数字对象106与响应视频画布118中包含的特定平面的交点。在本例中，室温资产与响应画布右侧描绘的与墙相关的平面相交，用虚线包围。

视觉变换模块132将与墙壁相关的视觉变换应用于室温资产。通过这种方式，资产配置为与场景数据124定义的底层场景几何图形交互，并令室温资产看起来好像是附着在墙壁之上。

因此，可以通过生成响应式视频画布118来将基于环境的底层几何形状的3D视觉效果应用于2D数字对象106，从而克服传统技术的局限性。

图2进一步描述了显示响应画布模块116操作的示例系统200。嵌入模块202可用于生成视觉变换并将其与场景数据124相关联。视觉变换的生成涉及将变换应用于场景数据124中包含的3D表示，以使2D数字对象106能够与底层场景几何进行交互。

例如，通过对场景数据124中包含的模型、视图和投影矩阵应用额外的转换。这样，可视变换可用于将定义在2D局部坐标空间中的数字对象106的顶点转换为与3D表示相关联的剪辑空间坐标。

渲染模块204用于缩放和转换输入数据120，使其适合于2D设计环境的屏幕空间。例如，将输入数据120从与3D表示相关的现实世界单位系统缩放到由2D设计环境定义的单位。随后将缩放后的输入数据120转换为符合2D设计环境的屏幕空间。

所述响应式视频画布118被呈现以供用户界面模块130进行交互，从而通过所述显示设备112在所述用户界面110中显示所述响应式视频画布118。

视觉变换模块132可用于接收相对于响应视频画布118(块706)定位数字对象106的编辑206。例如，用户接口模块130被配置为输出用户接口110，

交点模块208计算数字对象106相对于响应式视频画布118的交点。例如，作为与响应性视频画布118的多个平面中的特定平面的交集。

响应画布模块116包括更新的视图模块224，视图模块224用于随着所示框架的更新而更新所述响应画布中表示的数字对象106的视觉外观。例如，更新后的视图模块224可操作以选择数字视频122的第二帧，并基于与第二帧关联的场景数据124更新应用于2D数字对象106的视觉变换。

在一个实施例中，数字对象106锚定在适当的位置，使得当帧更新时，数字对象106似乎保持在由数字视频122所描绘的环境中的相同位置。

在另一实施例中，数字对象106配置为“跟随”数字视频122中包含的特征。考虑一个例子，数字视频122描绘一辆汽车在街上行驶。

使用上述技术，生成响应式视频画布118，并将数字对象106添加到场景中，在本例中，数字对象106是将应用于汽车侧面的图形。将与汽车相关联的视觉变换应用于图形，使图形与与汽车相关联的平面的深度和方向对齐。随着帧的更新，汽车在环境中的相对位置同样会发生变化，而应用于图形的视觉变换同样会更新。

因此，这产生一种数字对象106自动响应数字视频122中的特征的视觉效果。

所述数字对象106同时可以配置为与响应视频画布118中的一个或多个其他数字对象交互。在一个实施例中，响应画布模块116包括动态对象模块222，以基于与一个或多个其他数字对象相关联的属性改变响应视频画布118中表示的数字对象106的视觉外观。这可以包括基于与第二个数字对象相关联的属性改变应用于数字对象106的视觉转换。

这样，响应性视频画布118中包含的数字对象106的视觉外观基于环境的底层几何，以及基于属性和/或与响应性视频画布118中包含的第二数字对象的定义关系。因此，可以利用来自其他不兼容模式的功能，并通过利用2D设计环境来实现直观和快速的3D效果原型。