Khronos Group：为什么LiDAR普及有望打破3D素材创作的瓶颈
LiDAR能够打破3D asset创建的瓶颈吗？
（映维网 2021年09月21日）通过电影和游戏等用例，3D计算机图形学已经从20世纪70年代中期的利基爱好发展成今天的普及技术。从飞行徽标，到游戏中的实时渲染，再到电影中的合成人类，我们正见证着行业朝着几乎无法与现实区分开来的领域迈进。然而，创建3D asset（计算机图形对象及其所在的世界）依然需要高技能的技术和美术。这给更广泛的应用带来了障碍，比方说为网站和电子商务创建3D图形。
随着LiDAR激光雷达在大众市场的兴起，所述瓶颈可能即将打破。新款智能手机现在已经纳入激光雷达，并开始受到普通用户的认可。尽管消费类设备中的激光雷达功能现在似乎无法支持专业应用，但请耐心，就如同第一代手机摄像头远无法媲美当时的高质量数码相机，现在普通人已经难以区分两者拍摄的照片。所以，我们可以对消费类设备的LiDAR抱以希望。一度曾经价值75000美元的技术即将向大众普及。
日前，专注于开放标准的应用程序接口API的Khronos Group撰文介绍了LiDAR，并表示LiDAR有望打破3D asset创建的瓶颈。下面是映维网的具体整理：
1. 捕获
激光雷达在过去曾主要用于法医和高度专业化的工业应用。激光雷达设备可以测量设备与前方对象之间的精确距离。进行几百万次或数十亿次测量会产生一个“点云”测量：众多单独的测量能够共同指定一个对象或房间表面的确切位置。点云可以处理成一个连贯的三角形网格，并覆盖颜色和纹理信息，从而生成真实有用的对象或环境三维计算机图形模型。
1.1 激光雷达，Meshing网格划分，以及纹理
从表面上看，激光雷达听起来与摄影测量非常相似。摄影测量是从所有可能的角度拍摄数百张对象或环境的照片，然后摄影测量软件输入所述图像，计算camera位置，然后重建对象的网格。结果可以是非常高的质量。缺点是摄影测量需要繁杂的摄影。另外，诸如玻璃或金属表面等具有高光泽的对象很难重建，并应该通过偏光滤光片或使用其他技术拍照。同时，诸如RealityCapture或Metashape等相关软件非常复杂，并可能会令外行人望而生畏。
下面这个烤鸡模型是通过摄影测量创建的3D对象示例。创作者从不同角度拍摄了数千次的图片，这不仅是为了捕获简单的形状，同时是为了捕获次表面结构和照明。这个惊人示例背后的过程强调了为实现高质量效果而需要的巨大技能。
所述模型托管在Sketchfab。值得一提的是，浏览这个平台的内容十分值得，尤其是你可以欣赏超过10万个文化遗产收藏。Sketchfab的首席执行官阿尔班·德诺耶尔（Alban Denoyel）提供了通过激光雷达捕获的优秀示例，例如他儿子的生日派对和一个滑板运动员的3D视频。是的，一组3D捕获可以作为视频排序。所述例子表明，激光雷达有可能突破摄影测量的棘手问题，并实现简化asset创建流程的关键一步。结合用于渲染、查看和导出的开放标准，3D asset的创建能力可以很快普及开来。
Sketchfab及其托管内容的实用性基于互操作性标准，支持通过Web查看和操作3D模型，并且任何人都可以通过Web浏览器访问。特别是，Khronos Group的WebGL API标准已经非常普及，允许用户在不安装任何浏览器插件直接查看、操作和修改3D对象。WebXR现在在浏览器中支持VR和AR视图，而Khronos用于高效下载和渲染的glTF 3D文件格式（通常称为“3D的jpeg”）简化了3D模型的创建和交换。
1.2 显示和交互的开放标准
为什么简化3D asset创建会这样重要？最明显的答案是电子商务。宜家、亚马逊、Wayfair和其他大型电子商务网站正在努力帮助消费者直接在家中可视化商品。通过AR将3D模型叠加在家中，消费者可以判断评估具体的效果。
Khronos 3D Commerce工作组制定了用于帮助美术优化电子商务实时asset的指南，提供了一个帮助跨平台标准化asset性能的认证计划；一个支持asset管理和共享的临时元数据扩展。另外，Khronos通过开发基物渲染（Physically Based Rendering；PBR）材质和Material Variant扩展来进一步支持电子商务。这允许供应商为产品创建更多照片级真实感的表示，并将多个材质或颜色选项嵌入到单个asset之中。最终，这一标准化开发工作将能帮助内容制作者访问更广泛的技术集合，并避免锁定在单个供应商或平台之中。
除了3D商务工作，Khronos Group同时开发了广泛的3D图形和XR相关标准。在新一代Vulkan 3D API之外，OpenXR标准这个免版税的开放标准提供了对增强现实和虚拟现实的高性能访问。所述领域的其他主要标准工作正通过Immersive Web Working Group for WebXR小组执行。根据组织的章程，团队的任务是通过API将高性能虚拟现实和增强现实引入开放式网络，以支持通过浏览器来与XR设备和传感器进行交互。OpenXR旨在赋能包括WebXR的一系列应用和引擎，帮助它们在支持OpenXR API的任何系统运行。
大多数WebXR框架都支持AR，苹果（ARKit）、谷歌（ARCore）和Facebook（AR Studio）正在开发的主要平台都支持AR。另外，亚马逊同样在积极探索AR，以便你可以在家中可视化各种家具装饰。Khronos 3D Commerce工作组正在努力支持并鼓励所述技术在电子商务领域使用。
简言之，3D模型的使用正在迅速增加，而用于实现3D和XR应用跨平台和设备的内容可移植性的开放标准基础架构已经出现。现在，激光雷达正准备打开3D内容创建的闸门。
2. 压缩
对于使用激光雷达或摄影测量创建asset，一个非常麻烦的问题是它们在转换为网格时非常大，需要大量计算资源来存储、传输、处理和显示。幸运的是，有一个解决方案可以实现几何体网格压缩。理解几何网格语义的压缩可以在保持视觉逼真度的同时大大减小文件大小。关于如何将压缩与工作流程集成的一个最佳示例是DGG（Darmstadt Graphics Group）的产品“Rapid Compact”。
RapidCompact提供了一个利用其压缩技术来与三维模型创建软件集成的API，如Blender和Solidworks。这家公司实际上与德国弗劳恩霍夫息息相关。多年来，这家研究机构以对象捕获专业知识和全面的高质量计算机图形而闻名。
有趣的是，RapidCompact支持Draco网格压缩。Draco网格压缩是基于谷歌开发的技术，这个glTF压缩扩展为用户提供了一个免版税的开放标准，并可以大大缩小型asset规模，并使用开源工具生成高质量的网格（通常具有十倍的压缩率）。例如，它能够将曾经热门的飞行头盔样品模型从46.1MB变为4.41MB。Draco与PBR和Material Variant支持一样，是glTF扩展性的一个例子，同时是asset格式的关键优势之一。工作组成员一直在研究新的扩展，以确保glTF始终领先于行业不断变化的需求。
3. 文件格式创建
最后一块拼图是广泛传播3D模型的能力。在选择最终文件格式时，有众多需要考虑的因素。数据的预期用途是什么？这是科学家进行实验的无价之宝吗？asset是否会动画化？3D打印吗？它将以非常高的质量显示，还是仅仅以缩略图的形式出现在网站？它会成为AR系统的一环并融入现实世界吗？
没有一种文件格式适合每个用例，但内容创建者应该遵守一定的准则。广泛使用的标准始终是一个不错的选择。对于Web查看，文件格式方面的领先者是上述由Khronos Group开发和维护的glTF。尽管相对较新，但glTF是一个优秀的选择，因为它受到Web浏览器开发者的广泛支持。当然，并非所有3D对象都需要显示在网页，但只需一种或少量3D文件格式将能大大简化3D对象的使用。本地应用与glTF配合得很好，并且可以利用由此产生的运行时改进。
但根据应用程序，你可以考虑其他有用的文件格式。像.obj这样的格式已经存在了足够长的时间，并获得了非常广泛的支持。但是，它缺少一定的精细渲染控件，如PBR、动画或压缩，后者需要以更现代的格式提供。尽管VRML在现代系统中已不再使用，但众多系统依然支持VRML作为交换格式。它的继任者X3D作为ISO标准则在存档方面非常重要。例如，X3D是NIST的Digital Library of Mathematical Functions （DLMF）的文件格式，并为科学界提供了大量数学函数的交互式图形表面。但是，所述函数是合成表面，而不是来自真实世界的对象。为了创建嵌入到网页或本地应用中的照片级真实感对象，我会选择glTF。
4. 对激光雷达生成asset的展望
总之，现在我们的口袋里已经有了激光雷达技术，所以我们可以快速扫描房间或对象，将生成的文件发布到对象存储库中，并保存下来供后代使用，或用于任何数量的应用程序之中。
对于当今的3D内容开发者而言，电子商务是一个引人注目的用例。随着工具的成熟和易用性提升，以及文件格式、压缩和显示标准实现行业一致性，3D asset的用例将能不断扩展并变得更加个人化。我们完全期待着这么一天的到来：捕获3D对象来增强我们的记忆会变得司空见惯。这将是补充我们现有内存记录器工具箱的另一种技术。3D扫描将能补充照片、视频和录音，并作为帮助我们珍藏生活中的人和事的一种手段。
