苹果专利：用LiDAR 3D扫描生成更准确精细的楼层平面图和测量值
查看引用/信息源请点击：patentlyapple
根据扫描生成楼层平面图
（映维网 2021年07月23日）美国专利商标局日前公布了苹果用于生成物理环境2D和3D几何表示的一系列专利申请。所述技术与苹果的ARKit有关。在早前WWDC中的“场景几何”主题中，苹果曾介绍过使用iPad Pro进行激光雷达扫描，而所述技术与了日前公布的数份专利申请息息相关。
苹果指出，平面图在设计、理解和重塑室内空间方面发挥着重要作用。平面布置图通常能有效地传达物理环境的几何和语义信息。例如，用户可以查看楼层平面图以快速识别房间范围、墙结构和转角、门和窗的位置以及对象排列。
提供基于计算机的系统来自动生成基于传感器数据的楼层平面图、房间测量或对象测量存在众多障碍。关于物理环境获得的传感器数据可能不完整或不足以提供准确的平面图和测量。例如，室内环境通常包含各种各样的对象，如灯、桌子、椅子等。所述对象可能会遮盖房间的建筑线条，妨碍设备检测房间的边缘并构建准确的楼层平面图。作为另一个例子，图像和深度数据通常缺乏语义信息和平面图，而没有所述数据，生成的测量可能缺乏准确性。
现有技术不允许根据用户在房间中走动时捕获照片或视频或其他传感器数据来自动、准确和有效地生成楼层平面图和测量值。另外，现有技术可能无法在实时环境中提供足够准确和有效的平面图和测量。
可以基于诸如图像和深度传感器数据的传感器数据来生成物理环境的3D表示。在使用物理环境的语义标记3D表示的实现中，这有助于生成平面图和测量。
在一个实现中，对物理环境的三维点云执行语义分割和标记。专利描述的技术可以通过使用编码到二维横向域的语义3D表示来实现各种优点。在二维横向域中使用语义三维表示可能有助于有效识别用于生成平面图或测量的结构。
可提供各种格式的平面布置图。在一个实现中，楼层平面图包括房间的2D自顶向下视图。楼层平面图可以图形化地描绘房间的边界.例如，通过使用线条或其他图形特征，图形化地描绘墙壁、屏障或房间范围的其他限制。楼层平面图可以图形化地描述墙特征的位置和几何图形。楼层平面图可以图形化地描绘房间内的对象，例如沙发、桌子、椅子、电器等。楼层平面图可以包括标识房间边界、墙壁、门、窗和物品的标识符。例如，包括标识所述元素的文本标签或参考号。楼层平面图可以包括房间边界、墙边缘、门、窗和物体的测量指示，例如，包括表示墙的长度、桌子的直径、窗的宽度等的数字。
根据一个实现，基于用户执行房间扫描来创建楼层平面。在一个实现中，在房间扫描期间提供初步二维平面布置图的预览。例如，当用户在捕获传感器数据的房间周围走动时，用户的设备可以显示正在生成的初步2D平面图的预览。
预览可以是“实时的”，因为它是在持续捕获用于生成初步2D平面图的传感器数据集的流式过程中提供。为了实现初步2D平面布置图的实时预览，预览的生成可以不同于最终扫描后平面布置图。
在一个示例中，生成预览时没有使用特定的后处理技术（如微调、角点校正等）来生成最终的后扫描平面图。在其他示例中，实时预览可能使用计算密集度较低的神经网络。2D语义数据的使用（例如，对于房间的不同层）同时可有助于确保预览对于实时显示而言足够有效。
上面的苹果专利图1是一个示例操作环境的框图。在所述示例中，操作环境提供了墙（130、132、134）、椅子（140）、桌子（142）、门（150）和窗（152）的示例物理环境（105）。服务器配置为管理和协调用户的体验。
上面的专利图4描述了使用3D数据和基于深度和光强度图像信息的语义分割生成语义三维表示。
下面的专利图5是示例性方法的流程图表示，所述示例性方法基于物理环境的3D表示生成，并显示物理环境的初步2D平面布置图的实时预览。
下面的苹果专利图10是示例环境的系统流程图，其中系统可以基于物理环境的3D表示（例如，3D点云、3D网格重建、语义3D点云等）生成并提供物理环境的2D平面布置图。
示例环境的系统流获取物理环境的图像数据、来自语义3D单元的语义3D表示和物理环境信息的其他源。
下面的苹果专利图12B是示例环境的系统流程图，其中对象检测单元可以基于物理环境的3D表示为相关联的识别对象生成细化的边界框，并且楼层平面测量单元可以提供所述边界框的测量。
3D数据、光照强度图像数据、建议的边界框、以及第一阶段输出由微调第二阶段神经网络获得，所述微调第二阶段神经网络使用高精度/低召回神经网络生成细化的边界框以细化生成的特征的精度，并输出细化的边界框。如图12B所示，细化的边界框分别比边界框更精确。
相关专利：Apple Patent | Floorplan generation based on room scanning
相关专利：Apple Patent | Floorplan generation based on room scanning
相关专利：Apple Patent | Floorplan generation based on room scanning
相关专利：Apple Patent | Multi-resolution voxel meshing
本文涉及的四项专利申请都是在2021年1月提交，并且描述了同一技术的不同方面。
