微软最新AR专利分享介绍了『全息图像分割』技术
能够将稳定地和精确地将图像分割为前景和背景将十分有用和有益。
（映维网 2020年12月02日）对图像像素进行分类的能力是图像处理的一个重要方面。图像分割是指将图像的每个组成像素映射到一个类别，例如“人”、“结构”、“目标图像”、“背景”或“前景”等等。
全息图重建管道一般是通过组成2D分割以生成描述或表示目标3D对象的3D网格图像。所以，图像分割是全息图重建管道的一个关键输入。
日前美国专利商标局公布了一份名为“Segmentation For Holographic Images（全息图像分割）”的微软专利申请。所述文件主要介绍了用于全息图重建的图像分割技术。更具体地，这家公司描述了分割图像前景和后景的技术。
微软指出，从数字图像中提取对象或人可能十分有用。这包括站在背景视图前的对象或人。这种将图像分割为前景和背景的过程称为图像分割。图像分割包括将图像元素标记为前景或背景图像元素。这在数字摄影、医学图像分析、全息图构造、虚拟现实应用、以及其他应用领域都十分有用，因为它有助于在图像中确定目标对象与图像背景之间的边界。然后，提取的对象和背景可以分开并进行不同的处理。
但这家公司指出，现有的计算机实现难以产生完全准确的结果，所以对图像分割精度或速度/效率的任何改进都是有用的和可取的。
名为“Segmentation For Holographic Images（全息图像分割）”的专利申请主要描述了用于图像分割的方法和系统。其中，图像分割可以识别图像的前景部分和图像的背景部分。分割可以通过优化图像的两个先前分割的组合来进行确定。第一个分割可以通过从图像中减去背景图像的减法分割产生，第二个分割可以通过对图像应用神经网络来产生。
在一个实施例中，通过访问包含前景图像和背景信息的图像来创建图像的精细分割；通过应用图像减法算法来创建图像的第一分割；通过应用语义分割算法来创建图像的第二分割；通过组合第一分割和第二分割来创建初始化分割；以及通过使用至少一种统计分析或图形方法细化初始化分割来创建最终的细化分割。统计分析包括应用高斯混合模型。
一般来说，与图像的第一次分割和第二次分割相比，得到的分割可以更精确地将图像分割成前景和背景部分。
得到的分割可用于从包含前景图像和背景信息的图像中分离和/或提取前景图像。在一个实施例中，分离的前景图像随后可以与多个其他分离的前景图像一起使用，以创建由多个图像捕获的场景3D网格表示。
为了创建3D体积的全息图像，可以将多个2D图像组合成网格以创建3D体三维的幻觉。如图1所示，2D图像中的每一个都是来自不同视角的3D体三维视图。
通过从原始图像的背景信息中分离出前景图像，可以创建2D图像。全息图可以由每秒30个三维体三维组成。每个体三维可以由多个2D图像组成，每个2D图像都是从不同角度查看3D体三维的视图。每个3D体三维来自不同的视角、视角或视点。在虚拟现实环境中使用的全息图由非常大量的2D图像组成。每一个2D图像通常是通过将初始图像分割成前景和背景部分，然后从初始图像中提取前景图像来创建。
所以，在创建全息图像和全息视频时，能够将稳定地和精确地将图像分割为前景和背景将十分有用和有益。
名为“Segmentation For Holographic Images（全息图像分割）”的专利申请最初在2019年5月提交，并在日前由美国专利商标局公布。
