不完美但极具前景，MindMaze面部追踪技术体验手记
未授权禁止转载本文到微信公众号，文章相关引用及参考：roadtovr
MindMaze表示MASK兼容所有的VR头显，可以为你的虚拟化身带来更加逼真的表情。
（映维网 2017年6月3日）神经技术初创公司MindMaze正在研发一种简单，低成本的面部追踪技术MASK。MindMaze表示MASK兼容所有的VR头显，可以为你的虚拟化身带来更加逼真的表情。
我日前拜访了MindMaze位于旧金山的办公室，并亲身尝试了他们的MASK技术。
由于头显阻挡了大部分脸部，基于计算机视觉的面部追踪对VR更具挑战性，所以MASK在头显泡沫填充物的外围集成了低成本电极，并通过这种元件来感测面部肌肉运动时的电气信号。
MindMaze执行总监泰杰·塔迪（Tej Tadi）表示，嵌入式传感硬件的成本非常低，对头显整体制造成本的影响非常小。挑战不在于硬件，而是负责解读输入的软件。
透过头显泡沫直接与脸部接触的电极只能测量电气振幅。我尝试的MASK的原型嵌入了八个电极，计算机唯一“看到”的是八个输入数据流在数据图上下移动。塔迪指出，MindMaze通过他们的神经技术知识创建出一个可以读取数据的算法，并从中提取出一套面部表情。
神经忽悠 vs 货真价实
我需要首先声明，我对神经这一前缀忽悠相当怀疑：企业通常使用“神经科学”、“神经技术”和其他相关流行语来让我们以为他们正在做的事情似乎很重要。一个常见的例子是“你可以通过大脑控制无人机！”，但99％的情况是他们只是把部分电极贴在你的头上，然后告诉你说“集中精神”就能让无人机上升，而“放松”则会让无人机下降。这是高级二进制，但最终的用处不大。
但至少对MASK来说，它们绝对是货真价实。当我戴上MASK的时候，即便没有任何校准，系统仍能映射出我的表情。比如当我笑的时候，虚拟化身会跟着我笑；在我皱眉时，虚拟化身也会跟着皱眉；我眨眼，它也会眨眼。可以说，这是我看到过的最好的免校准技术。
MindMaze表示MASK原型目前支持10中不同的面部表情。因为它们是预先录制的姿势，这意味着MASK只能提供用户表情的近似值：系统不能捕捉让你之所以是你的独特面部运动，但可以涵盖最基本的事情。
除了当前的10个表情外，MindMaze说道他们正在努力从数据中抽出更多的表情，包括尝试基本的眼动追踪。这对注视点渲染等功能而言不够精准，但足够用于表情映射。
不完美，但极具前景
MASK并不完美。系统偶尔会出现错误的解读，造成虚拟化身出现跟我不一样的面部表情。至于普通的眨眼（不是使眼色），MindMaze的原型似乎不能准确地表达出我的眨眼。然而，塔迪声称算法可以随着时间的推移而变得更智能和更强大。
但到底能变得多强大是一个大问题。如果要让用户相信系统能够精准地映射出他们的表情，MASK需要达到接近100%的精度。面部表情对非语言沟通极其重要。如果你正在与重要的客户进行虚拟会面，你绝对不想他们认为你正在嘲笑他们（由于系统错误地解读你的微笑示好）。即便不是重要的商业会谈场景，VR中的面部追踪仍然需要相当高的精度，从而不会出现尴尬的面部运动，并导致虚拟化身陷入恐怖谷理论。
将MASK的精度从90％提高到99％将会给这项技术的适用性带来质的改变。
优势
即便头显没有构成重大挑战，基于计算机视觉的面部追踪可以变得更精确（捕捉面部运动更加微妙的变化）。但是，这种基于电极的方法具备基于计算机视觉的面部追踪所没有的优势：预测。
塔迪声称，通过从脸部读取的电子信号，MASK算法可以在“20到30毫秒”之前预测到你的表情。如果属实，这项技术将具备十分大的优势，让虚拟化身表情同步成为可能。
除了对接面部的电极，MASK原型另外需要电极连接到耳垂，但开发者表示这可以集成至头显耳机。
电极/算法的面部追踪方法的另一个优势是它不需要太多的处理能力。塔迪表示由智能手机驱动的VR头显也能轻松应对这种任务。这与基于计算机视觉的追踪方法相反，后者需要从每帧中导出你的面部表情，从而需要更多的处理能力。
写在最后
所以，MASK似乎很有前景。但下一步是什么呢？ 塔迪表示，底层技术兼容所有头显，而且该公司正在与市场上的主要厂商进行谈判。最终，他们将不会寻求把硬件作为附加件出售，但为技术的直接集成提供一个简单的蓝图，然后授权相关算法。我们最早或许可以在2017年美国假日季期间看到集成这项技术的头显。
虽然我认为面部追踪最终将集成至VR头显中，但我不清楚这项技术在精度上需要达到什么程度才能成为一项必须具备的功能。考虑到当前行业的发展状况，降低头显成本是更大的优先选项，而不是增加更多的功能，所以现在对MASK而言或许不是一个最佳的时机。
