Faceware:面部动作捕捉,最佳实践——校准篇

2023-05-18 16:53:05 关典

Faceware:面部动作捕捉,优秀实践——校准篇

在上一篇文章中,我们与大家讨论了准备面部动作捕捉的关键第一步:表演者准备事项。在本篇文章中我们将进入下一步,指导您设置校准画面,并探索如何克服一些校准中常见的挑战,如遮挡和照明等,以帮助您实现优秀的面部动作捕捉结果。

校准:实现精确跟踪的基础

校准是获得精确跟踪结果的最重要因素。中性表情画面在校准过程中非常重要,尤其是在跟踪阶段。为每个演员捕获的中性表情画面的质量将直接影响跟踪和动画数据。校准时,表演者必须面对相机或跟踪设备,将面部放置于相机的中间位置,并使视线平行于相机或略低于相机。糟糕的校准效果会立即显示出来,因为面部动画将变得非常不准确或者看起来非常假。如果出现了这种情况,我们建议您进行重新校准。以下是在校准过程中需要注意的事项。

1、良好的中性表情:面部肌肉放松,嘴巴闭合

对于每一次捕捉过程,以及表演者每次重新戴上头戴式摄像机时,都必须使用一个中性表情对设备进行校准。为了捕捉一个良好的中性表情,表演者需要面向前方,面部肌肉放松,并保持嘴巴紧闭。这种表情至少需要保持3秒钟,并确保在此期间不要张开嘴或触摸自己的脸。

适当的调整校准表情可以有效帮助您调整轻微不正确的动画结果。例如,如果您的眼睑天生比平均水平更厚,您可能需要在校准过程中稍微斜视一下。这种调整会帮助您将眨眼动作与动画同步,且生成眼睛完全睁开的动画。

Calibration_images_2.png

2、注意一些遮挡面部特征的物体:暴露出完整面部

对于面部跟踪这种依靠摄像机进行动作捕捉的解决方案而言,当表演者的面部被某些物体遮挡时,则意味着捕捉摄像头将无法拍摄到表演者面部的某个部分,从而导致校准失败。为了达到优秀效果,表演者的眼睛、鼻子、嘴巴和下巴必须清晰可见。虽然Faceware的跟踪技术可以处理一些遮挡,但一张没有胡须、眼镜或长发遮挡的脸将会带来更好的面部动作捕捉效果。关于需要避免哪些面部遮挡可以参考我们的上一篇文章,以确保表演者为校准做好充分准备。

1606469469137038.png

3、确保光线照明充足:实现完美面部跟踪的方法

在使用Faceware的跟踪技术时,适当的照明至关重要。理想情况下,表演者的面部应该被自然光或日光照亮。然而在实际情况中这并不总是容易实现的,因此遵循优秀照明方法至关重要:

需注意事项:

自动曝光:如果自动曝光太敏感,会导致抖动或偏移,请禁用自动曝光。

在黑暗环境中跟踪:面部跟踪应尽量避免处于漆黑的房间之中,因为跟踪结果可能会很差。最低亮度的光照可能会使系统继续工作,但我们仍建议如果在漆黑的环境中进行跟踪应配合额外的照明。

显示器灯光:显示器发出的光线一般不适合进行跟踪。额外的照明将会改善跟踪效果。

半阴影和定向照明:请避免强光聚焦在面部的一侧或直接自上而下的照明,因为这可能会导致跟踪系统无法正确识别脸部特征。

背光:在跟踪过程中应将照明设备置于表演者前方,避免使用强光照射表演者的后方。

明亮的窗户和灯光:调暗或改变强光的方向可以避免过度曝光,以提高跟踪质量。

4、静态相机镜头取景

本节仅适用于使用静态摄像机的用户。

使用静态相机进行面部捕捉对于实现平滑、精确的面部跟踪动画是必不可少的。如果您的面部离相机或跟踪设备太远,动画可能会缩小或不准确。理想情况下,表演者的脸部应该从上到下充满整个画面,有足够的空间完全张开嘴巴,并且在画面中仍然能够看到额头和下巴。

1271524_15074467957mqV.gif

图像的紧密取景捕捉能够带来更详细的面部运动和更大的动作幅度,从而生成更自然的角色动画。然而,将头向左或向右转动大于30度则可能会导致失去跟踪。您的大部分面部特征必须在摄像机边框内,并且没有被遮挡,这样跟踪才能成功,动画才能准确、自然。

结论

通过理解和解决校准、遮挡和光照等方面的挑战,您将会得到更好的面部动作捕捉效果。遵循这些指导方针,很快就能让您的角色拥有自然、准确的面部表情。本系列的最后一篇文章《面部动作捕捉,优秀实践——设备设置篇》即将发布请继续关注我们。

关于爱迪斯通

爱迪斯通(北京)科技有限公司专注于提供专业有效的3D/VR虚拟现实解决方案。为国内多家企业多所高校、研究机构提供服务。作为Faceware中国大陆代理商,爱迪斯通很高兴为您提供产品咨询、购买等相关服务,详情欢迎致电咨询。

电话
产品
方案
案例