Movella: Xsens惯性动捕系统在虚拟主播、虚拟角色制作中的应用
2023-08-22 16:30:49
关典
Movella: Xsens惯性动捕系统在虚拟主播、虚拟角色制作中的应用
虚拟主播（vTuber）是一种在网络上爆红的新型主播，不同于真人主播的真人上镜，虚拟主播通常以数字人或卡通角色的形象出现在观众面前。这种新型的直播方式能够带来前所未有的互动体验。在虚拟直播中，观众不仅能够与主播进行留言互动，甚至还能够将自己的留言展示到虚拟主播的虚拟形象身上或衣服上。这种突破次元的体验是真实主播不能比拟的。
近期在网络上我们能看到很多爆红的虚拟主播如CodeMiko、Cory Strassburger等等。他们大多都在使用惯性动捕技术将自己的动作复制到虚拟形象上以实现更加逼真的互动表现。
新生代vTuber CodeMiko
CodeMiko是一位韩裔美国女孩，她本人最初是一名使用虚幻引擎进行动画制作的技术人员，在工作室中的动画开发和研究部门工作，但后来由于其本人对于动画制作技术的精通，她决定跳出制作组将自己所学知识转移到在Twitch创建内容上，最终她成为了Twitch上极其火爆的一名vTuber。
CodeMiko的形象其实是她本人的一个虚拟化身，Miko的模型是用Maya、Unreal、Skeleton和Xsens MVN惯性动捕系统设计的。
CodeMiko在Twitch上流式播放，并能够与其他Twitch用户实时聊天。在与观众互动的过程中Miko时不时会做出一些令人出乎意料的举动。如将观众的留言展示到虚拟形象的T恤上，将虚拟形象用观众赠送的火箭发射升空...或在虚拟教室场景中掏出一把粉红的加特林对观众进行扫射...各种离奇的行为和火爆的性格让CodeMiko在twitch上爆火，其本人的数字人模型制作能力也让她成为虚拟主播中超越其他人的存在。
为了实现这些逼真的动作与表情CodeMiko使用了Xsens的惯性动作捕捉技术与iPhone的TrueDepth camera，Xsens惯性动捕套装让她能够实时将自己的身体动作数据传输到由虚幻引擎制作的虚拟角色身上，这一过程几乎没有任何延迟所以观众们看到的画面也都是由CodeMiko本人进行实时捕捉生成的。
Miko的脸部表情由iPhone的TrueDepth camera捕捉，该系统同时也支持实时流传输到虚幻引擎中。
Cory Strassburger使用惯性动捕创建虚拟角色
Kite&Lightning工作室是一家总部位于洛杉矶，专注于制作互动视频与交互式游戏内容的游戏工作室。工作室创始人Cory Strassburger拥有丰富的虚拟角色制作经验，通过使用惯性动作捕捉技术，Cory Strassburger成功创建了具有其工作室标志性游戏《宝贝大逃杀：绅士游戏》的虚拟化身“Beby”。
Cory Strassburger的虚拟化身是一个宝宝形态的虚拟数字人，该角色能够完美呈现Cory Strassburger本人的各种实时动作，这非常像上文中我们所介绍的CodeMiko，同样该角色也是使用虚幻引擎制作的。但他们之间的不同之处在于虚拟角色“Beby”与真人的比例完全不同。与CodeMiko相比Cory Strassburger的虚拟化身更加不符合现实中自己的身材比例，因此在制作该角色时他调整了虚幻引擎骨骼绑定中关于自己身体的各项数据如肩宽、臂长、腿长、手脚尺寸等相关参数，以便将自身的动作完美绑定到具有婴儿身材比例的虚拟角色“Beby”身上。
AI生成与惯性动捕
Corridor Digital是一家美国的动画制作工作室，你可能没有听过这家工作室，但如果你关注过Bilibili的话你一定听说过一部叫做《剪刀、石头、布！》的动画，该动画就是由Corridor Digital的动画制作团队使用最新的AI生成技术制作出来的。
《剪刀、石头、布！》是一部由真人拍摄并由AI进行风格化生成的动画，以非常搞笑的剧情吸引了大量的观众。目前该动画已经在Bilibili上突破200万播放。
但我们今天先不说这部动画，我们要提到的是该团队在更早之前发布的一部特效视频《波士顿动力机器人》。
《波士顿动力机器人》是一部非常真实的特效视频。我们在视频中看到的机器人角色和动作都非常逼真，甚至与真实的机器人难分真假，但实际上视频中的机器人却是由真人穿戴惯性动作捕捉套装表演出来的！通过后期特效进行模型合成最终让该视频在网上掀起了非常大的反响！
Corridor Digital以其强大的后期技术制作出各种以假乱真的特效视频，随着AI生成技术的快速发展，相信Corridor Digital可能会在不久的将来为我们带来更多将惯性动捕技术与AI生成技术相结合的特效视频。
总结
惯性动作捕捉技术是一项非常适合应用于动画制作的技术，Xsens的惯性动捕技术支持将采集到的动作数据实时同步到动画制作引擎（如虚幻引擎、Unity等）之中，同时其还支持将动捕演员在表演中的动作录制并存储下来以便制作团队在后期制作与特效合成中使用。实时流式传输与无线录制的强大组合使Xsens惯性动捕技术在动画制作领域一直处于领先地位。
关于爱迪斯通
爱迪斯通（北京）科技有限公司专注于提供专业有效的3D/VR虚拟现实解决方案。为国内多家企业多所高校、研究机构提供服务。作为Movella Xsens的中国大陆地区代理商，爱迪斯通很高兴为您提供产品咨询、购买等相关服务，详情欢迎致电咨询。