技术|人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选检测|Mesh|人人|燃烧|动作|人体

机器之心原创
作者：蛋酱

那些年关于变身圣斗士的梦想，如今能在腾讯微视 App 就能实现。

「年轻的青铜圣斗士少年们啊，为了大地上的爱与和平，我们将逝去，献上全部的生命和灵魂，融为一体。就在此刻，燃烧吧，黄金的小宇宙！雅典娜啊，请赐予这黑暗的世界一线光明！」

文章图片

就是这段话，没错，是我们小时候倒背如流的十二黄金圣斗士语录了。很多人也曾暗中想象，自己能成为这群黄金圣斗士的成员之一。现在，「变身」的机会来了！
在腾讯微视 App ，黄金圣斗士铠甲的特效挂件已经正式上线。这是静态照片变身后的样子：

文章图片

变身的操作方法也非常简单：用户只需要在腾讯微视 App 的拍摄页面选择「全身换装圣斗士」特效，再提供一张无遮挡正面照，即可进行黄金圣斗士铠甲换装。也可以点击本文末的「链接」，一键体验黄金圣斗士变身！

文章图片

或者在拍摄页面选择圣斗士相关特效，按照指示做出相应动作，也能召唤出多个星座的圣斗士：

文章图片

除了黄金射手座，还有双子座撒加、处女座沙加、白羊座穆、天秤座童虎…… 哪个是你心目中最厉害的圣斗士？
双子座圣斗士。

文章图片

处女座圣斗士。

文章图片

也许会有人思考：「在动态视频背景下，如何给画面主体披上全身的黄金铠甲呢？」其实，在这一酷炫特效的背后，隐藏着一套复杂的技术方案。微视团队又是如何解决种种挑战并将这一技术落地的呢？
第一步：运动捕捉
听到「运动捕捉」这四个字，很多人也许不太熟悉，但这项技术已经广泛应用于人们熟悉的领域，比如好莱坞大片制作中的那些惊艳特效，比如体育赛事中的运动员动作分析，再比如身体损伤患者的康复评估等，都有这项技术的帮助。
目前，依赖于惯性、光学传感器的动作捕捉技术已经比较成熟，可以重建出非常精确的人体三维模型信息。但这种动作捕捉解决方案的成本较高，除了需要在捕捉对象的身体上安装造价不菲的传感器，还需要高性能的计算设备对采集到的数据在定制的软件中进行处理，才能得到最终的结果。
在智能手机早已普及的今天，使用手机端特效增强拍摄效果是短视频应用中的常见玩法。按照应用类型划分，这些靠手机 RGB 单目摄像头进行动作捕捉相关技术可分为：人脸 2D 关键点检测（人脸美颜 / 平面贴纸）、人体 2D 关键点检测（大长腿 / 瘦腰）、人脸 / 头 3D Mesh 重建（人脸立体贴纸 / 头套）、人体 3D 关键点检测等。但在「人体 3D Mesh 重建」这方面，业界此前少有成熟的手机端应用，原因主要归于几个难点：