技术|人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选( 二 ) 检测|Mesh|人人|燃烧|动作|人体

人脸有相对固定的「特征点」，如眉梢、嘴角等部位，但人体缺乏这样稳定的特征点，并且拍摄时衣着的变化很大。

人体的深度信息会因为姿态不同发生很大的变化，从二维图像恢复出三维空间信息本身有很多组解，很大程度上依赖于「先验信息」才能推测出合理的解，而更多的变化就意味着更难去得到有效的「先验信息」。

不同人的体型变化很大，加上穿着不同厚度和材质的衣服，又让体型估计增加了难度。

重建出人体 Mesh 需要同时实现人体检测、人体 2D/3D 关节点检测、人体体型检测、人体姿态和关节旋转检测以及相机投影矩阵回归等多个任务。在手机端计算资源极其有限的情况下，同时完成上述多个任务比较困难。

但得益于近年来手机处理能力的提升，再加上短视频领域的火爆，这些都大大推动了相关技术的进步，特别是手机端的特效推理引擎技术，轻量化模型技术、移动端的渲染技术等。作为国内顶尖的短视频平台，人体检测技术也是微视团队一直以来深耕的方向。
相比于其他更简单玩法的挂件，黄金圣斗士在特效复杂程度、效果质量方面都有着更高的要求，微视团队所投入的研发精力也更多。尽管短视频应用中也出现过全身特效的挂件，但一般是贴合度要求较低的蓬松服装或盔甲，而黄金圣斗士铠甲需要更修身、更贴合。
为了打造黄金圣斗士铠甲特效，腾讯微视发布器技术团队探索出了一套成熟的解决方案。不仅可以打造完美贴合人体的「换装」，还能在手机上实时运行。在中高端手机上，人体 3D 重建部分可以达到～90 FPS 的处理速度。
制作高质量的 3D 人体 Mesh 数据集
变身黄金圣斗士，首先需要获取到高质量的 3D 人体 Mesh 重建数据，微视团队搭建了一套动作捕捉系统，并基于这套系统开发了相应的 Mesh 重建算法。
在硬件层面，微视团队采用了一种相对较低成本的搭建方案：3 台 AzureKinect 传感器， 3 个三脚架，再加上数据同步线、USB 延长线和一台 Windows 电脑即可。

文章图片

随后进行简单的标定，只需要抱着一个棋盘格箱子，在场景中转一圈，就可以计算出 3 台相机之间的相对位置和姿态，仅耗时 1 分钟。这一步的目的是便于后续的数据融合。
接下来开始原始数据的采集与处理。首先借助 AzureKinect 提供的协同（Collaboration）功能将三台相机的视频流做同步处理，然后采集 RGBD、深度人体 Mask、人体 3D 关键点信息并保存下来。

文章图片

第三步是对每一台深度摄像机生成对应的点云数据，根据相机标定的结果，将三台相机的点云数据进行合成，最终得到统一坐标系下的 3D 点云数据。
最后，将获取到的原始数据合成为训练模型所需要的 Mesh 参数。这一步主要基于 Fitting 优化的方法，通过对人体的 Pose、Shape 等参数进行调整迭代，尽量降低重建后人体与 3D 点云数据之间的误差。微视团队采用 3D 点位之间的欧式距离（MPJPE）衡量重建效果，整体控制在 20mm 内。