技术|人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选( 四 ) 检测|Mesh|人人|燃烧|动作|人体

2. 算法流程改进。对整个的算法串行的流程进行优化，整个人体检测、2D 关键点、3D 关键点、人体 Mesh、相机姿态估计全部调整为并行实现，极大提升了算法整体的效率。
3. 移动端工程优化。基于腾讯优图团队提供的 TNN 移动端深度推理框架，实现了移动端模型的高效推理。对于特定的算子和矩阵运算，微视团队与优图 TNN 团队合作进行了针对性的底层优化，保证算法的高效运行。同时，对于模型的后处理也进行了算法层面的优化，在保证不使用影响体验的精度损失上获得了更极致的运行效率。
针对不同的拍摄光照、人体的姿态、不同的体型、衣着、拍摄距离、拍摄角度以及不同拍摄背景中发现的 Bad Case ，微视团队从训练方式、参数调整、Loss 函数设计、数据更新与优化等方面进行了更多深度的研究，解决了贴合度、检测稳定性等多方面拍摄中的常见问题。同时，进一步压缩了模型计算开销，将单帧的总体处理时长从 15ms 优化到了当前的 11ms 。
经过上述一系列的优化工作后，微视团队基于重建的人体 3D Mesh，为其量身定制了一套 AttachToBody 的渲染方案，目标有两个：

能够保证服装模型在三维世界和二维图像上位置和旋转正确，贴合人体表面；
能够提供 PBR(基于物理的渲染) 每个环节需要的正确信息，确保高质量的渲染效果。

同时为了项目需要，技术团队在原有引擎基础上开发了自定义材质系统，为玩法提供了更自由灵活的材质与光照解决方案。借助于强大的流程控制和脚本系统，技术团队很好地将人体重建、服饰真实感渲染、骨骼动画、转场特效等要素串联在一起，提供了完整流畅的视效表达。
此外，部分机型上启用了 IBL、SSAO 等技术，以提升整体的光影效果。为了提升在低端机型上的整体效果覆盖率，微视团队采取了 Material Capture 材质捕捉技术方案，用较小的计算成本拟合出近似 PBR 的真实感效果。同时在一些高频且量大的矩阵计算中启用了 NEON 加速方案，整体降低了数学计算耗时。
基于上述所有工作，微视的设计团队与技术团队深入协作。首先明确直观的预期效果，明确优化方向，给出优化建议；此外辅助优化引擎渲染能力，使最终效果更接近设计师预期。
在细节打磨和工具支持方面，依托 Light Studio 对 3D 场景强大的编辑和可视化能力，以编辑器组件的方式提供给设计同学完整的工具链支持，包括对衣服 SRT 数据的精准调整，对环境光 / 衣服材质主要参数的可视调整等。
黄金圣斗士铠甲特效的研发历时 10 个月，最初沟通的预期效果如下图：

文章图片

通过设计团队、算法团队和特效团队多轮的效果打磨，衣服贴合度与跟随性，身体比例协调性，衣服视效等方面均达到了理想水平。引擎实现效果如下图：

文章图片

未来，微视发布器技术团队将持续围绕三维人体重建来进行创意特效设计与研发。在算法方面会继续在 3D 重建的精度上持续性的提升，解决更多拍摄场景的需求。业务方面，会结合相关图形图像技术，在人体形变，人体驱动虚拟角色等方面有进一步的突破，为用户提供更酷炫好玩的特效新体验。
【技术|人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选】一键体验黄金圣斗士变身：https://h5.weishi.qq.com/weishi/account/login?r_url=https%3A%2F%2Fisee.weishi.qq.com%2Fiseev2%2F1%2FwZm2wHfO0%2Findex.html%3F_wwv%3D4096%26h5material_id%3Dshengdoushi_h5%26h5material_category%3Dh5_activity%3Fchid%3D401003001%26attach%3Dcp_reserves3_4040010001%26upload_from%3D2770