3D人体重建新SOTA！清华&腾讯等重磅发布MagicMan：单一图像生成高质量人体新突破

摘要

本文介绍了一种名为MagicMan的新方法，它旨在从单张参考图像生成高质量的多视角人像，以促进3D人体重建。MagicMan通过融合预训练的2D扩散模型和参数化的SMPL-X模型强化泛化能力和几何感知。此外，该方法引入了一种高效的混合多视角注意力机制和几何感知的双分支结构，以及通过迭代优化策略逐步提高SMPL-X姿态的准确性，减少几何畸形问题。

方法与技术

MagicMan方法采用一个预训练的扩散模型作为主干网络，利用单张参考图像和对应的SMPL-X姿态进行生成。通过混合多视角注意力机制和双分支结构，以及迭代优化策略，该方法可生成多达20个视角的一致人体图像。

实验结果

在THuman2.1和CustomHumans数据集上进行的实验结果表明，MagicMan在新视角合成和3D人体重建任务中均显著优于现有方法。同时，作者提供了消融实验和讨论，进一步证实了所提出机制和优化策略的有效性。

总结

MagicMan利用2D生成先验和3D身体先验，有效地从单张图像生成人体的新视角图像，并通过迭代优化提高一致性，为3D人体重建任务提供了有力的支持。