YYDS！数字人终于实现穿、脱衣自由!上大、腾讯等提出3D服装合成新方法：ClotheDreamer

文章摘要

本文介绍了ClotheDreamer，一种新型3D服装合成方法，能够从文本提示生成适于生产的3D服装资产。ClotheDreamer使用解耦服装高斯Splatting（DCGS）表示法，将服装从人体分离，并通过双向评分蒸馏抽样（SDS）监督服装的RGBD渲染。此外，还提出了一种新的宽松服装修剪策略，以提高服装的完整性。

技术亮点

• ClotheDreamer通过基于ID的初始化有效地解耦人体和服装。
• 双向SDS正则化服装基础几何，并通过新的修剪策略增强宽松服装的完整性。
• 支持通过模板网格定制化服装生成，并可实现准确的服装动画。

方法论

文章提出的ClotheDreamer框架包括三个主要部分：基于ID的DCGS初始化、双高斯模型及其改进、以及双向SDS引导。此外，通过模板引导和网格模拟，ClotheDreamer能够实现定制化服装生成和动画化DCGS服装。

实验结果

本文的实验结果显示，ClotheDreamer在文本一致性和整体质量方面优于现有方法。此外，用户研究也表明，ClotheDreamer获得了较高的偏好评分。

应用与局限性

ClotheDreamer能够动态地将生成服装适配到不同的角色身体，但仍存在一些局限性，如颜色过饱和和对更复杂试穿场景的适应性。未来工作将探索改进SDS和为3D高斯表示disentangling lighting。

关注“AI生成未来”公众号，回复“GAI”获取AI行业报告和资料。