上海交大&阿里巴巴推出虚拟试衣新里程碑式工作——AnyFit：任意场景、任意组合！

Article Summary

本文介绍了一种名为AnyFit的新型虚拟试穿系统，该系统通过引入Hydra Block操作符和并行注意力机制有效地处理不同场景和服饰组合，提高了模型在真实世界场景中的鲁棒性和表达能力，并实现了高保真度的试穿效果。实验结果显示，AnyFit超越了现有技术，能够生成细节丰富且逼真的试穿图像。

主要贡献

• AnyFit是一种新颖的虚拟试衣范式，可以处理任意服装组合。
• 它由两个同构的U-Net组成，HydraNet和MainNet，HydraNet负责提取服装特征，MainNet生成试穿效果。
• AnyFit可扩展性强，通过并行化注意力矩阵可以轻松扩展到任何数量的条件。
• 提出了先验模型演化策略和自适应mask增强策略，显著提高了模型的稳健性。

方法

• 模型概述：AnyFit采用SDXL骨干网络，通过OpenPose获取无关服装的mask，并处理图像修补任务。
• 可扩展性：HydraNet通过并行化注意力矩阵来编码服装信息，支持单件和多件服装的VTON。
• 稳健性：通过自适应mask增强和先验模型演化，解决了信息泄漏和质量下降的问题。

实验

在VITON-HD、DressCode、专有数据集和DressCode-multiple上进行的实验表明，AnyFit在单件服装和多件服装任务中都优于所有基线方法，显示出优越的试穿质量和鲁棒性。

结论

AnyFit为实现逼真的试穿效果提供了一种新颖而强大的解决方案，通过HydraNet的轻量级和可扩展并行化注意力，优化了多件服装的特征注入。研究者强调了使用技术时的道德责任，鉴于可能的风险，应谨慎使用。

备注：文稿还提及了对AnyFit系统未来研究和应用的潜在影响，并提供了获取更多资料的方式。

软件国产化迁移难？

了解更多

AI生成未来

查看原文：上海交大&阿里巴巴推出虚拟试衣新里程碑式工作——AnyFit：任意场景、任意组合！

文章来源：

AI生成未来

扫码关注公众号