文章主旨：

提出一种基于对抗分布匹配和混合判别器的新框架，显著提升一步蒸馏的效率和多样性，同时改善图像和视频生成的质量与稳定性。

关键要点：

• 通过对抗分布匹配（ADM），动态学习隐空间中的分布差异，避免传统散度度量导致的模式崩溃。
• 结合隐空间和像素空间的混合判别器，在一步蒸馏任务中优化生成器性能，提升初始化质量。
• 采用DMDX统一流程，将对抗蒸馏预训练与ADM微调结合，实现高效生成及保真度提升。
• 提出三次方时间步调度，增强样本多样性并改善模式覆盖能力。
• 通过实验与基准测试确认方法在图像生成和视频生成中达到新的效率与质量标准。

内容结构：

• 解决的问题：
  • 模式崩溃：传统反向KL散度最小化可能导致模式崩溃。
  • 分布匹配局限：显式散度度量难灵活匹配复杂分布。
  • 一步蒸馏挑战：支持集重叠不足导致梯度爆炸或消失。
• 提出的方案：
  • 对抗分布匹配（ADM）：动态学习分布差异，替代显式散度。
  • 混合判别器对抗蒸馏：结合隐空间与像素空间提升质量与稳定性。
  • 统一流程DMDX：将预训练与微调结合，提升生成效率与质量。
• 应用的技术：
  • 对抗训练：隐空间动态优化分布匹配。
  • 混合判别器：联合隐空间和像素空间提升多样性。
  • ODE分布损失：优化生成器的初始化。
  • 分数蒸馏框架：结合对抗训练改进模式覆盖能力。
• 达到的效果：
  • 性能提升：在SDXL上显著超越现有方法，GPU耗时更低。
  • 多样性改善：避免模式崩溃，增强样本覆盖能力。
  • 训练稳定性：减少一步蒸馏失败风险，提升梯度稳定性。
• 实验与评估：
  • 高效图像合成：在COCO数据集上表现优异，提升人像美学和结构完整性。
  • 高效视频合成：多维度质量评估显示高效生成性能。
  • 消融实验：验证ADM与ADP对性能的关键作用。
• 局限性：
  • 教师模型可能需要CFG来产生准确分数预测，限制了某些模型的适用性。

文章总结：

文章提出了一种创新的对抗分布匹配框架，结合混合判别器和统一流程显著提升生成器效率与稳定性，为图像和视频生成设立新的基准，同时指出部分方法局限性，为未来研究提供方向。

小学老师就告诉我要学好语数外，诚不我欺也！

了解更多

AI生成未来

查看原文：让SDXL实现50倍加速！中山&字节最新对抗训练+双空间判别，单步生成新标杆！性能狂飙

文章来源：

AI生成未来

扫码关注公众号