完美提升Stable Diffusion生成质量和效率！UniFL:统一反馈学习框架（字节&中山）

文章主旨：

本文提出了一种统一反馈学习框架，通过感知反馈、解耦反馈和对抗反馈学习，全面优化扩散模型的生成质量、美学吸引力和推理效率。

关键要点：

• 扩散模型的现有问题包括生成质量较差、美学吸引力不足以及推理效率低。
• 提出统一反馈学习框架，包含三个主要组成部分：感知反馈学习、解耦反馈学习和对抗反馈学习。
• 感知反馈学习通过现有视觉感知模型增强视觉质量；解耦反馈学习优化美学质量；对抗反馈学习加速推理过程。
• 实验表明，本文方法在生成质量和推理速度方面优于现有方法，并在多个扩散模型及下游任务中表现出强泛化能力。
• 对抗反馈学习显著减轻了传统反馈微调中的过度优化问题，并扩展了优化效果至较少的去噪步骤。

内容结构：

• 背景与问题：扩散模型在文本到图像生成领域取得显著进展，但仍存在质量、审美和效率的局限性；现有改进方法多集中于解决单一问题，缺乏统一的优化框架。
• 方法：提出统一反馈学习框架，从感知反馈学习、解耦美学反馈学习和对抗反馈学习三个维度优化扩散模型：
• 感知反馈学习：利用视觉感知模型提供针对风格和结构的监督，提升视觉生成质量。
• 解耦反馈学习：通过分解美学维度（如颜色、布局、光照等），有效引导模型满足人类审美偏好。
• 对抗反馈学习：通过生成器与鉴别器对抗训练，提升低去噪步骤下的生成质量，从而加速推理。
• 实验与结果：在多个数据集和基线模型上进行定量和定性分析，验证了该方法的显著改进效果；包括用户研究和下游任务（如LoRA、ControlNet）的扩展实验。
• 局限与未来方向：探索使用大型视觉感知模型增强监督、极端加速和单阶段优化的可能性。
• 结论：统一反馈学习框架在生成质量和推理效率方面超越了现有方法，并展示了优越的泛化能力。

文章总结：

本文以创新性方法全面提升扩散模型性能，对图像生成领域具有重要意义，同时为未来优化扩散模型提供了新的研究方向。

为什么产品做大后，反而弄丢了核心用户？

了解更多

AI生成未来

查看原文：完美提升Stable Diffusion生成质量和效率！UniFL:统一反馈学习框架（字节&中山）

文章来源：

AI生成未来

扫码关注公众号