2024年了,Diffusion模型还有什么可做的？

文章摘要

本文由AI领域作者Alonzo提供，对基于扩散模型的文生图模型进行深入分析。通过数据、模型、优化和任务四个方面全面梳理了扩散模型的发展方向和潜在改进空间。作者对一些具体的研究方向和模型进行了详细介绍，并分享了相关的研究成果和论文。

数据

• 生成图像的分辨率：高分辨率图像合成是一个技术挑战，涉及压缩模型优化和生成后超分辨率处理。
• 生成特定领域图像：关注特定美感图像、灰度图像等，提出了training-free解决方案和对特定领域图像的生成。

模型

• 压缩模型：图像压缩问题，注重如何节约数据容量的同时保证数据精度。
• 网络架构：Diffusion Transformer的架构被多个大型AI模型采用，显示出其有效性。
• 文本编码：结合大型语言模型与扩散模型的发展，文本编码被视为有潜力的研究方向。
• 采样：提升采样质量和加速采样是采样优化的两个主要方向。

优化

• 对齐特定人类偏好：RLHF和其他强化学习方法可能在调整生成模型以适应人类偏好方面有所作为。
• 推理：在图像维度上进行信息推理，以实现In-Context Learning的更高层次应用。

任务

• 视频生成：视频生成领域预计将迎来新的研究高潮。
• Instruction-Based Editing：文生图任务的一个变体，有望定义新的任务并创造商业价值。

作者强调，掌握扩散模型、大型语言模型和多模态学习等核心技术对于当代DL研究者至关重要。他还推荐了一些书籍资料，以帮助读者系统化地理解和应用这些技术，并欢迎大家关注其GitHub账号以获取相关领域的paper list。