超越α！PixArt家族新秀PixArt-Σ: 由弱到强训练的文本生成4K图像DiT（华为诺亚）

摘要：

本研究提出了PixArt-Σ，一种基于Diffusion Transformer（DiT）的文本到图像（T2I）扩散模型，能够直接生成4K分辨率高质量图像。PixArt-Σ的主要特点是通过“弱到强训练”策略，利用高质量数据和高效Token压缩，以小模型实现高质量图像生成。

关键改进：

• 整合了更高质量的训练数据，包括3300万高分辨率图像和更精确描述。
• 提出了高效Token压缩，有效减少计算需求，支持超高分辨率图像生成。

训练策略：

• 使用强大的变分自编码器（VAE）。
• 实现从低分辨率到高分辨率的微调。
• 从没有键值（KV）压缩的模型演化到有KV压缩的模型。

PixArt-Σ在模型大小和训练成本上都显著小于现有的T2I模型，同时在图像质量和文本对齐能力方面优于或接近顶级T2I产品。

评估与比较：

• 使用一个精心策划的数据集进行评估。
• 在人类和AI偏好研究中表现出色，与用户提示密切匹配。

结论：

PixArt-Σ展现了其在有限资源下整合新元素以提升模型性能的能力，并为个人研究人员和AIGC社区提供了一个高效、高质量的生成模型。