自回归扳回一城！阿里等提出MARS：超越PixArt-α、SD-XL等的文本到图像生成框架

文章主旨：

MARS是一种创新的自回归框架，结合预训练大语言模型和视觉生成能力，在文本到图像生成任务中展现了卓越性能。

关键要点：

• 提出了MARS框架，通过SemVIE模块实现语言与视觉信息的融合，保留了强大的自然语言处理能力并增强了视觉生成能力。
• MARS采用多阶段训练策略，大幅提高了文本与图像的对齐度及生成质量。
• 性能评估表明，MARS在MSCOCO基准测试和T2I-CompBench等方面表现优异，并显著优于部分扩散模型和其他自回归方法。
• MARS支持双语文本到图像生成，能够处理复杂的文本输入，表现出高效的跨语言能力。
• 框架还支持联合图像-文本生成任务，展示了在多模态应用中的灵活性与潜力。

内容结构：

1. 引言与背景

探讨了自回归模型在语言生成领域的优势及其在图像生成领域的局限性，提出MARS框架解决这些问题。通过结合预训练大语言模型（LLM）与视觉生成模块，MARS展现了强大的文本到图像生成能力。

2. 方法与架构

• 总体框架：描述MARS的多模态架构，包括语言模块和视觉模块的并行设计。
• 语义视觉语言集成专家（SemVIE）：详细阐述SemVIE模块如何利用Attention-MoE和FFN-MoE实现语言与视觉token的融合。
• 多阶段训练策略：分为三个阶段：文本到图像对齐预训练、高质量数据对齐、高分辨率细化，逐步优化生成质量。

3. 数据集构建

介绍了数据集来源与过滤过程，强调了数据质量对模型训练的影响，并采用标题重写策略增强文本描述的细粒度信息。

4. 实验与评估

• 实验细节：描述了优化器设置、学习率策略及训练配置。
• 性能比较：通过MSCOCO基准测试和T2I-CompBench评估MARS的生成质量和文本对齐能力，展示其相对其他模型的优势。
• 用户研究：通过用户评分对MARS的质量和对齐能力进行主观评价，并与其他模型对比。

5. 扩展能力与消融研究

• 展示MARS在联合图像与文本生成任务中的潜力，特别是在食谱生成领域表现出色。
• 消融研究分析了SemVIE模块及多阶段训练策略对模型性能的贡献。

6. 结论

MARS结合了强大的语言与视觉生成能力，展现了在文本到图像生成任务中的卓越性能，同时支持联合图像-文本生成及双语生成。其架构设计和多阶段训练策略为多模态学习带来了新的可能性。

文章总结：

MARS框架通过技术创新和高效训练策略，为文本到图像生成及多模态任务提供了一种高效解决方案，未来有望在更多领域展现潜力。

AI生成未来

查看原文：自回归扳回一城！阿里等提出MARS：超越PixArt-α、SD-XL等的文本到图像生成框架

文章来源：

AI生成未来

扫码关注公众号