自回归模型迎来全能选手！FlexVAR一模型通吃图像生成/修补，推理速度与质量自由调节

图像生成 FlexVAR 尺度步骤

发布于 2025-07-30

365

版权声明

我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。

查看原文：自回归模型迎来全能选手！FlexVAR一模型通吃图像生成/修补，推理速度与质量自由调节

文章来源：

AI生成未来

扫码关注公众号

扫码阅读

手机扫码阅读

文章主旨：

FlexVAR 是一种灵活的视觉自回归图像生成方法，通过直接预测真实值（ground-truth）代替残差预测，实现了多分辨率、多宽高比、多推理步长的图像生成，同时支持多种图像到图像任务。

关键要点：

FlexVAR摒弃残差预测，通过直接预测真实值确保语义连贯性，增强图像生成灵活性。
设计可扩展的VQVAE tokenizer，可在多尺度隐空间下量化和重建图像。
引入可扩展2D位置嵌入，使模型适应各种分辨率和推理步长。
FlexVAR在ImageNet基准测试中表现优异，并实现了零样本迁移能力。
支持图像修复、细化和扩展等任务，展现出广泛的应用潜力与灵活性。

内容结构：

解决的问题：
- 现有视觉自回归模型灵活性不足，无法生成多分辨率或不同宽高比图像。
- 残差预测限制了模型的适应性和图像生成能力。
提出的方案：
- 开发FlexVAR模型，通过真实值预测代替残差预测。
- 设计多尺度约束的VQVAE tokenizer，增强隐空间的鲁棒性。
- 引入可扩展的2D位置嵌入，支持未训练分辨率和步骤的扩展。
应用的技术：
- 视觉自回归建模与Transformer架构。
- VQVAE用于图像分割与重建。
- 2D位置嵌入用于扩展分辨率与步骤适应性。
达到的效果：
- 实现多样化图像生成，支持多种图像到图像任务。
- 在ImageNet基准测试中性能优于现有模型，展现零样本迁移能力。
- 能够灵活调整推理步长以加速推理或提升图像质量。
实验结果：
- FlexVAR在多尺度图像生成任务中表现卓越，并展现了强大的灵活性与泛化能力。
- 通过消融实验验证组件设计对模型性能的影响。
- 在高分辨率生成任务中发现局限性，未来需改进数据集以优化性能。
方法与细节：
- FlexVAR采用直接预测真实值的范式，并设计了灵活的训练与推理步骤。
- 通过可扩展VQVAE tokenizer与位置嵌入实现多分辨率和多比例图像生成。
- 支持图像细化、修补、扩展等任务，展现高度灵活性。
局限性：
- 生成超高分辨率图像时出现波浪纹理与细节模糊问题。
- 数据集结构同质化限制了模型对细节的捕捉能力。