摘要: 通过扩散进行注意力插值（AID）和其变体PAID

介绍

条件扩散模型可用于图像插值，但在特定条件下的插值尚不完全了解。传统的线性插值方法在图像一致性、平滑性和保真度方面存在问题。新技术“通过扩散进行注意力插值（AID）”无需训练即可实现高质量的条件插值。

主要贡献

• 提出了内/外插值注意力层。
• 结合插值注意力与自注意力，提高图像质量。
• 应用Beta分布进行选择，以增加插值的平滑度。
• 引入变体PAID，通过提示引导的注意力插值，实现更精细的插值路径控制。

相关工作

扩散模型和注意力操纵已在文本到图像合成中提升图像质量。注意力机制的控制增强了对象生成的一致性。而生成模型的潜在空间插值，如GANs和VAEs已被广泛研究，但条件插值的研究仍相对有限。

方法论

AID的方法包括内/外插值注意力机制，融合自注意力和使用Beta先验选择插值点。PAID则允许用户通过引导提示选择插值路径。通过这些方法，AID在处理不同条件插值时表现出色。

实验

实验表明，AID在插值序列的平滑性、一致性和保真度方面显著超过基线方法，并可通过引导提示进一步定制插值路径，无需额外训练过程。

结论

本研究提出了条件插值的新任务，并通过AID和PAID方法在扩散模型中实现了插值，超越了现有基线，为图像编辑、数据增强和视频插值等应用开辟了新途径。

参考文献

[1] AID: Attention Interpolation of Text-to-Image Diffusion

“你觉得客户需要”是杀死TA的最后一根稻草 | IPD集成产品开发

了解更多

AI生成未来

查看原文：扩散模型中进行条件插值？AID:无需训练，保证一致、平滑和保真度(新加坡国立&南洋理工)

文章来源：

AI生成未来

扫码关注公众号