超越SDEdit等七大SOTA，免训练多模态图像编辑里程碑：HeadRouter带来精准语义调整

文章主旨：

提出一种适用于多模态扩散Transformer（MM-DiTs）的训练无关图像编辑框架——HeadRouter，以增强文本引导的精度和关键区域表达效果。

关键要点：

• MM-DiTs在文本引导的图像编辑任务中面临语义不一致问题，文章提出HeadRouter框架作为解决方案。
• 实例自适应注意力头Router（IARouter）通过强调最敏感的注意力头提升编辑语义表达能力。
• 双token优化模块（DTR）通过增强文本和图像token间权重关系，提高语义精度与区域表达。
• 实验表明HeadRouter在多个基准测试中超越现有最先进方法，提升编辑忠实度和图像质量。
• 局限性包括对预训练模型的依赖以及反演过程准确性可能影响编辑结果。

内容结构：

解决的问题：

MM-DiTs模型在文本引导的图像编辑任务中缺乏精准结合文本提示的能力，导致语义不一致和编辑效果不理想。

提出的方案：

HeadRouter框架通过适应性地路由注意力头实现语义增强，同时结合双token优化模块，提升文本引导的精确性和关键区域表达。

方法与技术：

• 实例自适应注意力头Router：识别并增强对编辑语义敏感的注意力头，通过软激活机制平滑权重变化，避免伪影产生。
• 双token优化模块：增强文本与图像token间的注意力权重，突出关键图像区域，同时通过残差机制增强文本引导连续性。

实验与评估：

在TEDBench++和PIE-Bench基准数据集上进行实验，比较了HeadRouter与七种现有文本引导图像编辑方法的性能。结果显示，HeadRouter在图像质量、与文本对齐程度及结构一致性方面表现最佳。

局限性与未来工作：

局限性包括多模态文本-图像先验的限制及反演过程准确性对编辑结果的影响。未来工作建议探索基于图像引导的编辑方式，以实现更一致且语义连贯的结果。

文章总结：

本文通过创新性框架HeadRouter解决了MM-DiTs在图像编辑任务中的若干关键问题，提出的技术显著提升了编辑效果，具有广泛应用潜力。

产品经理为什么不能一次性确定好需求？

了解更多

AI生成未来

查看原文：超越SDEdit等七大SOTA，免训练多模态图像编辑里程碑：HeadRouter带来精准语义调整

文章来源：

AI生成未来

扫码关注公众号