文章主旨：

本文提出了一种新型双分支扩散模型PanFusion，以解决从文本生成高质量360度全景图像的挑战。

关键要点：

• PanFusion通过双分支架构同时处理全景和透视领域，解决循环不一致和重复元素问题。
• 引入“等距透视投影注意力（EPPA）”机制，以增强全景与透视分支之间的信息传递。
• 采用联合潜在图初始化，确保视角与全景生成的同步性和一致性。
• 支持布局条件生成，可根据房间布局定制全景图像，扩展应用场景。
• 实验验证显示PanFusion在图像质量、真实感和一致性上均优于现有方法。

内容结构：

1. 引言

介绍从文本生成360度全景图像的技术背景与应用价值，分析现有方法的不足，包括数据稀缺性和几何投影差异。

2. 方法

• 双分支扩散模型：包括全景分支和透视分支，分别负责全局布局和细节渲染。
• 联合潜在图初始化：通过联合采样噪声，同步生成全景和透视图像。
• EPP注意力机制：通过球形位置编码和注意力mask增强两个分支间的信息传递。
• 布局条件生成：使用ControlNet对全景分支进行布局约束，支持房间布局生成。

3. 实验

• 数据集与设置：使用Matterport3D数据集，进行公平对比实验。
• 定量与定性结果：通过FAED、FID等指标评估质量，PanFusion在真实感和布局一致性上表现出色。
• 消融研究：验证联合潜在图初始化、EPPA模块的有效性。

4. 结论

总结PanFusion的创新贡献与实验结果，提出其在文本到全景生成领域的优越性，同时指出计算复杂性等局限。

文章总结：

PanFusion在全景图像生成领域表现卓越，适合对高质量全景图有需求的应用场景，如虚拟现实和环境建模。

一切皆产品？

了解更多

AI生成未来

查看原文：CVPR 2024 Highlight | 让SD乖乖学会文本生360°全景！PanFusion 强势来袭！

文章来源：

AI生成未来

扫码关注公众号