ECCV`24 | 编辑能力无上限！北航&谷歌&旷视等开源Chat-Edit-3D: 3D 场景编辑新范式！

文章主旨：

CE3D是一种将对话与先进视觉模型结合的新型3D场景编辑方法，通过解耦2D编辑与3D重建，显著提升编辑的灵活性与效率。

关键要点：

• 传统3D场景编辑方法局限于固定文本输入和简单编辑，难以满足复杂需求。
• CE3D通过Hash-Atlas网络，将3D场景编辑转化为2D图集操作，实现了编辑流程的完全解耦。
• CE3D利用大规模语言模型解析文本输入，支持多轮对话和视觉模型扩展。
• 实验显示CE3D在文本解析、编辑能力和交互自然性方面优于传统方法。
• 未来需优化在360度全景场景中的表现。

内容结构：

1. 引言

介绍传统3D场景编辑方法的局限性及用户需求的复杂性，提出新范式CE3D，通过语言模型解析任意文本输入并实现灵活的场景编辑。

2. CE3D的核心概念

CE3D的核心思想是通过Hash-Atlas网络解耦2D编辑与3D重建，支持任意视觉模型集成；并利用语言模型解析用户输入，完成自动编辑。

3. 方法

• Hash-Atlas网络：将3D场景映射到2D图集空间，解决传统模型耦合问题。
• 训练与损失项：通过多种损失函数优化图集的视觉表现，确保编辑效果自然。
• 图集编辑策略：设计合并-拆分策略，确保前景与背景的编辑准确性。

4. 对话框架

解析用户文本输入，采用格式化文件名称避免语言模型捏造场景信息，支持视觉工具推理与多轮编辑对话。

5. 编辑能力展示

CE3D支持精准对象移除与替换、风格迁移、深度图预测、场景分割等多种编辑任务，并具备扩展性。

6. 未来展望

尽管CE3D在3D场景编辑方面表现优异，但在处理360度全景场景等方面仍有改进空间。

文章总结：

CE3D展示了3D场景编辑领域的新方向，通过结合语言模型和视觉工具，提供了灵活、高效的解决方案，并在未来有进一步研究的潜力。

AI生成未来

查看原文：ECCV`24 | 编辑能力无上限！北航&谷歌&旷视等开源Chat-Edit-3D: 3D 场景编辑新范式！

文章来源：

AI生成未来

扫码关注公众号