ECCV`24 | 首次解决文本到3D NeRFs分解问题！港中文等提出DreamDissector

摘要

本文介绍了一种名为DreamDissector的新颖框架，它是首个能够实现文本到3D神经辐射场（NeRF）的多个独立对象生成的系统。该系统利用神经类别场（NeCF）对NeRF进行分解，并通过深度概念挖掘（DCM）和类别分数蒸馏采样（CSDS）损失提升NeCF的学习。实验结果和应用案例证明了DreamDissector在真实场景中的有效性和实用性。

亮点直击

• 首个文本到3D NeRFs分解框架。
• 引入NeCF、DCM和CSDS损失以实现精确分解。
• 实验结果和应用案例展示了框架的有效性和实用性。

方法概览

• 从文本到3D NeRF生成开始，通过NeCF实现NeRF的分解。
• 使用CSDS损失进行监督，通过DCM模块弥补扩散模型中的概念差异问题。
• 子NeRF通过DMTets进行几何和纹理细化，产生独立的表面网格。

实验结果

• DreamDissector能够有效处理包含复杂交互的多对象场景。
• 与基线方法相比，DreamDissector在定性和定量评估中均表现更优。
• DCM在分解和细化子NeRF中起到了关键作用。

应用案例

• 可控纹理编辑和对象替换，提升了TEXTure的性能。
• 用户可以单独编辑对象，验证了DreamDissector的实用性。

结论

DreamDissector框架通过文本引导生成多个独立交互对象，展示了在创建3D场景中的新可能性。它的引入对于文本到3D内容生成领域是一个重要的创新，有望推动相关技术和应用的发展。