3D分割新范式！浙大开源Reasoning3D：通过大视觉语言模型搞定3D部件分割

文章主旨：

提出一种名为Reasoning3D的zero-shot 3D推理分割方法，以实现对象部件的搜索和定位，结合预训练2D分割网络与大语言模型，推动3D对象理解领域的发展。

关键要点：

• Reasoning3D是一种无需训练的基线方法，通过预训练的2D分割网络结合大语言模型（LLM），实现复杂命令的理解和执行。
• 该方法利用多视角图像渲染生成分割mask，并通过融合机制将2D分割结果映射至3D网格，实现细粒度分割。
• Reasoning3D支持隐含的文本提示，可生成自然语言解释并准确定位3D对象的特定部分。
• 实验表明，Reasoning3D在开放词汇分割任务中表现竞争力，并可应用于机器人技术、自动驾驶、增强现实（AR/VR）及医疗领域等场景。
• 该方法无需依赖大规模3D数据集，具有资源高效性和快速部署的优势，为未来3D对象理解研究提供了通用基线。

内容结构：

1. 简介：

   介绍零样本3D推理分割任务及Reasoning3D方法的设计，目标是超越传统3D分割模式，解决3D数据稀缺性问题。

2. 动机及创新点：

   受LVLM在2D推理任务中的成功启发，提出利用预训练的2D模型扩展到3D领域，规避大规模3D数据集的限制。

3. 方法：
   • 多视角图像渲染：通过渲染生成多个视角的2D图像及Face ID，并建立2D图像与3D网格的映射关系。
   • 基于用户提示的推理与分割：利用LLM处理隐含提示生成分割结果及自然语言解释。
   • 3D分割融合与细化：设计多阶段融合机制结合语义和视角信息，优化3D分割质量。
4. 实验：
   • 与现有开放词汇分割方法对比，Reasoning3D在任务中表现竞争力。
   • 展示其隐含提示处理能力及自然语言生成功能，支持用户交互界面（UI）。
5. 结论：

   Reasoning3D为零样本3D推理分割提供了强大基线，具有广泛应用前景，包括机器人技术、自动驾驶及医学领域等。

文章总结：

本文全面阐述Reasoning3D的技术细节与实验结果，为3D分割领域提供了资源高效且可扩展的解决方案，建议进一步探索其在实际场景中的应用潜力。

温馨提示：不注意这几点，PDT（产品开发团队）就得散！

了解更多

AI生成未来

查看原文：3D分割新范式！浙大开源Reasoning3D：通过大视觉语言模型搞定3D部件分割

文章来源：

AI生成未来

扫码关注公众号