完整解读：从DeepSeek Janus到Janus-Pro！

文章主旨：

Janus 和 Janus-Pro 是统一的多模态理解与生成模型，通过解耦视觉编码路径和优化策略，提升了多模态任务的性能与可扩展性。

关键要点：

• Janus 通过解耦视觉编码路径，实现了多模态理解与生成任务在高维语义表示和低维细节表示间的兼容。
• Janus-Pro 在训练策略、数据规模和模型参数上进行了扩展和优化，提升了文本到图像生成的质量和稳定性。
• Janus-Pro 增加了模型规模至 70 亿参数，并引入更多数据集支持多模态理解和视觉生成任务。
• 三阶段训练流程包括适配器训练、统一预训练和指令微调，确保模型在多模态任务上的综合能力。
• 未来扩展方向包括引入更多模态输入（如点云、脑电信号），以及优化高分辨率视觉生成任务。

内容结构：

1. 回顾 Janus 模型

• Janus 是一个自回归框架，解耦了视觉编码路径以适应多模态理解和生成的不同需求。
• 多模态理解使用高维语义表示，生成任务使用低维细节编码，避免统一空间表示的冲突。
• 训练包含三个阶段：适配器与初始视觉能力训练、统一多模态预训练、指令微调。

2. Janus-Pro 的主要改进

• 训练策略优化：增加训练步数，调整数据配比，强化文本到图像生成能力。
• 数据规模扩展：引入更大规模的多模态理解数据和合成美学样本数据，提升生成质量。
• 模型规模扩展：参数规模从 1B 提升至 70B，增强模型的任务处理能力。

3. 实验细节与局限

• 实验细节保持一致，但更大规模模型使用更多集群资源。
• 输入分辨率限制在 384x384，影响细粒度视觉任务和文本到图像生成的细节质量。

4. 未来扩展方向

• 更强的视觉编码器和动态高分辨率技术。
• 细粒度编码器和专门设计的视觉生成损失函数。
• 引入更多模态输入，如点云、触觉、脑电图等。

文章总结：

Janus 和 Janus-Pro 展现了多模态模型在理解与生成任务中的潜力，通过不断优化训练策略和扩展数据规模，未来具有进一步提升性能与适应更多模态任务的空间。

Datawhale

查看原文：完整解读：从DeepSeek Janus到Janus-Pro！

文章来源：

Datawhale

扫码关注公众号