即插即用，效率远超ControlNet！贾佳亚团队重磅开源ControlNeXt：超强图像视频生成方法

亮点直击

• ControlNeXt是一种新型的图像和视频生成方法，显著降低了延迟和参数量。
• 利用交叉归一化技术微调预训练模型，实现高效稳定的训练收敛。
• ControlNeXt可作为轻量级插件模块与LoRA权重集成，改变生成样式无需额外训练。

方法介绍

针对现有的可控生成方法计算成本高、训练挑战大的问题，提出了ControlNeXt，通过简化架构并引入交叉归一化技术，大幅提升了图像和视频生成的效率和效果。

架构剪枝

通过剪枝现有架构，去掉额外分支，引入轻量级卷积模块来整合条件控制。优化了少量预训练模型中的参数，减少了训练过程中的遗忘风险。

交叉归一化

提出的交叉归一化技术通过使用主分支的均值和方差归一化新引入的参数，解决了训练崩溃的问题，加速了训练过程并提高了稳定性。

实验结果

在各种基础模型上的实验表明，ControlNeXt能够有效适应不同的架构和任务，并在保持高效率的同时，实现稳健的生成效果。

通用性和效率

ControlNeXt展现了强大的鲁棒性和广泛的适应性，能够支持多种类型的条件控制，且在训练收敛性和推理时间上均表现出色。

即插即用

作为一个即插即用模块，ControlNeXt与各种基础模型和LoRA权重无缝集成，无需额外训练即可改变生成风格。

结论

ControlNeXt是一个高效且强大的图像和视频生成方法，其简洁的架构和交叉归一化技术大幅提高了训练和生成的效率。广泛的实验验证了其有效性和鲁棒性。