超越CogVideoX-5B、Pika、Kling 和 Gen-3！苹果再发新作，视频生成大模型全面报告

文章主旨：

提出了一种名为STIV的统一视频生成框架，能够高效地处理文本到视频（T2V）和文本-图像到视频（TI2V）任务，并在性能和可扩展性方面超越现有模型。

关键要点：

• STIV模型基于扩散Transformer架构，能够同时处理文本到视频（T2V）和文本-图像到视频（TI2V）任务。
• 通过帧替换、图像条件丢弃以及联合无分类器引导（JIT-CFG）等技术实现视频生成质量和动态表现的提升。
• 采用渐进式训练方案和高效架构优化（如QK-norm、MaskDiT和AdaFactor），有效解决训练稳定性和内存使用问题。
• 在VBench和MSRVTT基准测试中，模型性能超越了一系列开源和闭源的SOTA模型。
• 支持多种应用场景，包括视频预测、帧插值、多视图生成和长视频生成。

内容结构：

1. 动机：

视频生成领域面临如何有效整合文本和图像条件到扩散Transformer架构中的挑战，同时需要稳定、高效的训练策略。传统方法在生成连贯视频时常显不足，新方法需要实现统一的T2V和TI2V能力。

2. 提出的方案：

STIV通过稳定性技术（如QK-norm）、高效架构优化（如因式分解的时空注意力）和渐进式训练策略，构建一个可扩展的框架，同时支持T2V和TI2V任务。帧替换和图像条件丢弃解决了生成静态帧的问题。

3. STIV模型架构：

基于PixArt-α架构，采用冻结的变分自编码器（VAE）和空间-时间注意力机制，并通过RoPE嵌入增强模型的空间与时间关系处理能力。

4. 实验与结果：

消融研究表明，帧替换和图像条件丢弃有效提升视频生成质量。STIV在VBench和MSRVTT基准测试中实现了领先性能，展示了其在多种应用场景中的潜力。

5. 数据引擎与描述优化：

通过数据过滤和视频描述生成技术（如DSG-Video），有效提高训练数据质量，减少幻觉，提升模型性能。

6. 灵活应用：

STIV可用于视频预测、帧插值、多视图生成和长视频生成等任务，展现了其在具身智能和自动驾驶等领域的实用性。

7. 结论：

STIV是一个可扩展且灵活的框架，整合文本和图像条件，支持高质量的可控视频生成，为视频生成领域提供了新的研究方向。

文章总结：

STIV模型不仅在性能上处于领先地位，还展示了极大的应用灵活性，是解决多任务视频生成挑战的创新方案。

AI生成未来

查看原文：超越CogVideoX-5B、Pika、Kling 和 Gen-3！苹果再发新作，视频生成大模型全面报告

文章来源：

AI生成未来

扫码关注公众号