像俄罗斯方块一样生成视频！ 北大联合快手AI团队推出新框架VideoTetris实现跟随复杂指令的文生视频！

文章摘要

研究背景：扩散模型在文本到视频（T2V）生成领域取得显著成果，但面对复杂、细节丰富的指令时存在挑战。

研究成果：北京大学与快手AI团队提出了VideoTetris项目，一个新框架用于应对复杂视频生成任务，能增强现有模型的组合生成能力，支持多复杂指令和长视频生成。

框架方法：提出时空合成扩散方法来遵循复杂文本特征，并通过增强的视频数据预处理和参考帧注意力机制提高视频生成一致性。

技术实现：VideoTetris利用时空组合扩散方法，通过解构提示词和应用交叉注意力进行高效的组合指令生成，结合增强训练数据预处理和参考帧注意力机制优化长视频生成。

实验评测：引入新的评测指标VBLIP-VQA和VUnidet，显示VideoTetris在组合视频生成上优于开源及商用模型。

相关链接：项目主页及代码已公开，可供进一步了解和研究。

参考文献：详细研究可参考论文“VideoTetris: Towards Compositional Text-To-Video Generation”。