最新SOTA！六小虎之「阶跃星辰」开源最强300亿参数文生视频模型！

文章主旨：

介绍并开源了一款最先进的预训练文本到视频生成模型Step-Video-T2V，详细描述其技术架构、优化方法以及性能评估结果。

关键要点：

• Step-Video-T2V是一个拥有300亿参数的文本到视频生成模型，可生成最长204帧的视频。
• 采用深度压缩的Video-VAE，提高训练效率并降低计算复杂度。
• 引入双语文本编码器和3D全注意力DiT架构，支持中英文提示并优化视频生成质量。
• 通过Video-DPO方法利用人类偏好微调输出质量，减少伪影并提升视觉效果。
• 发布了Step-Video-T2V-Eval基准测试集，用于评估模型在多类别场景下的生成性能。

内容结构：

• 简介：Step-Video-T2V模型能够生成高质量视频，采用深度压缩VAE和偏好优化技术，性能优于现有开源和商业模型。
• 模型架构：
  • Video-VAE：实现16x16空间压缩和8倍时间压缩，提升效率。
  • 3D全注意力DiT：包含48层结构，增强时空关系处理能力。
  • 双语文本编码器：支持中英文提示，扩大应用范围。
  • Video-DPO：通过人类偏好优化提升视觉质量。
• 技术与优化：
  • 多阶段训练策略：包括文本到图像预训练、文本到视频预训练、监督微调和偏好优化。
  • 推理设置：提供最佳实践参数以平衡视频保真度与动态性。
• 基准测试：Step-Video-T2V-Eval基准测试集评估了模型在11个类别中的生成能力，包括运动、超现实、3D动画等场景。
• 结论：总结了模型的技术突破与挑战，强调了高质量标注数据缺乏、指令跟随能力不足等问题，并建议进一步探索强化学习优化机制。

文章总结：

本文全面介绍了Step-Video-T2V模型的技术创新及应用价值，指出了当前文本到视频生成领域的瓶颈，并为未来发展提供了重要方向。

“看不见的成本正在蚕食企业效益”

了解更多

AI生成未来

查看原文：最新SOTA！六小虎之「阶跃星辰」开源最强300亿参数文生视频模型！

文章来源：

AI生成未来

扫码关注公众号