拒绝复制粘贴！Snap&卡内基梅隆提出多主体开集个性化视频生成新范式Video Alchemist！

文章主旨：

提出了一种名为 Video Alchemist 的多主体、开放集合视频个性化生成模型，通过创新模块和数据增强技术解决现有方法的局限性。

关键要点：

• Video Alchemist 模型支持多主体和开放集合视频个性化生成，能够处理前景和背景的个性化生成，并无需测试时优化。
• 引入 Diffusion Transformer 模块，通过交叉注意力层整合文本提示与参考图像，实现主体级别的视频生成。
• 设计了自动数据构建管道，结合数据增强技术，减少模型过拟合并提升生成内容的多样性和动态性。
• 提出新的评估基准 MSRVTT-Personalization，支持多主体条件场景，显著提升个性化任务的评估精度。
• 实验结果表明 Video Alchemist 在主体保真度、文本对齐及视频动态方面均优于现有方法。

内容结构：

• 解决的问题：

  现有方法无法支持多主体或开放集合个性化，且需要耗时的测试时优化，缺乏适用于多主体视频个性化的评估基准与开放集合数据集。

• 提出的方案：
  • 设计了 Video Alchemist 模型，支持多主体和开放集合视频生成。
  • 引入 Diffusion Transformer 模块，通过双重交叉注意力层实现条件整合。
  • 构建自动数据管道，增强个性化数据生成质量。
  • 开发 MSRVTT-Personalization 基准，支持多种条件模式评估。
• 应用的技术：
  • Diffusion Transformer 模块：实现文本提示与图像嵌入的融合。
  • 数据增强技术：通过光照、背景变化等降低过拟合风险。
  • 自动化数据构建管道：提取视频对象片段并增强数据质量。
• 实验与效果：
  • 在新基准 MSRVTT-Personalization 上进行定量与定性评估，展示主体保真度和动态表现的显著提升。
  • 与现有方法相比，Video Alchemist 在视觉质量、人类评估和自动化指标上均表现更优。
  • 通过消融研究验证了图像编码器选择、数据增强等设计的重要性。
• 结论：

  Video Alchemist 通过创新模块和数据增强技术解决了现有方法的局限性，为多主体、开放集合视频生成提供了高效的解决方案。

文章总结：

文章以系统性和创新性为特点，建议关注 Video Alchemist 在视频个性化生成领域的突破性成果及其潜在应用前景。

我们小公司，哪用得上IPD？

了解更多

AI生成未来

查看原文：拒绝复制粘贴！Snap&卡内基梅隆提出多主体开集个性化视频生成新范式Video Alchemist！

文章来源：

AI生成未来

扫码关注公众号