视频编辑最新SOTA！港中文&Adobe等发布统一视频生成传播框架——GenProp

文章主旨：

提出了一种新型生成视频传播框架——GenProp，利用 I2V 模型实现多种视频编辑任务，并显著提高编辑质量和一致性。

关键要点：

• 定义了生成视频传播问题，目标是传播视频第一帧的编辑至整段视频。
• 设计了 GenProp 框架，包括选择性内容编码器（SCE）、区域感知损失（RA Loss）等组件。
• 提出合成数据生成管道，支持多种增强技术以提高模型泛化能力。
• 实验显示 GenProp 在视频编辑、移除和跟踪任务上超越现有方法。
• 未来扩展方向包括支持多个关键帧编辑及更多视频任务。

内容结构：

1. 解决的问题：

现有视频生成模型通常专注于单一任务，传统传播方法易受错误积累影响且缺乏鲁棒性。GenProp旨在解决这些问题，通过统一框架支持多种任务，并简化编辑流程。

2. 提出的方案：

• 框架设计：GenProp 使用 SCE 编码未变部分，并通过 I2V 模型传播第一帧的编辑。
• 损失函数设计：RA Loss 解耦编辑与未编辑区域，提高生成精度。
• 数据生成方案：使用分割数据集生成合成数据，覆盖多种任务。

3. 方法和技术：

• 真实性：利用 I2V 模型确保编辑自然传播。
• 一致性：通过 SCE 和 RA Loss 保持未变内容的稳定性。
• 通用性：合成数据生成管道支持多种增强技术，提升模型适应能力。

4. 实验与效果：

• 在视频编辑任务中，GenProp在形状变化、对象插入和背景编辑上表现优于基线方法。
• 在物体移除任务中，GenProp无需密集标注，能自然填充大面积区域。
• 在物体跟踪任务中，GenProp能处理反射和阴影效果，优于传统跟踪方法。
• 用户研究表明其在对齐性和视觉质量上均获得较高评价。

5. 消融研究：

• MPD：显著提升编辑区域预测精度。
• RA Loss：解决编辑区域传播失败问题，保持一致性。
• 颜色填充增强：进一步提高对复杂形状修改的传播能力。

6. 结论：

GenProp通过创新框架设计与技术集成，实现了高质量视频传播和编辑，确立了其作为一种强大解决方案的地位。

文章总结：

GenProp是一个具有开创性的视频生成框架，在扩展任务范围和提高编辑质量上展现了显著优势，未来潜力巨大。

小学老师就告诉我要学好语数外，诚不我欺也！

了解更多

AI生成未来

查看原文：视频编辑最新SOTA！港中文&Adobe等发布统一视频生成传播框架——GenProp

文章来源：

AI生成未来

扫码关注公众号