连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！

亮点直击

• SEED-Story：一个新方法，利用多模态大语言模型（MLLM）生成丰富叙述性文本和上下文相关图像的多模态故事。
• 提出了多模态注意力汇聚机制，可以高效生成超出训练序列长度的长故事。
• 引入了专为多模态故事生成而设计的大规模数据集StoryStream。

方法

SEED-Story建立在MLLM的基础上，结合视觉Tokenization和De-tokenization，以及故事指令调优和去分词器适应，提高了故事生成的质量和一致性。通过多模态注意力汇聚机制，能够在保持较低计算负担的同时生成高质量的长篇故事。

实验

通过故事可视化和多模态故事生成的实验，SEED-Story显示了在风格和角色一致性、故事吸引力以及图像-文本一致性方面相较于基准模型的优越性。长故事生成实验证明了多模态注意力汇聚在生成长序列时相对于其他方法的高效性和质量保持能力。

结论

SEED-Story是一种创新的多模态长故事生成方法，它利用了MLLM的强大能力，并通过多模态注意力汇聚机制，高效生成长序列故事。StoryStream数据集的引入，进一步促进了模型训练和基准测试的有效性。

参考文献

[1] SEED-Story: Multimodal Long Story Generation with Large Language Model

AI生成未来

查看原文：连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！

文章来源：

AI生成未来

扫码关注公众号