欢迎来到连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！
发布于 2024-10-25
2324
版权声明
我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。
查看原文：
文章来源：
AI生成未来
扫码关注公众号
扫码阅读
手机扫码阅读
亮点直击
- SEED-Story：一个新方法，利用多模态大语言模型（MLLM）生成丰富叙述性文本和上下文相关图像的多模态故事。
- 提出了多模态注意力汇聚机制，可以高效生成超出训练序列长度的长故事。
- 引入了专为多模态故事生成而设计的大规模数据集StoryStream。
方法
SEED-Story建立在MLLM的基础上，结合视觉Tokenization和De-tokenization，以及故事指令调优和去分词器适应，提高了故事生成的质量和一致性。通过多模态注意力汇聚机制，能够在保持较低计算负担的同时生成高质量的长篇故事。
实验
通过故事可视化和多模态故事生成的实验，SEED-Story显示了在风格和角色一致性、故事吸引力以及图像-文本一致性方面相较于基准模型的优越性。长故事生成实验证明了多模态注意力汇聚在生成长序列时相对于其他方法的高效性和质量保持能力。
结论
SEED-Story是一种创新的多模态长故事生成方法，它利用了MLLM的强大能力，并通过多模态注意力汇聚机制，高效生成长序列故事。StoryStream数据集的引入，进一步促进了模型训练和基准测试的有效性。
参考文献
[1] SEED-Story: Multimodal Long Story Generation with Large Language Model
AI生成未来
文章来源：
AI生成未来
扫码关注公众号
相关推荐
AI时代不仅止于技术创新，还在于把技术上的创新点以一个用户可感知的方式展示了出来。
还在用多套工具管项目？
一个平台搞定产品、项目、质量与效能，告别整合之苦，实现全流程闭环。
查看方案
AI生成未来的其他文章
北航&美团等最新EditThinker：给AI修图装上“大脑”，Flux、OmniGen2瞬间智商暴涨！
点击下方卡片，关注“AI生成未来”????扫码免费加入A
即插即用，无痛增强模型生成美感！字节跳动提出VMix:细粒度美学控制，光影、色彩全搞定
点击下方卡片，关注“AI生成未来”后台回复“GAI”??
字节&UC伯克利新研究 | Magic-Me：简单有效的主题ID可控视频生成框架
关注【AI生成未来】公众号，回复“GAI”，免费获取??
长视频AI推理的“圣杯”！英伟达、MIT、港大、UC伯克利等重磅开源Long-RL
点击下方卡片，关注“AI生成未来”如您有工作需要??
超越α！PixArt家族新秀PixArt-Σ: 由弱到强训练的文本生成4K图像DiT（华为诺亚）
点击下方卡片，关注“AI生成未来”>>后台回复“
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
白皮书上线
-
联系我们
电话：4006 8899 23 邮箱：beining@chandao.com -
融实践库
关于我们 加入我们立即学习
微信号：rongpmcom
-
微信公众号
-
微信视频号
-
社区微信群
