ECCV`24 | 艺术文本和场景文本分割任务新SOTA 方法!华科&Adobe提出WAS!
发布于 2024-10-22
1696
版权声明
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
AI生成未来
扫码关注公众号
扫码阅读
手机扫码阅读
亮点摘要
- 提出了艺术文本分割任务,并构建了一个真实数据集用于基准测试。
- 设计了训练数据合成策略,生成了包含10万对图像-mask的合成数据集。
- 引入了逐层动量查询机制和骨架辅助头,以应对局部笔画变化和全局结构复杂性。
- 在艺术文本分割和场景文本分割任务中取得了最先进(SOTA)的成果,简化了实验范式。
数据集概述
提出了两个艺术文本数据集,WAS-R由真实世界文本图像组成,WAS-S由合成文本图像组成。WAS-R包含7,100张图像,并提供了详细的标注,包括最小四边形检测框、文本转录及文本效果。WAS-S合成数据集使用文本图像生成模型、Monkey语言模型和GPT-4配合 Mask Render技术生成。
方法介绍
WASNet模型基于Mask2Former架构,增加骨架辅助头和逐层动量查询改进了Transformer解码器。引入了mask注意力机制和逐层动量查询来应对艺术文本的局部笔画多样性。骨架辅助头提取对象中心轴,帮助捕捉文本全局结构。
实验结果
WASNet在WAS-R数据集上表现优越,超越了其他语义分割和文本分割模型。也在公开的场景文本分割数据集上验证了模型的泛化能力,取得了竞争力或最先进的结果。消融研究表明,提出的模块和合成数据集有效提升了性能。
结论与展望
本文聚焦于艺术文本分割任务,提出了真实和合成数据集,并通过引入逐层动量查询和骨架辅助头,显著提升了艺术文本分割的性能和泛化能力。期望未来有更多研究关注这一任务,改变文本分割的实验范式。
AI生成未来
AI生成未来
扫码关注公众号
还在用多套工具管项目?
一个平台搞定产品、项目、质量与效能,告别整合之苦,实现全流程闭环。
查看方案
AI生成未来的其他文章
港科大等提出音频驱动多人视频生成新范式 AnyTalker,解锁任意数量角色间的自然互动!
点击下方卡片,关注“AI生成未来”????扫码免费加入A
超越CogVideoX-5B、Pika、Kling 和 Gen-3!苹果再发新作,视频生成大模型全面报告
点击下方卡片,关注“AI生成未来”后台回复“GAI”??
AI镜头控制黑科技喜提多项SOTA!浙大&上交等发布统一多模态视频生成框架OmniCam
点击下方卡片,关注“AI生成未来”如您有工作需要??
AI论文润色平台一览,让你的论文更加流畅易懂!
关注【AI生成未来】公众号,回复“GAI”,免费获取??
让SD系列和FLUX.1无痛升级!浙大&vivo提出CoMPaSS:文生图空间理解能力暴涨!
点击下方卡片,关注“AI生成未来”后台回复“GAI”??
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
白皮书上线