告别低质生成！可扩展DiT实现全可控角色！腾讯混元&InstantX重磅开源InstantCharacter

文章主旨：

InstantCharacter框架通过扩散Transformer技术，实现高保真、高泛化性及高可控的角色驱动图像生成，为开放领域角色定制和创意产业提供有效解决方案。

关键要点：

• 提出了InstantCharacter框架，基于扩散Transformer（DiT），突破传统方法限制，实现开放域角色生成的高泛化性和高保真度。
• 创新设计可扩展适配器模块，与DiT隐空间交互，支持多阶段角色特征融合。
• 通过三阶段训练策略，优化角色一致性、文本控制性和图像保真度，支持多样化角色定制。
• 构建千万级异构数据集（配对/非配对样本），增强模型在多样化角色外观与风格上的生成能力。
• 实验结果显示，框架在开放域角色生成的质量和文本控制能力上优于现有方法，并实现多风格个性化。

内容结构：

解决的问题：

• 现有基于U-Net的学习方法在开放领域中泛化能力不足，图像质量低。
• 基于优化的方法需针对特定角色微调，导致文本编辑灵活性下降且计算成本高昂。
• 传统适配器无法有效处理扩散Transformer的隐空间对齐，且缺乏足够的训练数据支持。

提出的方案：

• 框架设计：基于扩散Transformer构建，利用其生成先验和可扩展性。
• 适配器模块：全Transformer结构分层整合角色特征，与隐空间交互。
• 训练策略：采用分阶段训练策略优化角色一致性、文本控制性和图像保真度。

应用的技术：

• 扩散Transformer（DiT）替代传统U-Net，生成高质量图像。
• 全Transformer适配器模块支持多阶段特征融合与隐空间交互。
• 构建千万级数据集涵盖真实照片、动漫、游戏资产等多样化样本。
• 分阶段训练策略实现多目标优化。

达到的效果：

• 支持开放域角色定制，适应多样外观、姿态和风格。
• 保持文本编辑灵活性，降低计算成本。
• 生成图像在身份一致性、文本对齐和视觉质量上优于现有方法。
• 适配器设计兼容十亿参数级模型，为未来扩展提供基础。

相关工作：

扩散模型从U-Net架构向扩散Transformer范式转变，为角色定制应用提供了更强大的生成能力，但仍面临身份保持任务的适应性不足问题。本文提出了首个专为角色定制优化的扩散Transformer框架，填补了这一空白。

方法：

• 适配器设计：全Transformer结构，包含通用视觉编码器、中间编码器及投影头模块。
• 三阶段训练策略：包括角色一致性阶段、文本可控性阶段和高分辨率联合训练阶段。

实验与结果：

• 定性结果：与现有方法对比，InstantCharacter在复杂动作提示下表现最佳，保留高保真角色细节并实现精准文本控制。
• 多风格个性化：通过引入不同风格LoRA实现灵活角色风格化，兼顾角色一致性与文本编辑能力。

结论：

InstantCharacter显著推进了角色驱动图像生成，凭借可扩展架构和千万级数据集支持，在多样化角色生成任务中实现高质量、高可控与高效率的统一。

文章总结：

本文为开放领域角色定制提供了创新性解决方案，推动了文本驱动视觉合成的技术进步，为创意产业带来更高效的工具。

从「负能」到「赋能」，聪明的企业这样走

了解更多

AI生成未来

查看原文：告别低质生成！可扩展DiT实现全可控角色！腾讯混元&InstantX重磅开源InstantCharacter

文章来源：

AI生成未来

扫码关注公众号