《黑客帝国》雏形已现？腾讯造出“可对话游戏宇宙”，实时生成、任意交互，世界为你改变！

文章主旨：

文章介绍了Hunyuan-GameCraft-2，一个针对交互式游戏世界建模的新范式，整合多模态控制信号，提出自动化数据管道和评估基准，实现高质量、实时的交互式视频生成。

关键要点：

• 提出了统一的可控视频生成框架，支持自然语言、键盘和鼠标信号的指令驱动交互。
• 通过自回归蒸馏、随机化长视频微调和KV缓存机制，解决交互式长视频生成的质量与一致性问题。
• 开发了自动化管道，将文本-视频对转化为交互式数据集，并定义了交互式视频数据的标准。
• 引入InterBench基准，从多个维度评估交互性能，验证了模型在交互保真度、视觉质量和时间一致性上的优越表现。
• 通过实时优化技术（如FP8量化、并行解码等），实现稳定的16帧/秒实时交互视频生成。

内容结构：

1. 现存问题

• 动作模式僵硬和标注成本高，限制动态交互建模。
• 缺乏交互定义和高效数据构建流程。
• 长视频生成中长期一致性难以保证。

2. 提出的解决方案

• 指令驱动的灵活控制框架，结合文本、键盘和鼠标信号。
• 定义交互式视频数据，并开发自动化数据管道。
• 统一控制机制，实现语义丰富的交互视频生成。
• 引入InterBench基准，系统评估交互性能。

3. 技术与方法

• 构建于14B MoE基础模型，支持图像到视频生成。
• 自回归蒸馏和随机化长视频微调确保长时序视频生成质量。
• 采用Sink Token和块稀疏注意力优化KV缓存机制。
• 结合FP8量化、并行解码等技术提升实时交互性能。

4. 实验与结果

• 在InterBench基准和通用视频质量指标上表现优异，生成效果领先。
• 定性分析显示模型在交互保真度、动作流畅性和物理合理性上显著优于基线模型。
• 泛化能力强，能处理未见过的交互场景。

5. 总结与意义

Hunyuan-GameCraft-2通过统一多模态控制信号和创新的训练优化技术，推动从被动视频合成向主动用户驱动世界生成的转变，为构建沉浸式AI生成虚拟体验提供重要支持。

文章总结：

这篇文章技术性强，系统性介绍了Hunyuan-GameCraft-2模型及其创新点，为交互式游戏世界建模提供了高质量、实时生成的新基准和解决方案，具有重要的技术推动意义。

IPD（集成产品开发）模式下的产品研发流程

了解更多

AI生成未来

查看原文：《黑客帝国》雏形已现？腾讯造出“可对话游戏宇宙”，实时生成、任意交互，世界为你改变！

文章来源：

AI生成未来

扫码关注公众号