只需微调，大幅提升人脸生成质量！上交联合OPPO发布新标准和新方法

文章摘要

本文旨在优化扩散模型（DMs）在生成人脸细节方面的性能。DMs虽然在根据文本描述生成图像方面取得了成功，但在处理现实生活中复杂细节的场景，尤其是人脸时，常常表现不佳。文章通过人类标注者评估了流行预训练DM生成的人脸质量，并检测了现有度量方法与人类判断的一致性。由于现有度量方法常无法满意地量化人脸质量，作者开发了一种名为Face Score（FS）的新度量方法，并通过微调ImageReward实现了与人类评估较高的一致性。

为了改进DM生成人脸的质量，作者在Stable Diffusion V1.5和Realistic Vision V5.1模型上引入了指导损失，并通过微调实现了人脸质量的提升。通过大量实验验证，该方法在提高人脸质量的同时保持了DMs的通用生成能力。

主要贡献

• 首次系统评估了DMs在生成人脸质量方面的表现，并对比了不同的图像质量度量方法。
• 提出了Face Score作为量化生成人脸质量的新度量方法，并显示了其优越性。
• 提出了指导损失，用于微调DMs以生成更高质量的人脸，并验证了其在不同预训练模型上的有效性。

人类对生成的人脸图像的偏好

文章首先揭示了现有DMs在生成人脸时遇到的问题，然后提出了Face Score来量化生成人脸的合理性和美感。通过人工合成人脸图像的新度量指标Face Score，作者基于大规模的好坏人脸对数据集进行了模型微调，以此来提高生成人脸图像的质量。

改进DMs生成人脸质量的方法

作者提出了指导损失来微调DMs，并通过优化策略如时间步长的选择和自注意力层的微调来进一步提升人脸生成质量。实验结果表明，该方法在提升人脸质量上优于现有方法。

结论

本文聚焦于改善DMs在生成人脸质量上的问题，通过评估和优化人脸图像，提出了新的度量方法和微调策略。尽管目前主要关注于人脸生成，未来的研究将包括其他细节生成问题，如手部质量，以及更多的距离度量和指导损失的形式。