ICML 2024 | 矛与盾的较量!北大提出提示无关数据防御保护算法PID
发布于 2024-10-25
1054
版权声明
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
AI生成未来
扫码关注公众号
扫码阅读
手机扫码阅读
亮点直击
本文发现提示不匹配可能削弱数据保护算法有效性,探讨利用视觉编码器强化数据保护,并提出一种新算法PID,有效应对不同训练算法、数据集和自适应攻击。
研究问题与实验设置
研究问题包括:提示不匹配对防御算法有效性的影响,像素空间扰动如何影响视觉编码器输出,以及如何提升保护鲁棒性。实验使用CelebA-HQ数据集和Stable Diffusion模型,采用FSGM和ASPL防御方法,度量标准包括人脸检测分数和图像质量评估。
解决方案与验证
通过实证观察,本文提出的PID算法显示出对多样化微调提示的鲁棒性。在测试防御方法时,PID单独作为防御出现显著的保护效果,且计算资源需求较少。
扰动视觉编码器对微调过程的影响
本文通过操纵潜在分布的统计量(均值和方差),显著影响微调结果。通过设计合适的优化目标,证实可以有效操纵潜在分布。
独立于提示的防御机制(PID)
结合影响均值和方差的优势,提出的PID防御目标实现有效的数据保护,并与现有防御策略整合,提升了鲁棒性和转移性。
实验结果
PID在不同数据集和微调方法中表现出色,甚至优于需要更多计算资源的现有防御方法。PID与现有算法混合后增强了鲁棒性,并在面对自适应攻击和数据损坏时展现出良好的抵御能力。
结论
本文提出的PID算法对抗潜在扩散模型的数据保护具有重要意义,其提示无关的特性能有效保护数据免受滥用。
上述HTML内容提供了一个关于原始文章的摘要,其中包含了研究的关键点和实验结果。摘要遵循了原始文章的结构,以便于理解和检索重要信息。AI生成未来
AI生成未来
扫码关注公众号
还在用多套工具管项目?
一个平台搞定产品、项目、质量与效能,告别整合之苦,实现全流程闭环。
查看方案
AI生成未来的其他文章
只需微调,大幅提升人脸生成质量!上交联合OPPO发布新标准和新方法
点击下方卡片,关注“AI生成未来”>>后台回复“
只需一步!One-Step图像转换来了!亲测效果惊艳!(卡内基梅隆&Adobe)
点击下方卡片,关注“AI生成未来”>>后台回复“
斯坦福&UC伯克利开源突破性视觉场景生成与编辑技术,精准描绘3D/4D世界!
点击下方卡片,关注“AI生成未来”后台回复“
全面提升!上海交大等联合发布MegaFusion:无须微调的高效高分辨率图像生成方法
点击下方卡片,关注“AI生成未来”>>后台回复“
超越Text2Video-Zero|无需额外训练,条件生成、专门生成和指令引导的视频编辑全搞定!
点击下方卡片,关注“AI生成未来”>>后台回复“
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
白皮书上线