扫码阅读
手机扫码阅读

人类与AI的战争,从「奶奶漏洞」开始

29 2024-09-29

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:人类与AI的战争,从「奶奶漏洞」开始
文章来源:
数字生命卡兹克
扫码关注公众号

几个月前,一种名为"奶奶漏洞"的Prompt Injection现象引起了广泛关注。这种漏洞使得GPT大模型能够被操纵输出Windows 11专业版的序列号。尽管这个漏洞很快被OpenAI修复,但是它标志着人们开始意识到大模型和AI可以以意想不到的方式被利用。

自从奶奶漏洞被大众所知后,普通人开始尝试以各种方式"坑蒙拐骗"大模型,例如NewBing对验证码的处理就曾遭到了利用奶奶漏洞的攻击。尽管OpenAI和微软可以持续对这些漏洞进行封堵,但似乎无法完全阻止这种行为。

Prompt Injection实质上是一种提示词注入攻击,它使得大模型执行开发者所禁止的操作。这与Prompt Engineering本质相同,但后者是出于正面目的而进行的优化,而前者则是出于恶意。这种攻击可能目前看起来影响有限,但随着AI更深入地融入人类生活,潜在的威胁将越来越大。

举例来说,未来AI可能被操纵发射核弹,或在自动驾驶领域中,被植入的提示词可能引起严重的交通事故。这些例子展示了Prompt Injection在多模态攻击中的潜在风险。

尽管目前有工程化的解决方案去检测和拦截这类攻击,例如敏感词检测和输入内容后的检测,但是阻止真正的Prompt Injection攻击仍然是个挑战。在AI不断发展的趋势中,人类与AI之间的攻防战可能会持续不断。

「奶奶漏洞」的出现作为一种启蒙运动,使得普通用户开始意识到大模型并不完美,充满漏洞。这场人类与AI之间的攻防战才刚刚开始,其影响可能会持续扩展,影响未来的各个方面。

想要了解更多内容?

查看原文:人类与AI的战争,从「奶奶漏洞」开始
文章来源:
数字生命卡兹克
扫码关注公众号