【每日一学 20261105】《程序员生存手册》——什么?大模型还能产生幻觉

2026-11-05 10:31:00
蓉蓉
原创
16

幻觉,即一种看似真、实为假的感受。你知道吗?大模型也会产生幻觉。


关于大模型幻觉(Hallucination),人们普遍接受的说法是这样的:大模型的幻觉问题,是指模型基于有限元素和强大的语言表达能力,生成的逻辑上似乎合理但实际不符合已知常识的描述。


直白来说,大模型幻觉就是“一本正经地胡说八道”。它就好像饭桌上那个爱吹牛的熟人,推杯换盏间,嘴里几句真话、几句假话,不得而知。


物理学家玻尔说过:“对于像我们这样相信物理学的人都知道,过去、现在和未来之间的区别只是一种顽固执着的幻觉。”换句话说,时间是一种幻觉。

1.幻觉是大模型的“通病”

2023年,一名联邦法官对纽约市的一家律师事务所处以5000美元罚款。原因是该所的一名律师使用ChatGPT起草了一起人身伤害案件的诉讼文件,而里面捏造了6个案例。


斯坦福大学和耶鲁大学的研究人员在关于3种流行的大语言模型的研究预印本中发现,类似的错误在AI生成的法律输出里极为普遍。


无论是哪种大模型,都会出现不同程度的幻觉。其“症状”的轻重,与科技公司的实力相关。


事实性幻觉强调生成的内容与可验证的现实世界事实之间的差异。其通常表现为与事实不一致或捏造,如在回答历史事件的具体时间或人物关系时出现错误。


忠实性幻觉是指生成的内容与用户构思或输入所提供的上下文的差异,以及生成内容内部的自我一致性。例如,要求总结某一篇文章的主要内容,但模型生成的总结包含了原文中没有提到的观点或信息。

2.如何应对幻觉

幻觉无法根除,那我们作为使用者,该如何应对呢?答案就是尽可能地减轻幻觉。
对我们普通使用者来说,减轻幻觉的一个直接方法是调教AI,并对其给出的内容保持批判的态度。

(1)不依赖单一来源

不要只依赖大模型作为获取信息的唯一来源,尝试结合多个渠道的信息进行综合判断。

(2)保持批判性思维

对大模型的输出保持警惕,思考其合理性和逻辑性,查验它给出的信息。

(3)选择可靠的平台和工具

可以选择大企业开发的模型,这些大模型通常实力更强,幻觉也会更少。


从技术层面来说,现在很多团队也开始着手研究如何减少大模型幻觉。

(1)高等提示词

通过编写更具体的提示词,如多事例学习,以及使用新的工具来优化提示词,减少大语言模型的幻觉问题。

(2)MetaAI公司提出了大模型自验证的验证链CoVe( Chain of Verification )

提前拟定一个验证计划,通过生成初始响应、组织验证问题、独立回答这些问题并生成最终经过验证的响应,来减少大模型的幻觉,提高响应准确性。

(3)共形抽离( Conformal Abstention )

2024年5月发表的一篇论文《通过共形抽离缓解大语言模型幻觉》中提出,通过应用共形预测技术,避免给出不合逻辑的响应,从而减少大语言模型中的幻觉。

(4)递归抽象检索

斯坦福大学的一篇论文中提出了RAPTOR(递归抽象处理树组织检索)模型,通过建立更高层次的树状结构,在不同抽象层的文档中进行检索,找到匹配片段,减少幻觉现象。

3.大模型幻觉,“造梦”的工具

读到这里,大家会觉得这部分内容都是正确的吗?不是的,本小节节首部分的那句话并不是物理学家玻尔说的,而是爱因斯坦说的。没有看过原句的朋友,很可能把它当真,然后用在别处。


大模型会产生幻觉,人也会,人的交流也并不是百分之百地准确和真实,所以我们不用对大模型幻觉太过紧张。不过,对于需要运用数据进行分析等的严谨工作,的确不建议依赖大模型,因为这要求具备出色的筛选和辨别大模型所提供的数据真伪的能力,非常考验个人的能力素养。


换个角度来看,大模型幻觉也有好处:对于一些需要“造梦”或者“创造性”的内容来说,创意比准确性更重要,而幻觉正好可以提供很多灵感。


在AI不断发展的当下,大语言模型如同一把双刃剑,既带来了前所未有的机遇,也带来了诸多挑战。我们在惊叹于其强大能力的同时,也不能忽视其存在的问题。


未来,随着技术的不断进步,我们相信,大语言模型和AI将在更多领域发挥更大的作用。这更需要我们以科学的态度、创新的思维和严谨的实践去不断探索和完善,让AI更好地为人类服务。


来源:《程序员生存手册》

发表评论
通过审核后显示您的意见