AK 的这个理论很有意思:幻觉是大语言模型与生俱来的特性,像搜索引擎这样没有幻觉的就没有创造性,永远是固定的结果。
要解决幻觉问题,靠的是像ChatGPT这样的大语言模型助手,借助RAG、验证链、外部工具等手段去减少幻觉。
以下是原文翻译:
深入探讨“幻觉问题”
每当有人问起大语言模型(LLM)中的“幻觉问题”,我总感到有些困惑。因为从某种角度看,大语言模型的全部工作恰恰就是制造幻觉。它们就像是造梦机。
我们通过指令引导这些“梦”。指令开启梦境,而大语言模型依据对其训练文档的模糊记忆,大部分情况下都能引导梦境走向有价值的方向。
只有当这些梦境进入了事实错误的领域时,我们才会称之为“幻觉”。这似乎是个漏洞,但实际上只是大语言模型在做它本就擅长的事情。
再来看一个极端例子:搜索引擎。它根据输入的提示词,直接返回数据库中最相似的“训练文档”,一字不差。可以说,这种搜索引擎存在“创造力问题”——它无法提供任何新的回应。大语言模型则是百分之百地“做梦”,因此存在幻觉问题。而搜索引擎则完全不“做梦”,因此有创造力问题。
话虽如此,我明白人们真正关心的是,他们不希望像 ChatGPT 这样的大语言模型助手产生幻觉。大语言模型助手系统比单纯的大语言模型要复杂得多,即便大语言模型是其核心。在这些系统中减少幻觉的方法有很多,例如使用检索增强生成(Retrieval Augmented Generation, RAG),通过上下文学习,更准确地将输出内容与真实数据联系起来,这可能是最常见的方式。还有样本间的不一致性、反思、验证链、从激活状态解码不确定性、工具使用等,这些都是非常热门而且有趣的研究领域。
总的来说,虽然可能有些吹毛求疵,但大语言模型本身并没有“幻觉问题”。幻觉并非缺陷,而是大语言模型最重要的特性。真正需要解决幻觉问题的是大语言模型助手,而我们也应该着手解决这一问题。
好了,吐槽完这些我感觉舒服多了 :)