作者| Rahul Pradhan

来源| https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html

人工智能有望成为当代最具影响力的技术。最近在transformer技术和生成式人工智能方面取得的进展已经展示了其大规模释放创新和独创性的潜力。

然而，生成式人工智能并非没有挑战——这些挑战甚至可能会严重阻碍这一变革性技术的应用和价值创造。随着生成式人工智能模型的复杂性和能力不断提高，它们也带来了独特的挑战，包括生成不基于输入数据的输出。

这些所谓的 "幻觉 "是指模型产生的输出结果虽然连贯，但可能脱离了事实或输入背景。本文将简要介绍生成式人工智能的变革性影响，审视该技术的不足和挑战，并讨论可用于缓解幻觉的技术。

生成式人工智能的变革效应

生成式人工智能模型使用一种被称为深度学习的复杂计算过程来识别大量数据集中的模式，然后利用这些信息创建新的、令人信服的输出。这些模型通过结合称为神经网络的机器学习技术来实现这一目标，神经网络的灵感来源于人脑处理和解释信息的方式，然后随着时间的推移从中学习。

OpenAI 的 GPT-4 和谷歌的 PaLM 2 等生成式人工智能模型有望加速自动化、数据分析和用户体验方面的创新。这些模型可以编写代码、总结文章，甚至帮助诊断疾病。然而，这些模型的可行性和最终价值取决于它们的准确性和可靠性。在医疗保健、金融或法律服务等关键领域，可靠的准确性至关重要。但对于所有用户来说，要释放生成式人工智能的全部潜力，就必须解决这些挑战。

大型语言模型的缺点

LLM 从根本上说是概率性和非确定性的。它们根据下一个特定词序出现的可能性生成文本。LLM 没有知识概念，完全依赖于通过训练有素的数据语料库作为推荐引擎进行导航。它们生成的文本一般遵循语法和语义规则，但完全以满足与提示的统计一致性为基础。

LLM 的这种概率性质既是优点也是缺点。如果目标是得出正确答案或根据答案做出关键决定，那么幻觉就是不好的，甚至会造成损害。然而，如果目标是创造性的努力，那么可以利用 LLM 培养艺术创造力，从而相对较快地创作出艺术作品、故事情节和剧本。

然而，无论目标如何，无法信任 LLM 模型的输出都会造成严重后果。这不仅会削弱人们对这些系统能力的信任，还会大大降低人工智能对加速人类生产力和创新的影响。

最终，人工智能的好坏取决于它所训练的数据。LLM 的幻觉主要是数据集和训练的缺陷造成的，包括以下方面：

• 过度拟合： 当模型对训练数据（包括噪声和异常值）的学习效果太好时，就会出现过度拟合。模型的复杂性、训练数据的噪声或训练数据的不足都会导致过度拟合。这会导致低质量的模式识别，使模型无法很好地泛化到新数据中，从而导致分类和预测错误、与事实不符的输出、信噪比低的输出或完全的幻觉。
• 数据质量： 用于训练的数据的错误标记和错误分类可能在幻觉中起重要作用。有偏差的数据或缺乏相关数据实际上会导致模型输出结果看似准确，但可能被证明是有害的，这取决于模型建议的决策范围。
• 数据稀缺： 数据稀缺或对新鲜或相关数据的需求是导致幻觉并阻碍企业采用生成式人工智能的重要问题之一。使用最新内容和上下文数据刷新数据有助于减少幻觉和偏见。

解决大型语言模型中的幻觉

有几种方法可以解决 LLM 中的幻觉问题，包括微调、提示工程和检索增强生成 (RAG) 等技术。

• 微调是指使用特定领域的数据集重新训练模型，以便更准确地生成与该领域相关的内容。然而，重新训练或微调模型需要较长的时间，此外，如果不持续训练，数据很快就会过时。此外，重新训练模型也会带来巨大的成本负担。
• 提示工程旨在通过在输入中提供更多描述性和说明性特征作为提示，帮助 LLM 得出高质量的结果。为模型提供额外的上下文并使其立足于事实，这样就能降低模型产生幻觉的可能性。
• 检索增强生成（RAG）是一种侧重于用最准确、最新的信息为 LLM 提供基础的框架。通过实时向模型提供来自外部知识库的事实，可以改善 LLM 的响应。

检索增强生成和实时数据

检索增强生成是提高大型语言模型准确性的最有前途的技术之一。事实证明，RAG 与实时数据相结合可大大减轻幻觉。

RAG 使企业能够利用最新的专有数据和上下文数据利用 LLM。除了减少幻觉之外，RAG 还能利用特定语境信息丰富输入内容，从而帮助语言模型生成更准确、与语境更相关的响应。在企业环境中，微调往往是不切实际的，但 RAG 提供了一种低成本、高收益的替代方案，可用于提供个性化、信息灵通的用户体验。

为了提高 RAG 模型的效率，有必要将 RAG 与可操作的数据存储结合起来，该数据存储能够以 LLMs 的母语存储数据，即被称为嵌入的高维数学向量，用于编码文本的含义。当用户提出查询时，数据库会将其转换为数字向量。这样，无论是否包含相同的术语，都可以通过向量数据库查询相关文本。

高可用性、高性能、能够使用语义搜索存储和查询海量非结构化数据的数据库是 RAG 流程的关键组成部分。