AI 幻觉是指 AI 模型（GAI）生成的内容看似合理连贯，但实际上与事实不符、无法验证或与输入信息矛盾的现象，反映了当前 AI 技术的局限性。
AI 幻觉可以分为内在幻觉和外在幻觉两类:
- 内在幻觉是指 AI 生成的内容与其输入信息存在矛盾，这种错误相对容易通过核对输入和输出来发现。
- 外在幻觉是指 AI 生成的错误内容无法直接从输入信息中验证，通常涉及 AI 编造虚假信息。这类错误更难识别，因为 AI 会以逻辑自洽的方式呈现。
从自然语言处理的角度看，AI 幻觉被定义为：
AI 生成的内容与提供的源内容无关或不忠实。
AI 幻觉的危害包括传播虚假信息、延续有害刻板印象等。一个典型例子是巴西法官在裁决中引用了 AI 提供的错误案例和法律信息。
导致AI幻觉的原因有：
- 训练数据存在错误、偏见或不足；
- 模型对训练数据过拟合；
- 模型缺乏对上下文的充分理解；
- 模型知识面有限,超出训练范围容易犯错；
- 模型架构和训练方式的局限性。
我认为，尽管 AI 幻觉带来诸多问题，但它在一定程度上代表了 AI 的创造力，其负面影响大于收益。
为降低 AI 幻觉所带来的风险，研究人员提出了一些解决思路。如约束模型输出、引入人类反馈校正错误、提高模型透明度等，但目前尚无万全之策。