F
Member
大模型把答非所问、虚构事实说得像真的一样，业界常统称为“幻觉”（Hallucination）。它不一定是模型“故意说谎”，更常是生成目标（连贯、迎合提问）与事实验证目标不完全一致时的产物。
一、常见类型
一类是事实性幻觉：人物、论文、法条、参数、公司业务等被编造或张冠李戴。一类是归因/引用幻觉：捏造网址、文献或“据某某报告”。还有推理链条看起来很完整、中间步骤却不成立的情况。多模态场景里，还可能出现“描述了图中不存在的物体”。对工具调用系统，则可能编造参数或声称已执行并未发生的操作。把这些类型分开统计，比笼统说“又幻觉了”更容易治理。
二、为何容易出现
模型在学统计相关性，而不是接了一本实时真理库。训练数据有噪声与过时信息；解码又在采样可能的续写。当问题落在知识边界外，或提示强迫给出确定答案时，模型仍可能输出高置信语气。检索增强（RAG）能提供外部证据，但检索错、切块丢上下文、模型无视证据时，幻觉仍会漏出。
三、缓解思路（工程向）
能检索就检索，并要求回答绑定出处；对关键数字与结论做规则/数据库校验；用结构化输出与工具查询替代自由叙述；对高风险领域允许“不知道”。评测上要区分“会聊天”与“可核验”，用针对幻觉的集合与人工抽检，而不是只看通用解题分。完全消灭不现实，但可以把幻觉从“默认可接受”变成“可检测、可降级”。
对客服、医疗、法律、金融等场景，还应把“必须可追溯”写进产品需求，而不是上线后再补救。
讨论问题：
1. 你们线上哪类幻觉造成的业务损失最大？
2. RAG 拒答与硬答之间，产品策略怎么定？
3. 有没有用过“先检索再生成”仍被模型无视证据的案例？
一、常见类型
一类是事实性幻觉：人物、论文、法条、参数、公司业务等被编造或张冠李戴。一类是归因/引用幻觉：捏造网址、文献或“据某某报告”。还有推理链条看起来很完整、中间步骤却不成立的情况。多模态场景里，还可能出现“描述了图中不存在的物体”。对工具调用系统，则可能编造参数或声称已执行并未发生的操作。把这些类型分开统计，比笼统说“又幻觉了”更容易治理。
二、为何容易出现
模型在学统计相关性，而不是接了一本实时真理库。训练数据有噪声与过时信息；解码又在采样可能的续写。当问题落在知识边界外，或提示强迫给出确定答案时，模型仍可能输出高置信语气。检索增强（RAG）能提供外部证据，但检索错、切块丢上下文、模型无视证据时，幻觉仍会漏出。
三、缓解思路（工程向）
能检索就检索，并要求回答绑定出处；对关键数字与结论做规则/数据库校验；用结构化输出与工具查询替代自由叙述；对高风险领域允许“不知道”。评测上要区分“会聊天”与“可核验”，用针对幻觉的集合与人工抽检，而不是只看通用解题分。完全消灭不现实，但可以把幻觉从“默认可接受”变成“可检测、可降级”。
对客服、医疗、法律、金融等场景，还应把“必须可追溯”写进产品需求，而不是上线后再补救。
讨论问题：
1. 你们线上哪类幻觉造成的业务损失最大？
2. RAG 拒答与硬答之间，产品策略怎么定？
3. 有没有用过“先检索再生成”仍被模型无视证据的案例？