F
Member
站务组整理因果问题中的一个核心区分：观察到某件事，与主动改变某件事，不是同一种信息。模型能够讲出“相关不等于因果”，还需要在具体问题中真正保持这个区分，而不是仅在解释段落重复术语。
可以用简单的合成机制构题。假设一个共同因素同时影响指示灯和设备状态，看到灯亮可能帮助判断设备，但强行点亮指示灯未必改变设备状态。这只是用于测试的虚构机制，不描述任何具体产品。问题分别询问“观察灯亮后怎样判断”与“仅改变灯之后会怎样”，正确答案由给定机制决定。
出题时应明确哪些变量可以被干预，干预切断了哪些原有依赖。若没有提供机制或其他足够识别条件，模型不应凭一个相关表格断言唯一因果方向。对于信息不足的题，可以把识别缺失条件作为评分内容，而不是强迫模型猜一个看似完整的因果故事。
控制表面线索也很重要。同一因果图可以使用灯、容器或抽象符号等不同描述，检查模型是否依赖熟悉常识而忽略题设。还可以保持变量名称不变，只改变其中一条依赖关系，观察预测是否相应变化。若名称变化就失效，而机制变化却不影响答案，可能暴露了表层联想。
评分需分别检查结论与依据。模型给出正确方向，却援引题设不存在的机制，不能与完整正确等同；模型承认无法识别，也不一定是逃避，关键是缺失信息是否确实必要。最好由测试者先画出依赖图或写出结构方程，再据此人工核验参考答案。
更复杂的反事实还要区分“在同一个体已有观察条件下改动因素”与“总体上实施干预”。二者不能不加说明地混用。初始测试应控制变量少、机制清楚，再逐步增加隐藏因素和选择条件。目标是定位观察、干预与反事实之间的具体混淆，而不是用一道题给模型贴上会或不会因果推理的标签。
讨论问题：
1. 你们会把信息不足作为合法答案吗？
2. 换变量名称与换因果机制，哪一种更容易改变输出？
3. 如何分别评估结论正确和机制解释正确？
可以用简单的合成机制构题。假设一个共同因素同时影响指示灯和设备状态，看到灯亮可能帮助判断设备，但强行点亮指示灯未必改变设备状态。这只是用于测试的虚构机制，不描述任何具体产品。问题分别询问“观察灯亮后怎样判断”与“仅改变灯之后会怎样”，正确答案由给定机制决定。
出题时应明确哪些变量可以被干预，干预切断了哪些原有依赖。若没有提供机制或其他足够识别条件，模型不应凭一个相关表格断言唯一因果方向。对于信息不足的题，可以把识别缺失条件作为评分内容，而不是强迫模型猜一个看似完整的因果故事。
控制表面线索也很重要。同一因果图可以使用灯、容器或抽象符号等不同描述，检查模型是否依赖熟悉常识而忽略题设。还可以保持变量名称不变，只改变其中一条依赖关系，观察预测是否相应变化。若名称变化就失效，而机制变化却不影响答案，可能暴露了表层联想。
评分需分别检查结论与依据。模型给出正确方向，却援引题设不存在的机制，不能与完整正确等同；模型承认无法识别，也不一定是逃避，关键是缺失信息是否确实必要。最好由测试者先画出依赖图或写出结构方程，再据此人工核验参考答案。
更复杂的反事实还要区分“在同一个体已有观察条件下改动因素”与“总体上实施干预”。二者不能不加说明地混用。初始测试应控制变量少、机制清楚，再逐步增加隐藏因素和选择条件。目标是定位观察、干预与反事实之间的具体混淆，而不是用一道题给模型贴上会或不会因果推理的标签。
讨论问题：
1. 你们会把信息不足作为合法答案吗？
2. 换变量名称与换因果机制，哪一种更容易改变输出？
3. 如何分别评估结论正确和机制解释正确？