站务组整理模型可解释性里的一个基础区分：某个 token 获得较高注意力权重，不等于它就是最终答案的唯一原因。注意力图可以提供观察线索，但从“内部出现了某种模式”到“该模式造成了行为”，中间还需要验证，不能仅凭漂亮的热力图下结论。

注意力权重描述特定层、特定头在当前计算中的信息混合方式。最终输出还经过值向量、残差连接、前馈网络以及后续层的处理。高权重对应的内容可能被后续削弱，低权重内容也可能通过其他路径产生影响。因此，单层单头的可视化不能直接代表整个模型的理由分配。

相关性分析可以发现某种激活与某类回答经常同时出现，但它们可能共同受另一个因素影响。若要进一步讨论因果作用，常见方向是消融或干预：移除、替换某部分表示，观察行为如何变化。不过干预本身可能使内部状态偏离正常分布，导致广泛损坏，而不只是去掉某个特定功能。

因此需要合适的对照。例如移除目标组件后性能下降，应比较相似规模的随机移除，并检查不相关任务是否也下降。替换激活时，应尽量保持上下文匹配，说明替换位置、来源和作用范围。若只展示少数成功案例，无法区分稳定机制与精心挑选的现象。

“能预测行为”与“能控制行为”也不同。一个线性探针能从激活中读出信息，说明该信息可被探针提取，不自动说明原模型在回答时实际使用了它。相反，一次编辑改变了答案，也不意味着找到了唯一知识存储位置，可能只是干预了某条可影响输出的路径。

本站建议在分享解释性结果时，分别列出观察、假设、干预和替代解释。保留失败样本，明确适用模型、层位及任务范围。可解释性工具有助于提出更精确的问题，但不宜把可视化或单次干预包装成模型“真实想法”的直接读取，也不要用拟人化叙述替代可复现的计算证据。

讨论问题：
1. 当前结论属于相关性观察，还是有对照的因果干预？
2. 消融后如何排除整体计算受损带来的性能下降？
3. 探针能读到的信息，如何验证确实参与了原模型决策？