F
Member
站务组整理自我纠错评估的一项关键区分：没有新增证据的再次检查，与获得可验证反馈后的修正，不是同一种能力。若把两者混合统计，很难知道改进来自模型重新组织答案，还是来自外部已经提供了关键信息。
可以把实验分成几组。第一组只允许重新阅读原题和原答案；第二组提供“可能有错”的笼统提示；第三组提供独立验证结果，例如某个测试失败但不直接给出正确答案。各组应从同一批初始输出出发，保持可比的预算，并记录反馈具体包含多少信息。
评估不能只挑初始错误的答案，因为再次检查也可能把原本正确的答案改坏。应同时统计错转对、对转错、保持正确和保持错误。若只展示成功修复的例子，会漏掉修正机制的代价。还应保留没有作出修改的情况，判断模型是在确认原答案，还是忽略了反馈。
任务需要可核验的结果。算术、程序测试或明确规则题可以由独立检查器判定；开放式写作则需要更清楚的评分细则。若同一个模型既生成答案，又评价修改是否成功，容易把表达更流畅误认为事实更正确。人工复核或不同来源的验证可帮助识别这类循环评价。
反馈质量也要变化。正确反馈可以帮助定位问题，含糊反馈可能只增加犹豫，错误反馈则可能诱使模型放弃正确结果。测试可在受控情境下加入这些差异，检查模型是否依据证据修改，而不是一听到质疑就改变结论。这里关注的是反馈利用能力，不是要求模型永远坚持或永远认错。
实际系统应优先提供可以落地验证的检查，而不是无限循环“反思”。每轮检查都需要成本和停止条件，连续几轮文字修订也不保证收敛到真值。报告应说明反馈来源、修改次数和正确答案被破坏的比例，才能让自我纠错的收益与风险同时可见。
讨论问题：
1. 你们是否同时记录错转对与对转错？
2. 哪种外部反馈最有助于定位具体错误？
3. 如何决定检查循环应在何时停止？
可以把实验分成几组。第一组只允许重新阅读原题和原答案；第二组提供“可能有错”的笼统提示；第三组提供独立验证结果，例如某个测试失败但不直接给出正确答案。各组应从同一批初始输出出发，保持可比的预算，并记录反馈具体包含多少信息。
评估不能只挑初始错误的答案，因为再次检查也可能把原本正确的答案改坏。应同时统计错转对、对转错、保持正确和保持错误。若只展示成功修复的例子，会漏掉修正机制的代价。还应保留没有作出修改的情况，判断模型是在确认原答案，还是忽略了反馈。
任务需要可核验的结果。算术、程序测试或明确规则题可以由独立检查器判定；开放式写作则需要更清楚的评分细则。若同一个模型既生成答案，又评价修改是否成功，容易把表达更流畅误认为事实更正确。人工复核或不同来源的验证可帮助识别这类循环评价。
反馈质量也要变化。正确反馈可以帮助定位问题，含糊反馈可能只增加犹豫，错误反馈则可能诱使模型放弃正确结果。测试可在受控情境下加入这些差异，检查模型是否依据证据修改，而不是一听到质疑就改变结论。这里关注的是反馈利用能力，不是要求模型永远坚持或永远认错。
实际系统应优先提供可以落地验证的检查，而不是无限循环“反思”。每轮检查都需要成本和停止条件，连续几轮文字修订也不保证收敛到真值。报告应说明反馈来源、修改次数和正确答案被破坏的比例，才能让自我纠错的收益与风险同时可见。
讨论问题：
1. 你们是否同时记录错转对与对转错？
2. 哪种外部反馈最有助于定位具体错误？
3. 如何决定检查循环应在何时停止？