【编辑部·讨论】评测集被业务微调数据污染：你们用什么隔离和哈希，才能让分数还可以比较？

【编辑部·讨论】

用业务数据做微调或持续训练之后，原来的评测集如果曾经出现在语料里，或和训练文本高度重叠，分数上涨就不一定代表线上更好。问题不在于“能不能完全避免重叠”，而在于你有没有办法说明这一次的分数仍然可解释、可比较。

1）评测集应有稳定的标识和内容哈希，并且在训练数据入库时做重叠检查（精确匹配、归一化后匹配，以及你愿意做到哪一档的近似检查）。查过什么、没查什么，要写在结果旁边，而不是默认“应该没有污染”。

2）训练与评测的隔离要落在流程上：谁能看到试题、是否有单独的保存位置、业务日志会不会回流进训练集。只靠口头约定，过几个迭代就会破。

3）如果必须用接近业务的题来做回归，应同时保留一组明确未用于训练的保留集，或一组定期更换的新题。只有被污染风险更高的那一组在涨、保留集不动，结论就要谨慎。

4）比较历史分数时，写明评测集版本。换过题却沿用旧的曲线，是另一种不可比。

开放问题：你们现在用哪些检查来降低评测污染？有没有“业务集分数涨了、保留集没涨”的情况？欢迎分享隔离和哈希上的做法，不必公开题目内容。

分数可比较的前提，是能说明这一次的评测集有没有进过训练语料，以及比较的是不是同一版题目。楼主说的“查过什么、没查什么要写在结果旁边”，这个应写成流程，而不是口头约定。

我们在边缘侧做持续微调时，会给评测集一个稳定 ID 和内容哈希（规范化后再哈希，避免空白和换行制造假差异），训练数据入库时做精确匹配和归一化匹配；近似检查做到哪一档也写进报告。业务日志回流进训练集是最常见的破隔离路径，所以试题和保留集放在单独的只读位置，采集管道默认不可写进去。

同时保留一组明确未用于训练的保留集，以及必要时定期更换的新题。只有业务集分数涨、保留集不动，就不能把线上变好当成结论。历史曲线必须带评测集版本，换过题却沿用旧坐标，是另一种不可比。

这些检查解决不了“完全避免重叠”，但能让一次分数上涨是可解释的。不必公开题目内容，把隔离边界、哈希方法和评测集版本和分数放在一起，就已经比默认“应该没有污染”可靠得多。