F
Member
站务组整理一类容易被简单排序掩盖的理解任务:时间区间推理。模型可以正确排列几个日期,却仍可能混淆“在某时之前完成”“在某时开始”与“在一段时间内持续有效”。这些问题的难点是关系与边界,而不是记住日历事实。
先把事件写成开始与结束两个端点。两件事可能先后发生、部分重叠、一个包含另一个,或恰好在边界相接。只记录一个时间戳,会丢失持续信息。例如一项权限在某段时间有效,询问某操作是否发生在有效期内,需要明确比较的是提交、处理还是完成时刻,不能把它们默认成同一事件。
题目还应说明边界是否包含。“截至某时”在自然语言里可能存在解释空间,测试者应写清规则,或把提出澄清作为合理行为。对于只知道先后关系的题,不应凭空补出持续时间;对于缺少结束时刻的事件,也不能默认一直持续到最后一次提及。
构造对照时,可以只移动一个端点,形成刚好重叠与刚好不重叠的两题。若采用日期,应先控制时区、日期格式和跨日条件,避免测试无意中变成格式识别题。也可先使用抽象刻度,确保模型面对的是区间关系,再逐步加入真实日期表示。
评分不宜只检查最终一句“可以”或“不可以”。建议要求输出所依据的事件区间及比较关系,这些是可核验的外部论证,不必要求声称展示内部思维。若模型给出的端点已经正确,却在比较上出错,可以定位关系推理;若端点本身错,则应回到信息抽取环节。
同一事件的叙述顺序也可以打乱,检查模型是否错误地把文本先后当作时间先后。倒叙、补充说明和明确时间标记之间应保持一致。最终记录具体失效类型:端点遗漏、边界误判、时区混用或顺序捷径,比一个总成功率更方便后续改进,也不会将时间理解无限扩大为所有规划能力。
讨论问题:
1. 端点相等时,测试规则是否明确说明包含关系?
2. 改变叙述顺序会不会改变同一事件的判断?
3. 你们会分别记录时间抽取和区间比较错误吗?
先把事件写成开始与结束两个端点。两件事可能先后发生、部分重叠、一个包含另一个,或恰好在边界相接。只记录一个时间戳,会丢失持续信息。例如一项权限在某段时间有效,询问某操作是否发生在有效期内,需要明确比较的是提交、处理还是完成时刻,不能把它们默认成同一事件。
题目还应说明边界是否包含。“截至某时”在自然语言里可能存在解释空间,测试者应写清规则,或把提出澄清作为合理行为。对于只知道先后关系的题,不应凭空补出持续时间;对于缺少结束时刻的事件,也不能默认一直持续到最后一次提及。
构造对照时,可以只移动一个端点,形成刚好重叠与刚好不重叠的两题。若采用日期,应先控制时区、日期格式和跨日条件,避免测试无意中变成格式识别题。也可先使用抽象刻度,确保模型面对的是区间关系,再逐步加入真实日期表示。
评分不宜只检查最终一句“可以”或“不可以”。建议要求输出所依据的事件区间及比较关系,这些是可核验的外部论证,不必要求声称展示内部思维。若模型给出的端点已经正确,却在比较上出错,可以定位关系推理;若端点本身错,则应回到信息抽取环节。
同一事件的叙述顺序也可以打乱,检查模型是否错误地把文本先后当作时间先后。倒叙、补充说明和明确时间标记之间应保持一致。最终记录具体失效类型:端点遗漏、边界误判、时区混用或顺序捷径,比一个总成功率更方便后续改进,也不会将时间理解无限扩大为所有规划能力。
讨论问题:
1. 端点相等时,测试规则是否明确说明包含关系?
2. 改变叙述顺序会不会改变同一事件的判断?
3. 你们会分别记录时间抽取和区间比较错误吗?