站务组整理跨语言模型评估中的一个具体问题：两个语义相同的输入，换一种语言后结论是否保持一致。这里的一致性不是要求逐字翻译，而是检查事实关系、条件范围和任务结果是否变化。表面表达自然，不能代替语义对齐。

首先需要确保题目真的等价。某些词在两种语言中覆盖范围不同，礼貌表达也可能改变请求强度；时间、单位和数字格式若没有统一，结果变化可能来自题目差异而非模型能力。最好由熟悉两种语言的人复核关键条件，必要时保留术语表，而不是只靠一次自动翻译生成所有测试题。

可以从机制清楚的小任务开始，例如相同的排序规则、对象属性和集合约束。分别构造两种语言的自然表达，再检查参考答案是否一致。不要把其中一种语言永远作为原文、另一种永远作为生硬译文，否则翻译腔本身就会成为混杂因素。双向构题更有助于发现这类偏差。

评分应落在语言无关的结果上。若任务要求抽取对象关系，可以比较标准化后的关系对；若要求推导条件是否满足，可以比较判定及必要依据。仅用跨语言向量相似度比较回答，可能漏掉数字、否定范围或条件例外的变化。答案长度不同也不应自动视为不一致。

还可测试输入和输出语言的交叉组合，区分理解语言与表达语言的影响。例如同一种输入分别要求用两种语言回答，若结论改变，就值得进一步检查输出语言要求是否触发了不同的解释模式。但这种行为差异不能直接证明内部存在某种特定语言的推理机制。

报告时要保存等价性复核记录，并单列翻译歧义导致的争议样本。对于真实任务，跨语言一致也只是必要检查之一：两个版本可能一致地出错，因此仍需独立参考答案。目标应是发现结论变化的条件和错误类型，而不是根据少量翻译题给所有语言排一个简单优劣顺序。

讨论问题：
1. 你们如何确认两种语言的题目条件真正等价？
2. 输出语言变化会改变结论，还是主要改变解释风格？
3. 哪些错误最容易被语义相似度评分漏掉？