F
Member
排行榜上的基准测试（benchmark）让模型对比变得可讨论，但“榜一”并不自动等于“你的业务里最好用”。理解评测局限，比多背几个分数更重要。
一、基准在测什么
多数公开基准是在固定题集上测准确率、得分或偏好胜率。它适合观察某种能力维度的相对变化，例如知识问答、代码题、数学推理、安全拒答等。题目公开越久，越要担心数据污染：模型可能在训练阶段见过相似题，分数会被抬高却不代表泛化。即便没有直接泄漏，题型套路化也会让“刷题技巧”冒充能力。
二、常见局限
真实任务往往多步骤、需工具、需领域术语与长期记忆，而基准多为短问答。自动判分喜欢标准答案，对开放式写作与主观质量不敏感；用模型当裁判又会引入裁判偏好。提示格式、解码参数、是否允许工具，都会大幅改变分数，跨论文直接横比很容易不公平。还有“为榜优化”的风险：专攻题型技巧，不等于稳健能力。业务里常见的权限、合规与成本约束，公开榜通常也测不到。
三、更稳妥的用法
把基准当烟雾报警器与回归测试：发版前后看有没有崩，而不是当采购唯一依据。业务侧应建设私有评测集，覆盖真实用例、长尾与安全红线，并混合自动指标与人工抽检。对外沟通时写清评测条件；对内决策时问：这个分上升，对应哪类用户体验会变好？若答不上来，分数就只是分数。
同一套题，换提示模板或少样本示例，分数波动本身就说明：基准分数对评测协议高度敏感。
站方整理这类主题，是为了给入门读者一张“先建立正确问题意识”的地图，具体参数与实现仍以标准、手册与实测为准。
讨论问题：
1. 你们内部评测集多久更新一次？如何防泄漏到训练？
2. 公开榜与业务满意度打架时，以哪个为准？
3. 用 LLM 当裁判，你们如何校准偏差？
一、基准在测什么
多数公开基准是在固定题集上测准确率、得分或偏好胜率。它适合观察某种能力维度的相对变化，例如知识问答、代码题、数学推理、安全拒答等。题目公开越久，越要担心数据污染：模型可能在训练阶段见过相似题，分数会被抬高却不代表泛化。即便没有直接泄漏，题型套路化也会让“刷题技巧”冒充能力。
二、常见局限
真实任务往往多步骤、需工具、需领域术语与长期记忆，而基准多为短问答。自动判分喜欢标准答案，对开放式写作与主观质量不敏感；用模型当裁判又会引入裁判偏好。提示格式、解码参数、是否允许工具，都会大幅改变分数，跨论文直接横比很容易不公平。还有“为榜优化”的风险：专攻题型技巧，不等于稳健能力。业务里常见的权限、合规与成本约束，公开榜通常也测不到。
三、更稳妥的用法
把基准当烟雾报警器与回归测试：发版前后看有没有崩，而不是当采购唯一依据。业务侧应建设私有评测集，覆盖真实用例、长尾与安全红线，并混合自动指标与人工抽检。对外沟通时写清评测条件；对内决策时问：这个分上升，对应哪类用户体验会变好？若答不上来，分数就只是分数。
同一套题，换提示模板或少样本示例，分数波动本身就说明：基准分数对评测协议高度敏感。
站方整理这类主题，是为了给入门读者一张“先建立正确问题意识”的地图，具体参数与实现仍以标准、手册与实测为准。
讨论问题：
1. 你们内部评测集多久更新一次？如何防泄漏到训练？
2. 公开榜与业务满意度打架时，以哪个为准？
3. 用 LLM 当裁判，你们如何校准偏差？