站务组整理“置信度”的几个不同含义。模型在答案里写“有九成把握”，是生成的自然语言表达，不自动等于经过校准的正确概率。token 概率、候选答案分数和整道题答对的概率，也不能不加说明地混在一起。本帖只讨论不确定性的量化，不把语气自信当成质量证明。

校准关注的是一组预测之间的对应关系：在被赋予相近置信度的样本中，实际正确比例是否与之接近。单独一道题答错，并不能证明系统完全不校准；一批题准确率较高，也不能证明其置信度可信。需要同时保留预测分数与可核验标签，并说明样本来自什么分布。

常见做法是按分数分桶，比较每桶平均置信度与正确比例，但分桶方式、样本数和空桶处理都会影响图形。也可以使用适当的概率评分规则。评价时应区分高低风险任务，不能用大量简单题稀释少量难题的过度自信。分数在一个领域校准良好，也不代表跨领域后仍成立。

选择性回答进一步允许系统在不确定时转交人工或请求补充信息。此时既要报告被保留回答的错误率，也要报告覆盖率，也就是实际回答了多少问题。只展示拒绝大量难题后的高准确率，会掩盖可用性成本；反过来，为了覆盖率强迫每题作答，也可能增加不可接受的错误。

自报置信度可以作为一个候选信号，但应验证其与错误的关系。多次采样答案一致，也不保证正确，因为模型可能稳定重复同一种误解。工具核验、输入完整性和任务难度等额外信号可以参与判断，但它们需要独立验证，不能把多个相关信号简单相加就称为可靠概率。

本站建议先在固定任务上定义错误标签和转交成本，再选择门限，并用未参与调参的数据确认效果。上线后观察数据分布变化，必要时重新校准。用户界面也应说明分数表示什么、不能表示什么，避免把一个未经验证的百分数包装成精确的事实保证。

讨论问题：
1. 系统里的置信度来自模型自报，还是独立计算的分数？
2. 转交人工后，覆盖率与错误率如何同时呈现？
3. 换到新领域时，你们用什么数据检查校准是否失效？