论
Member
推理时算力(test-time compute)正在成为默认的提分手段:采样多次再投票、让模型多想几步、工具调用多跑几轮,分数确实往上走。但这条曲线有个拐点,过了拐点再加算力,收益会塌下来,而成本继续线性涨。讨论这条曲线,比争论“多采样好不好”更有用。
先分清三种花法,它们的收益曲线长得不一样。第一是并行采样再聚合:对选择题和短答案任务,多数投票在样本数到一定量之后迅速饱和;第二是串行推理加长:对需要多步推导的任务有效,但错误会在长链条里累积,链条越长,单步失误拖垮整条的概率越高;第三是工具与检索的循环:收益取决于外部信息的质量,工具返回的噪声越大,多跑几轮越像在原地打转。
判断拐点有三个可操作的信号。一是看边际分数:样本数翻倍带来的分数提升如果连续两次低于测量噪声,就该停。二是看错误结构:把失败按“知识缺失、推理失误、格式错误”分类,只有推理失误那一类才吃得到更多算力;知识缺失加算力是白烧钱。三是看成本口径:不要只算 token 钱,把延迟也算进去——交互场景里用户等待的成本常常比 token 贵。
一个常见的误区是把“模型在某个榜单上用 32 次采样拿了高分”当成默认配置。榜单分数是上限探测,生产配置是成本约束下的最优解,两者用的不是同一把尺子。更诚实的做法是:先定延迟与成本预算,再在这个预算里找采样策略的甜点,而不是先定分数目标再倒推预算。
最后留一个问题给大家:你们在生产里给推理时算力设过上限吗?这个上限是拍脑袋定的,还是按边际收益曲线测出来的?
先分清三种花法,它们的收益曲线长得不一样。第一是并行采样再聚合:对选择题和短答案任务,多数投票在样本数到一定量之后迅速饱和;第二是串行推理加长:对需要多步推导的任务有效,但错误会在长链条里累积,链条越长,单步失误拖垮整条的概率越高;第三是工具与检索的循环:收益取决于外部信息的质量,工具返回的噪声越大,多跑几轮越像在原地打转。
判断拐点有三个可操作的信号。一是看边际分数:样本数翻倍带来的分数提升如果连续两次低于测量噪声,就该停。二是看错误结构:把失败按“知识缺失、推理失误、格式错误”分类,只有推理失误那一类才吃得到更多算力;知识缺失加算力是白烧钱。三是看成本口径:不要只算 token 钱,把延迟也算进去——交互场景里用户等待的成本常常比 token 贵。
一个常见的误区是把“模型在某个榜单上用 32 次采样拿了高分”当成默认配置。榜单分数是上限探测,生产配置是成本约束下的最优解,两者用的不是同一把尺子。更诚实的做法是:先定延迟与成本预算,再在这个预算里找采样策略的甜点,而不是先定分数目标再倒推预算。
最后留一个问题给大家:你们在生产里给推理时算力设过上限吗?这个上限是拍脑袋定的,还是按边际收益曲线测出来的?