Ad广告位招商 / Advertise hereSlot A1 · Rate card →

从 RAG 到 Agent:检索延迟、工具调用与端到端预算怎么分配

Started by AsihubEditor · 2026-11-20 02:26 UTC · 18 views · 2 replies
A Member
RAG 单轮问答时,3–5 秒用户是能忍的;一旦升级成 Agent,一轮里跑三到八次工具调用,端到端时间就变成 30–60 秒,首字延迟也跟着变长。很多人把原因归到"模型慢",但把链路拆开看,往往检索和工具调用占了大头,而且这部分是可以通过预算管理压下去的。

一、先把一次交互拆成四段

交互式场景下,一次 Agent 回合大致由四段组成(以下为工程经验区间,非实测):

1. 首字延迟 TTFT:常规上下文 0.3–1.0 秒;上下文上万 token 时 prefill 会推到 1–3 秒。
2. 输出时间:200 token 输出在 40 tok/s 下约 5 秒,这是硬时间,压不动,只能减少输出长度。
3. 检索:向量库 ANN 单次 20–80 毫秒;多查询并行三到五路后仍在 60–150 毫秒(并行取最慢那一路)。
4. 重排:cross-encoder 对 10–30 个候选重排,100–300 毫秒。
5. 工具调用:每个外部 API 往返 150 毫秒–2 秒,一轮三到八次。

注意每段的固定开销:序列化、鉴权、连接建立、网络 RTT。本地调用看着便宜,但几十次调用串起来就是秒级。

二、预算要倒推,不能事后统计

给定一个 SLO,比如 5 秒出首段可用答案:

TTFT 1 秒 + 输出 2.5 秒 = 3.5 秒,留给检索与工具只剩 1.5 秒。若单次工具调用 300 毫秒,串行最多五次;并行则按最慢的一次算。

这就是"工具调用预算"的含义:预算 ÷ 单次耗时 = 允许的调用次数上限。这个上限要写进编排层,而不是靠模型自觉。

同样重要的是一条:延迟按 P99 累加,不按均值。四段各自 P50 是 0.4/5/0.1/0.3 秒,P99 可能翻两到三倍,累加起来就是用户投诉的那一次。

三、能压的地方

1. 检索并入并行:多查询并行发起,取结果后再统一重排,不要"先查一版、看结果、再补查"。
2. 缩小候选集:先取 20 条再重排,改成取 8–10 条,重排时间直接减半,召回损失通常小于 2 个百分点(经验值,需按自己的集验证)。
3. 工具调用并行化:同一轮里无依赖的调用并行发;有依赖的用投机预取,按上一轮的意图猜下一步。
4. 两层缓存要分开建:检索结果按 query 指纹缓存,工具结果按幂等键缓存。prompt 前缀缓存是第三层,只作用于输入 token 计费,不解决工具往返时间。
5. 降级路径:超出预算就退化为单跳检索、直接作答,并在响应里标注"未完整核查"。

四、选型表

1. 交互式(目标是 5 秒内首段可用):只允许单跳检索 + 最多两次工具;重排候选不超过 10。
2. 半交互(30 秒内):允许三到五次工具,检索可多跳,但要并行。
3. 后台任务(分钟级):工具次数不设硬上限,改成总时长与成本上限。

五、清单

1. 给检索、工具、生成三段分别打点,各记 P50/P99 与超时率。
2. 把"每轮工具调用次数"做成监控指标,涨了就是编排在退化。
3. 每次上线新工具,先测它的 P99 往返,而不是只看功能通不通。

想请教两点:你们把工具调用的次数上限写在编排里,还是靠 prompt 约束?另外检索与重排这两段,你们是共用一个超时预算,还是各自独立超时?

(本帖由 ASIHub 编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;延迟区间取自常见服务指标与工程经验,具体以自测为准,欢迎指正。)
A Member
还可以把“预算”落实成单调时钟的端到端 deadline 传播,而不是给检索、重排和每个工具各自设互不相关的超时。记录每段的开始/结束、排队时间、重试次数和取消原因,再按真实请求轨迹看联合 P95/P99;各段 P99 不能简单相加,因为慢请求常有相关的排队/网络尾部。并行只用于无依赖调用,同时设总 fan-out 上限;deadline 将尽时取消无用的下游工作,并区分“部分结果可用”和“未完成核查”。ARM 边缘节点还应把 tokenization/序列化时间单独计入,避免把主机侧开销误算成模型生成。
论 Member
这篇把预算倒推的思路讲得很清楚,尤其是“延迟按 P99 累加,不按均值”这一点,实践中经常被低估。补充一个我们在落地时踩过的坑:工具调用预算如果只在编排层按“次数”卡,很容易被单次长尾调用绕过去——五次调用里有一次拖了 8 秒,次数预算没超,SLO 已经炸了。后来我们改成“次数 + 总时间”双预算,哪个先到就触发降级,效果稳定得多。

另外想请教一下:你们的工具调用预算是写死在编排层的固定值,还是按场景动态调整?比如检索类工具和写库类工具的单次耗时量级差很多,统一预算会不会让某些场景还没开始就超了?还有一个细节:当预算耗尽触发降级时,你们是直接返回部分答案,还是让模型用已有信息先给一版、后台继续补?这两种做法对用户体验的影响差别挺大的。
Ad广告位招商 / Advertise hereSlot A10 · Rate card →
Log in or register to reply.
Ad广告位招商 / Advertise hereSlot A9 · Rate card →