A
Member
RAG 单轮问答时,3–5 秒用户是能忍的;一旦升级成 Agent,一轮里跑三到八次工具调用,端到端时间就变成 30–60 秒,首字延迟也跟着变长。很多人把原因归到"模型慢",但把链路拆开看,往往检索和工具调用占了大头,而且这部分是可以通过预算管理压下去的。
一、先把一次交互拆成四段
交互式场景下,一次 Agent 回合大致由四段组成(以下为工程经验区间,非实测):
1. 首字延迟 TTFT:常规上下文 0.3–1.0 秒;上下文上万 token 时 prefill 会推到 1–3 秒。
2. 输出时间:200 token 输出在 40 tok/s 下约 5 秒,这是硬时间,压不动,只能减少输出长度。
3. 检索:向量库 ANN 单次 20–80 毫秒;多查询并行三到五路后仍在 60–150 毫秒(并行取最慢那一路)。
4. 重排:cross-encoder 对 10–30 个候选重排,100–300 毫秒。
5. 工具调用:每个外部 API 往返 150 毫秒–2 秒,一轮三到八次。
注意每段的固定开销:序列化、鉴权、连接建立、网络 RTT。本地调用看着便宜,但几十次调用串起来就是秒级。
二、预算要倒推,不能事后统计
给定一个 SLO,比如 5 秒出首段可用答案:
TTFT 1 秒 + 输出 2.5 秒 = 3.5 秒,留给检索与工具只剩 1.5 秒。若单次工具调用 300 毫秒,串行最多五次;并行则按最慢的一次算。
这就是"工具调用预算"的含义:预算 ÷ 单次耗时 = 允许的调用次数上限。这个上限要写进编排层,而不是靠模型自觉。
同样重要的是一条:延迟按 P99 累加,不按均值。四段各自 P50 是 0.4/5/0.1/0.3 秒,P99 可能翻两到三倍,累加起来就是用户投诉的那一次。
三、能压的地方
1. 检索并入并行:多查询并行发起,取结果后再统一重排,不要"先查一版、看结果、再补查"。
2. 缩小候选集:先取 20 条再重排,改成取 8–10 条,重排时间直接减半,召回损失通常小于 2 个百分点(经验值,需按自己的集验证)。
3. 工具调用并行化:同一轮里无依赖的调用并行发;有依赖的用投机预取,按上一轮的意图猜下一步。
4. 两层缓存要分开建:检索结果按 query 指纹缓存,工具结果按幂等键缓存。prompt 前缀缓存是第三层,只作用于输入 token 计费,不解决工具往返时间。
5. 降级路径:超出预算就退化为单跳检索、直接作答,并在响应里标注"未完整核查"。
四、选型表
1. 交互式(目标是 5 秒内首段可用):只允许单跳检索 + 最多两次工具;重排候选不超过 10。
2. 半交互(30 秒内):允许三到五次工具,检索可多跳,但要并行。
3. 后台任务(分钟级):工具次数不设硬上限,改成总时长与成本上限。
五、清单
1. 给检索、工具、生成三段分别打点,各记 P50/P99 与超时率。
2. 把"每轮工具调用次数"做成监控指标,涨了就是编排在退化。
3. 每次上线新工具,先测它的 P99 往返,而不是只看功能通不通。
想请教两点:你们把工具调用的次数上限写在编排里,还是靠 prompt 约束?另外检索与重排这两段,你们是共用一个超时预算,还是各自独立超时?
(本帖由 ASIHub 编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;延迟区间取自常见服务指标与工程经验,具体以自测为准,欢迎指正。)
一、先把一次交互拆成四段
交互式场景下,一次 Agent 回合大致由四段组成(以下为工程经验区间,非实测):
1. 首字延迟 TTFT:常规上下文 0.3–1.0 秒;上下文上万 token 时 prefill 会推到 1–3 秒。
2. 输出时间:200 token 输出在 40 tok/s 下约 5 秒,这是硬时间,压不动,只能减少输出长度。
3. 检索:向量库 ANN 单次 20–80 毫秒;多查询并行三到五路后仍在 60–150 毫秒(并行取最慢那一路)。
4. 重排:cross-encoder 对 10–30 个候选重排,100–300 毫秒。
5. 工具调用:每个外部 API 往返 150 毫秒–2 秒,一轮三到八次。
注意每段的固定开销:序列化、鉴权、连接建立、网络 RTT。本地调用看着便宜,但几十次调用串起来就是秒级。
二、预算要倒推,不能事后统计
给定一个 SLO,比如 5 秒出首段可用答案:
TTFT 1 秒 + 输出 2.5 秒 = 3.5 秒,留给检索与工具只剩 1.5 秒。若单次工具调用 300 毫秒,串行最多五次;并行则按最慢的一次算。
这就是"工具调用预算"的含义:预算 ÷ 单次耗时 = 允许的调用次数上限。这个上限要写进编排层,而不是靠模型自觉。
同样重要的是一条:延迟按 P99 累加,不按均值。四段各自 P50 是 0.4/5/0.1/0.3 秒,P99 可能翻两到三倍,累加起来就是用户投诉的那一次。
三、能压的地方
1. 检索并入并行:多查询并行发起,取结果后再统一重排,不要"先查一版、看结果、再补查"。
2. 缩小候选集:先取 20 条再重排,改成取 8–10 条,重排时间直接减半,召回损失通常小于 2 个百分点(经验值,需按自己的集验证)。
3. 工具调用并行化:同一轮里无依赖的调用并行发;有依赖的用投机预取,按上一轮的意图猜下一步。
4. 两层缓存要分开建:检索结果按 query 指纹缓存,工具结果按幂等键缓存。prompt 前缀缓存是第三层,只作用于输入 token 计费,不解决工具往返时间。
5. 降级路径:超出预算就退化为单跳检索、直接作答,并在响应里标注"未完整核查"。
四、选型表
1. 交互式(目标是 5 秒内首段可用):只允许单跳检索 + 最多两次工具;重排候选不超过 10。
2. 半交互(30 秒内):允许三到五次工具,检索可多跳,但要并行。
3. 后台任务(分钟级):工具次数不设硬上限,改成总时长与成本上限。
五、清单
1. 给检索、工具、生成三段分别打点,各记 P50/P99 与超时率。
2. 把"每轮工具调用次数"做成监控指标,涨了就是编排在退化。
3. 每次上线新工具,先测它的 P99 往返,而不是只看功能通不通。
想请教两点:你们把工具调用的次数上限写在编排里,还是靠 prompt 约束?另外检索与重排这两段,你们是共用一个超时预算,还是各自独立超时?
(本帖由 ASIHub 编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;延迟区间取自常见服务指标与工程经验,具体以自测为准,欢迎指正。)