返回列表

大模型在线服务 ——API 调度层的设计取舍

发布于 2026年5月26日更新于 2026年11月16日

为什么中间要多一层

在线大模型服务,模型能力本身是推理引擎给的:权重加载、KV cache、continuous batching、采样策略。这几件事在引擎里已经做得足够好,调度层往里插一手通常不划算。真正没被解决的东西在引擎外面。

一次请求进引擎之前要过安全。需要检索或者调工具的时候,一次生成给不出答案。不同业务方对上下文长度、限流、降级的要求差别很大。这些事现在散在各业务代码里,业务方数量乘上功能数量,维护量就爆了。

把这些单独抽出来,能算的账有两个。

一个是故障域。按一条真实的链路数:一次请求要串过十二个子系统,输入安全、输出安全、多模态预处理、向量化、意图分类、记忆检索、知识检索、路由、模型网关、工具执行、反思、审计。串联依赖必须全部成功,可用性就是各环节的乘积。每个子系统做到 99.9%,十二个串起来是 0.999¹² ≈ 98.81%,年不可用从单点的 8.8 小时变成 104.5 小时。每个只有 99.5% 的话,串起来的可用性是 94.16%,一年 511 小时,21 天。

这个乘法关系定了这一层的工作重心。每一跳都得有失败之后的替代路径,否则整体可用性必然低于最差的那个依赖,超时重试加多少都救不回来。

另一个是延迟预算。首字延迟是这类产品最直接的体验指标,端到端延迟决定生成类任务能不能用。两个都沿链路累加,不落成一张预算表,就不知道哪一段必须并行、哪一段得砍、哪一段的超时设多少。没有预算表,优化会退化成对最显眼的那一段反复调参。

所以这一层的定位窄得有点反直觉:它吸收引擎之外那些说不清的复杂度,对外只承诺一个稳定的流式接口,碰端到端可用率和延迟预算达成率这两个指标,自己不带算法。评审时如果发现调度层里开始长出业务判断,多半是它和业务层的边界没划对。

从流水线改成图

线性 pipeline 的问题在于,它给互不依赖的步骤硬排了序。输入安全和多模态预处理可以同时跑,记忆召回和意图分类可以同时跑。真实业务里还会同时冒出几个诉求:并行压首字延迟;路由要同时看安全结果和意图标签,这是跨步依赖;工具调用让生成中途折返,成了回环;每个环节失败都要有统一落点。

于是把流程建模成有向图,节点是动作,边是数据依赖和跳转条件。允许不允许回环是两种取向,在表达力和可预测性之间取舍。严格 DAG 一次走完,流程固定,实现和推理都简单;有环图能撑工具调用,表达力强,代价是终止性得另外保证。

图的好处不均匀。最容易被高估的是并行,它能压低的延迟有两条上界,都比直觉窄。

一条在结构上。串行段总长为 S,并行段里最长支路为 P,整条链路就是 S + P。把已经在并行里的支路再拆细,收益是零,杠杆全在 S。设 S = 600ms、P = 200ms,总长 800ms,把所有并行支路耗时砍半,只降到 700ms,改善 12.5%。换成 S = 300ms、P = 200ms,总长 500ms,同样砍半到 400ms,改善 20%。同一份工作量,投在不同链路上回报差一倍多。所以开工第一件事是画关键路径,逐项标出 p50 和 p99,先确认哪些步骤真在关键路径上。只优化关键路径,缩短串行段优先于并行化。

另一条在统计上,比前者更容易翻车。N 条支路并行、必须全部返回才能往下走时,端到端延迟是 N 个随机变量的最大值。设各支路延迟独立、单条 p99 为 P99,N 条并行后最大值超过它的概率是 1 − 0.99^N:

并行支路数 N 1 2 5 10 15
最大值超过单支路 p99 的概率 — 1.99% 4.90% 9.56% 13.99%
要让 fan-out 的 p99 达标,单支路需达到的分位 p99 99.50% 99.80% 99.90% 99.93%

独立假设在这里偏乐观。同机房的支路往往同时受同一个下游抖动影响,真实的相关性会让尾部分位比表里更差。十路并行时,端到端 p99 落在单路 p99.9 的位置;十路里只要有一路抖动,整条链路就抖。这解释了那个常见的怪现象:并行化之后均值延迟下来了,p99 反而变差。并行提高吞吐,压不动尾部。要改尾部只有两条路,减少并联支路数,或者用 hedged request 对冲。

条件跳转得当成一等公民。某个子系统在某条链路里不需要时,对应节点直接短路,不必在主干里堆层层 if-else。收益大小取决于链路数量,三条链路用不上图,三十条能省掉大量分支。

错误的统一落点,前提是节点契约先定死。契约至少要定三件事:输入是只读上下文加不可变入参;输出是一个或多个事件,事件类型是有限枚举;失败必须显式返回,不允许异常穿透。异常一穿透,"任何节点失败都有统一落点"就是句空话,因为异常携带的信息不足以让 ERROR 节点判断该降级到哪一层。

代价是抽象的固定成本。图的定义、节点契约、节点间传的数据载体、条件求值机制,都得在开工前想清楚。这是一次性支出,换来的是后面每加一个子系统、每改一条链路都只改图。服务如果打算长期演进,这笔投入通常回得来;只做一次性流程的话,图本身反而是负担。

路由该有多薄

对外暴露的模型名背后往往挂着不同的模型世代、版本、多模态开关、工作流、限流策略。这些东西硬编码进代码,出一个新模型就要发一次版,发版节奏追不上模型迭代和业务接入。

做法是把模型抽象成逻辑模型,把路由规则抽象成配置。逻辑模型是配置中枢:每个对外模型名对应一条配置,规定走哪条链路、绑哪个工作流、上下文多长、支不支持思考模式、限流怎么配、降级到哪个模型。规则在运行时用表达式求值,按请求上下文里的意图标签、是否需要搜索、灰度随机数、应用 ID 命中一个物理模型。

规则写多细,是这一节最要紧的取舍。判断依据我只有一条:这张规则表还能不能被全量用例覆盖。

规则表就是一个决策函数 f(context) → physical_model,组合空间是规则行数和条件维度的乘积。组合空间一旦超过 CI 单次能覆盖的用例数,规则表就退化成不可验证的代码:没人敢改,改了不知道影响谁。所以它得待在能被全量覆盖的规模里。一个能落地的分界是,路由只做粗粒度分发,文本、多模、插件三类十几条规则差不多到头;更细的差异,比如某个子系统关不关、意图标签要不要改写、多模决策要不要开,交给工作流。

选工作流承载细粒度差异,理由也是可验证性。工作流是每请求执行一次的有序动作集合,它的行为可以由单个请求回放验证,不需要枚举组合。

配置还要分静态和动态,判据是变更需不需要和在途请求的状态原子一致。

图结构、节点实现、模型能力声明属于控制面。这类变更会让在途请求的 span 语义断裂,必须版本化、灰度、可回滚,生效边界是新请求。

限流水位、机房比例、灰度开关、默认安全等级属于数据面。这类变更对在途请求没有语义影响,走运行时推送,秒级生效。

两类混在同一个配置源里,会出两种事故。该热更的项只能等发版;结构项被热更,在途请求正在跑的状态机被就地改写。后者特别难查,现象是"偶发某几条请求行为异常"。

安全不是一个闸

最朴素的做法是请求进来过一次检测,不安全就拦。真实在线服务会同时冒出别的诉求:不同业务方对松紧要求不同;评测链路要独立的安全方案,不能和生产混用;插件参数是用户可控的,要单独检测;生成内容是流式吐出的,检测得在流式过程中做。

这些诉求把安全从"一道闸"推成"一组分级通道"。输入侧按等级分档,从跳过到严格方案,调用方按需选择。检测结果是一条带分类和后续动作的结构化记录,下游据此分支:通过走正常链路,不通过走专门分支,高危直接屏蔽,部分场景允许走带搜索辅助的安全模型。输出侧同样分级,思考流和回复流分开检测,因为两者的安全边界不一样。

反思机制的成本几乎全落在尾部延迟上。输出侧"检测到不安全就让模型重新生成"就是带拒绝的重采样。设首次生成命中不安全的比例为 r,允许重试 k 次,期望生成次数是 (1 − r^(k+1)) / (1 − r)。r 远小于 1 时这个值接近 1/(1−r),均值涨幅温和。r = 5% 时均值只涨 5%,看着可以忽略。

尾部才是问题。r = 10% 意味着每十个请求里有一个要多跑一次完整生成,p99 直接被推到两次生成的时长。更麻烦的是流式语义:首字一旦吐出去,中途判定不安全就只能中断并追加提示,用户看到的是说到一半被打断。所以"流式过程检测加中断"和"整段生成后再检测"是两种不同的产品契约,选哪个得产品和安全一起定,不能让调度层单方面决定。

反思还必须带次数上限和降级出口。没有上限的重试,r 偏高的时候会把 p99 拉成无界。

插件是两段信任边界:入参用户可控,出参第三方返回。入参走插件专属检测通道,出参如果是流式的还要做流式检测。插件本身还涉及多种鉴权方式,服务鉴权、用户鉴权、OAuth、无鉴权。鉴权失败和安全失败必须分开错误码:前者是调用方的配置问题,处置是重配;后者是内容问题,处置是拦截或复核。混在一个码里,调用方没法自助定位。

还有一条最容易在设计阶段被跳过:安全服务自己也会挂。安全检测是一跳网络调用,它不可用时不能让整个请求跟着挂。处置大致三类:

  1. fail-closed。安全服务不可用即拒绝请求。适合合规硬约束场景,错误方向可恢复。
  2. fail-open-with-audit。放行并全量落审计,事后可追溯。要求审计链路独立于安全服务,否则审计和安全一起挂,事后无从追查。
  3. degrade-to-lighter。降级到关键词或规则检测,接受漏检率上升。

选择权应该下放给业务方配置,默认值取 fail-closed。这个默认值取错方向,出问题时的补救成本远高于多拦几次。

多模态先当成格式转换

多模态在调度层看,主要就是预处理和格式转换。图片、视频、音频要过抽帧、ASR、OCR,转成模型能吃的那种文本加图片格式。预处理本身是独立子系统,有延迟有失败率,当成图上的一个节点管就行。

麻烦的是统一性。流式和非流式、有模态和无模态,后续节点最好用同一套契约,别让下游每个节点自己判断"这次是不是多模"。做法是就算请求里一张图都没有,预处理节点也返回一个非多模的事件流。这是空对象模式落在流程上的样子。

要不要为这份统一付固定开销,按下游节点数 N 和模态数 M 算一下就有数。不做统一,每个节点要处理 M+1 种情况,加一个模态要改 N 处;做统一,代价是每请求多一次序列化和一次节点跳转。图上十几个节点的时候,统一明显划算。

两条向量化路径必须分开。用户输入的多媒体要先过安全抽帧,删掉违规的帧或者图,再做特征向量化。图搜召回返回的缩略图也要向量化,但它们来自检索结果,不经过用户,不做安全过滤。两条路径的信任来源不同,共用一套逻辑会落到两种错误上:要么对检索结果白做一遍安全检查,要么漏掉用户输入的检查。

多模和文本链路的区分落在配置上。工作流里把多模决策开关打开就走多模,关掉走文本。开关是配置项,新增一个多模模型只加配置。

工具调用的回环和重试

工具调用让调度流程从线性走向循环。模型不再一次性给出回复,它可以决定调用工具,拿到结果后继续生成。图上就得支持回环:模型节点之后检查 ToolCalls,有则执行工具,结果作为新上下文喂回模型,循环到模型不再要求调用。

回环必须有外部闸门,不能只靠模型判断。最大轮数、token 预算、墙钟超时,三个缺一不可。少任何一个,都可能死在"工具返回错误 → 模型换参数重试 → 又错"的活锁上。模型判断"可以结束了"也不能作为唯一终止条件,它在任务没完成时会误判。

重试安不安全,由被调用方的语义决定,按错误类型判断会判断错。模型调用不是幂等的:同一个 prompt 两次生成结果不同,重试会改变用户可见输出,也会重复计费。所以哪些错误可以自动重试,必须严格界定。

连接建立失败、TLS 握手失败、请求在到达服务端之前被网关拒绝,可重试,没有副作用。连接已建立之后读超时,不可重试,服务端可能已经开始生成并计费。工具执行是否能重试,取决于工具本身是否幂等,必须在工具注册时显式声明,调度层别去猜。

工具允许集也要显式声明。模型配置里列出可调用的工具,不在白名单里的调用直接拒绝。除了安全,允许集还决定了一个模型的行为上界,评审时能静态看,不用读运行时行为。

各插件的结果处理方式也不同:有的配置为直接返回原始内容,有的要经过模型润色,混合模式允许部分直返、部分润色。所有返回内容都要过安全检测,检测时机因模式而异。一个请求里可能同时跑多个工具,执行上下文要区分共享只读状态和各工具自己持有的写入区,合并时机放在所有工具返回之后。谁先回谁先写,会让结果依赖调度顺序,测试里复现不出来。

状态放在哪儿

一次请求在图的整个生命周期里被各节点读写:安全结果、意图标签、链路决策、预处理结果、模型响应、工具状态、对话历史。这些需要一个贯穿全程的载体。

并发节点可能同时读写,状态和历史得用线程安全的数据结构承载。请求结束后不能立刻清理,可能还有延迟回调在飞,要支持延迟清理并给一段缓冲期。一次请求有 logId,一个会话有 chatId,一个用户有 sessionId,调度层要能按任意一种标识定位上下文,排查问题和多轮对话都靠这个。

场景特化用组合,别用继承。Agent 需要工具调用状态和记忆查询缓存,记忆搜索需要异步任务和结果缓存,消息间隔需要追踪时间戳。这些挂在主上下文上,各自只加载需要的部分。塞进一个大而全的对象,会让所有场景共同承担字段膨胀的解析成本。

降级和限流

底层依赖,模型、检索、安全、插件,都会挂。调度层要假设每一跳都可能失败,并为每一跳准备替代路径。这个前提在第一节算过:不设降级边的串联架构,可用性等于最差依赖。

降级从下往上至少三层。调用级:连接错误重试、分层超时。超时要分层且单调,子系统单次超时不能超过会话剩余预算;破坏单调性就会出现"子系统超时之后已经没时间、兜底降级来不及执行"。链路级:插件链路验证失败降级到普通链路,多模链路异常降级到文本链路,检索失败降级到无检索直答。兜底层:意图解析全部失败时降级到通用回复标签,保证请求走完,接受回复质量打折。

降级适合用抽象模板实现,通用流程固定为记日志、生成追踪信息、执行具体降级,源系统和目标系统由子类填。加一种降级路径只是加一个子类。降级还得和监控联动,降级频率上升是故障前兆,不上报等于没降级。

限流用哪个计量单位,比限流算法本身更影响结果。推理资源按 token 计量,QPS 不反映真实消耗,按 QPS 定水位会错一个数量级。设账号配额 TPM = 1,000,000,一次请求消耗 4,000 token、耗时 20 秒,可持续承载 1M / (60 × 4000) ≈ 4.17 rps,按 Little 定律稳态并发约 83 个流。同样的配额下,一次请求消耗 100,000 token、耗时 60 秒,只能承载 0.167 rps,稳态并发 10 个流。

单请求 token 延迟 可持续 rps 稳态并发流数 相对 4k 请求的资源倍数
4,000 20s 4.17 83 1×
40,000 40s 0.42 17 10×
100,000 60s 0.17 10 25×

配额没变,能承载的并发流差了 8 倍多,83 比 10。所以限流以 TPM 为主、QPS 为辅,两者同时生效。绑在物理模型上,理由是资源池是物理模型级的;一个逻辑模型可能同时打到两个物理模型的两个池子里,绑在逻辑模型上会让水位失去意义。

配置上要支持软硬限配比、优先级、可预支。软限是预警水位,硬限是熔断水位,可预支允许高优先级请求在软限之上继续消耗直到硬限,低优先级先被挡。

切流是限流的孪生职责,按比例把流量分发到不同机房,既能做容灾也能做灰度。两个硬要求:精度到百分之一,接口走数据面。精度决定灰度的最小可用粒度,日活一万的业务按 1% 算,首日是 100 人,这个量级下游指标才有机会察觉异常。接口要是走发布流程,等于机房出事的时候操作还要等一次发版。

可观测性

调度层串了十几个子系统,每个都有自己的日志。日志之间没有关联,排查时就得在十几个系统之间来回跳。第一件事是把一次请求的完整轨迹串成一条。

做法是结构化 span,挂在同一个 trace 下。每个节点记录开始时间、结束时间、输入摘要、输出摘要、异常信息。参数校验结果、请求 URI、耗时、状态码、用户信息各归其位。

错误码要分层。参数校验、认证、限流、子系统错误、安全拦截各占独立段。调用方拿到码要能判断责任方和可重试性,这是错误码体系唯一要过的验收。

指标看两个层面。业务层面看成功率和延迟,重点是首字延迟和端到端延迟,它们直接对应体验。系统层面看各子系统健康度:限流频率、降级频率、超时频率、错误分布。两个层面要能交叉下钻到模型、机房、时段。下钻能力决定定位速度,没有下钻的看板只能告诉你"整体变差了"。

Agent 把回环用到底之后

前面那个有环图是为工具调用准备的。Agent 把回环用到尽头,暴露出三个新问题,都是模型能力上去之后才变成主流的。

上下文稀释。每一轮工具结果都进上下文,token 线性增长,模型的注意力被历史稀释,表现是早期轮次给出的约束在第 10 轮之后失效。处置是状态外置:工具的结构化输出写进外部存储,上下文只留摘要和引用,需要时回读。这要求调度层提供存储接口,别把上下文当成唯一的状态载体。

虚假完成。模型说"任务已完成"和任务真的完成没有必然关系。终止条件需要外部验证器:文件是否存在、测试是否通过、断言是否成立。只靠模型自评的 Agent 在长任务上失败率很高,而且失败得很安静,它会给出一个看起来合理的总结。

什么时候该停。轮数上限只能当安全阀用。真停下来应该看边际收益递减:新的一轮没有带来新的可验证信息,继续调用只是烧 token。判断这个需要一个独立于模型的信号,比如工具返回的 diff 为空、检索返回的是重复文档。

Agent 让调度层多出两样东西:状态外置的存储接口,外部验证器的挂载点。这两样要是等 Agent 场景成型了再补,围绕回环做的抽象得整体重做。这也是分层的一点经验,图的抽象按最复杂的场景设计,按最常见的场景实现。

我自己会逐条过的东西

下面这九条都可以被推翻。评审的时候我一条一条过。

  1. 串联架构的可用性低于最差依赖。新增一个串行子系统,必须同时交出一条降级边;交不出来就别加。
  2. 优化之前先画关键路径。不在关键路径上的并行化,收益是零。
  3. 并行抬高吞吐,压不动尾部。要改 p99,先减支路。
  4. 规则表以能被全量用例覆盖为规模上界。超了这个规模,它就是不可验证的代码。
  5. 配置分界看的是变更需不需要和在途请求的状态原子一致,跟变更频率没关系。
  6. 重试安不安全由被调用方的语义决定。按错误码类型判断,会判断错。
  7. 限流以 TPM 为主、QPS 为辅。拿 QPS 限 token 型资源,水位会错一个数量级。
  8. 任何以"模型说可以了"为条件终止的流程,都要配一个外部验证器。
  9. 抽象放在第二次重复的时候做。第三次才做,已经先付了两次复制粘贴的钱。

这几条落到工程上,无非是流程进图、差异进配置、每一跳都备一条退路、状态和轨迹有明确的生命周期。剩下的归引擎、归运维、归安全团队。

技术栈怎么选不改变这些问题的结构。延迟、可用性、合规、成本这四者的平衡点每个业务都不一样,下面那些判断依据不随它变。