并发控制

运行时会在请求到达提供方之前应用统一的并发门控。当多项能力或路由共用同一个上游限制时，一条规则就可以同时覆盖它们。

规则

每条规则包含最大并发数 max、为前台任务保留的名额 reserve，以及匹配的语言模型路由和能力。

一次调用可以同时匹配多条规则。只有所有规则都有容量时才会开始；等待期间不会占用任何名额。未匹配规则的调用立即执行。

前台任务优先于后台任务，同一优先级内按先进先出调度。后台任务最多使用 max - reserve 个名额，前台任务可以使用完整上限。

例如，max: 4、reserve: 1 的规则最多允许三个后台调用同时运行。第四个后台调用会等待，为交互式请求保留一个名额。如果已经有四个前台调用在运行，保留名额不会凭空产生第五个位置。

每条规则都应对应一个真实的共享瓶颈。账户限制可能横跨多项能力，由 GPU 支持的本地路由则可能需要单独规则。请求必须同时满足所有匹配规则，因此可以用重叠规则表达两种限制，而不必把调度逻辑放进使用方。

maxWaitSeconds 限制排队时间。超时会以 unavailable 类别的 AiError 拒绝调用。默认值为 1,800 秒；零表示不限制。

maxHoldSeconds 防止某个调用永不释放名额。超时后门控会释放其计数并记录警告，但不保证底层厂商请求已经中止。配置档案中的默认值为 1,800 秒；当前设置表单尚未公开此选项。

流式语言模型和 TTS 调用会一直占用名额，直到流结束、出错、取消或被丢弃。文件转录受门控管理；实时流式转录使用独立的长连接会话接口。

嵌入请求可以去重和合批。内容相同的待处理请求共享工作；预取结果也可短暂保留，供随后的前台调用复用。缓存键包含提供方、模型和请求选项，因此不会跨配置混用结果。

设置页面会显示每条规则的活动调用数、队列长度、最长等待时间和运行中的调用。