并发控制
主插件包含共享并发门控,在请求到达提供方之前统一限制各类调用。
规则
每条规则包含最大并发数 max、为前台任务保留的名额 reserve,以及匹配的语言模型路由和能力。
一次调用可以同时匹配多条规则。只有所有规则都有容量时才会开始;等待期间不会占用任何名额。未匹配规则的调用立即执行。
前台任务优先于后台任务,同一优先级内按先进先出调度。后台任务最多使用 max - reserve 个名额,前台任务可以使用完整上限。
时间限制
maxWait 限制排队时间。超时会以 unavailable 类别的 AiError 拒绝调用;零表示不限制。
maxHold 防止某个调用永不释放名额。超时后门控会释放其计数并记录警告,但不保证底层厂商请求已经中止。
流式语言模型和 TTS 调用会一直占用名额,直到流结束、出错、取消或被丢弃。文件转录受门控管理;实时流式转录使用独立的长连接会话接口。
嵌入优化
嵌入请求可以去重和合批。内容相同的待处理请求共享工作;预取结果也可短暂保留,供随后的前台调用复用。缓存键包含提供方、模型和请求选项,因此不会跨配置混用结果。
设置页面会显示每条规则的活动调用数、队列长度、最长等待时间和运行中的调用。