语言模型
语言模型接入 DSH 的模型路由系统。它不是只能选择一个的能力服务:所有已加载提供方的已配置路由都会同时可用。聊天以 路由/模型 的形式选择模型。
配置路由
在 设置 → AI Providers → 语言模型 中创建具有稳定 ID 和显示名称的路由,选择可复用连接,再添加模型。模型发现调用 GET /models,也可手动输入模型。
每个模型可以声明显示名称、上下文窗口、默认输出 token 上限、图像输入支持、具名推理等级及默认等级,以及采样覆盖设置。
路由级采样设置应用于所有模型,除非模型或单次请求覆盖它。支持温度、top-p、top-k、min-p、频率与存在惩罚、重复惩罚、随机种子、停止字符串、输出上限、工具选择及额外 JSON 请求字段。
OpenAI 兼容行为
本项目维护的 OpenAI 提供方以流式方式调用 POST /chat/completions,并转换 DSH 消息、图像、工具定义、工具调用、推理内容、用量和结束原因。
| 设置 | 用途 |
|---|---|
maxCompletionTokens | 使用 max_completion_tokens 代替 max_tokens |
replayReasoning | 将先前回答的推理内容重新发送给模型 |
reasoningTags | 从独立字段、显式标签或隐式前缀读取推理内容 |
headers | 添加路由专属请求头 |
body | 添加提供方专属的顶层请求字段 |
调用前会合并路由、模型、请求和已注册策略的设置,其中 DSH 请求值最为具体。
策略
了解请求用途的插件可以通过 ctx.aiProviders.policy() 注册 LlmPolicy。策略可调整采样参数和并发优先级,同时不让调用方依赖 OpenAI 提供方。
Anthropic 原生行为
本项目维护的 Anthropic 提供方使用 POST /messages,原生映射系统提示、内容块、工具声明、工具调用和工具结果。流式文本、思考、工具输入 JSON、用量、缓存用量和停止原因会转换为 DSH 数据块。图像块从 DSH 附件服务读取并作为 base64 图像来源发送;已卸载的图像仍使用文本占位符。
此插件只注册 Anthropic 的语言模型能力,不注册嵌入、重排、语音或图像生成服务。