LocalAI

@dsh-ai-providers/localai 是 Firefox2100 在本项目中维护的 LocalAI 专用提供方。它与通用 OpenAI 兼容提供方分开，使配置可以暴露 LocalAI 特有的控制项和能力，而不会把它们误作 OpenAI 功能。它不是 DSH 或 LocalAI 官方软件包。

该软件包依赖与提供方无关的 @dsh-ai-providers/openai-compatible 传输库，而不依赖 OpenAI 提供方插件。因此，LocalAI 与 OpenAI 插件可以独立安装和演进，同时复用两者确实共有的协议实现。

能力

该软件包注册：

• 流式对话与视觉语言模型；
• 嵌入；
• 重排；
• 文本转语音；
• 文件及实时语音转文本；
• 图像生成。

只应启用 LocalAI 当前所加载模型实际实现的服务。

连接

默认连接为 http://localhost:8080/v1。LocalAI 位于其他主机或代理之后时应修改此地址。API 密钥是可选的；启用认证时，在连接中填写凭据名称，并通过 DSH 凭据服务保存其值。

所有能力共用连接列表。每项服务分别选择连接和准确的模型名称。

语言模型

语言模型使用 LocalAI 的 OpenAI 兼容 POST /chat/completions 流。路由和模型支持通用采样字段，以及 top_k、min_p、重复惩罚、推理处理、自定义请求头和 sampling.body 中的任意顶层请求字段。

LocalAI 原生或后端专用选项（例如约束语法及采样器控制）可放入 sampling.body。先应用路由值，再由模型值覆盖。

重排

重排会相对于已配置的 /v1 基础 URL 调用 POST /rerank。rerankModel 应填写 LocalAI 提供的模型名称。rerankBody 会合并到每次请求中，用于后端专用参数；查询、文档、模型、top_n 和 return_documents 仍由服务调用控制。

语音、嵌入与图像

这些服务使用 LocalAI 对应的 OpenAI 兼容端点。模型 ID、声音、格式和图像选项取决于 LocalAI 后端配置，应按服务实际提供的名称填写。embeddingBody、ttsBody 和 imageBody 可加入后端专用 JSON 字段；输入、模型、声音和提示词等标准字段仍由服务控制。部署提供兼容的实时 WebSocket 端点时，可以使用实时转录。

何时选用

LocalAI 部署应使用 @dsh-ai-providers/localai；OpenAI 或其他兼容服务器继续使用 @dsh-ai-providers/openai。两者提供方 ID 不同，可以同时安装。