跳到主要内容

TypeSafe

@dsh-ai-providers/typesafe 是 Firefox2100 在本项目中维护的 TypeSafe AI Jev 提供方,提供决策。它不是 DSH 或 TypeSafe 官方软件包。

Jev 是决策模型:给定文本或结构化状态和带类型的问题,它一次性以概率作答,而不是生成说明文字。它是付费的托管服务,使用方要询问的状态会发送给 TypeSafe。

支持能力​

能力端点
决策POST {基础 URL}/systemone

传输层位于库软件包 @dsh-ai-providers/systemone 中,本提供方和 LocalAI 提供方都使用它,两者互不依赖。复制了 System One API 的服务器也可以通过自定义基础 URL 使用本提供方。

配置连接​

在 设置 > 提供方 > TypeSafe 连接 中创建一个或多个连接,填写名称、基础 URL、凭据名称和 API 密钥。DSH 会把密钥保存在凭据存储中,而不是写入配置文件。默认值如下:

DSH 中的 TypeSafe 连接设置

设置默认值
基础 URLhttps://api.typesafe.ai/v1
凭据引用TYPESAFE_API_KEY
模型jev-latest
更长的上下文窗口关闭
超时30 秒

然后打开“决策”能力标签页,把 TypeSafe 选为活动提供方。凭据引用指向一个由 DSH 管理的密钥,而不是密钥本身。提供方会自行追加 /systemone,因此基础 URL 中不要包含它。

模型与上下文​

jev-latest 跟随 TypeSafe 的最新版本,因此 TypeSafe 发布新版本时答案可能会变。把模型设为 jev-1.14.0 这样的版本即可固定模型;无论模型列表是否列出,带版本号的名称都会被接受。默认请求允许状态和问题合计约 6.4 万词元,状态加单个问题约 3.2 万词元。打开 更长的上下文窗口 后,会发送 TypeSafe 为其扩展窗口提供的请求头。

TypeSafe 的参考文档列出,choice 最多 255 个选项,score 为 2 到 10 级。Jev 对英语的理解最好;它也接受包括中文、日文和韩文在内的其他语言,但准确度较低。

请求与答案​

请求包含 model、state 和各个问题。答案按问题类型读取:noul 读作概率,choice 连同其概率和置信度,score 连同各等级的概率和置信度。统计的词元数从 usage.input_tokens 读取。

认证和付款失败(401、402、403)以及被拒绝的请求(400、413 和 422,并带上 TypeSafe 给出的第一条校验信息)会成为 rejected;限流(429)、服务器错误以及无法连接或过慢的端点会成为 unavailable;格式有误的请求会在发送之前就以 invalid-input 被拒绝。提供方无法读取的答案,或漏掉了某个问题的答案,会使调用失败。

诊断兼容性​

请使用“决策”标签页中的连接测试:它会提出两个只有一个正确答案的问题,并报告模型和耗时。如果兼容的服务器拒绝了请求,请检查基础 URL 前缀和模型名称,再将其请求格式与上面的字段对照。

使用方的用法请参阅决策。