Skip to content

模型服务

服务说明

模型服务提供 OpenAI 兼容协议Anthropic 兼容协议。如果应用已经使用 OpenAI 或 Anthropic 官方 SDK,只需替换 Base URL 和 API Key,即可调用平台中已开放的模型。

你不需要学习一套新的请求或响应格式:消息、工具调用、流式事件、Token 用量等字段继续遵循所选协议。本文档只说明平台的接入地址、鉴权方式、支持范围和必要差异。

开始接入

获取 API Key

在平台的 基础服务 → 开发管理 → 密钥管理 中创建 API Key:

前往密钥管理

模型服务只需要 API Key。API Key 已绑定所属工作空间,网关会自动识别工作空间,无需传入额外的工作空间请求头。

WARNING

API Key 仅用于服务端调用。不要写入前端代码、浏览器本地存储或公开仓库。

选择兼容协议

兼容协议Base URL鉴权方式适合场景
OpenAI 兼容接口https://runtime-api.invalid/v1/compatible-modeAuthorization: Bearer sk_*已使用 OpenAI SDK,或需要 Chat Completions、Responses、Embedding、Rerank、语音能力
Anthropic 兼容接口https://runtime-api.invalid/v1/compatible-modeX-Api-Key: sk_*已使用 Anthropic SDK,或需要 Anthropic Messages 与 Token 计数

两个协议使用同一平台 API Key,但同一个请求只能选择一种鉴权方式,不能同时传入 AuthorizationX-Api-Key

模型名称

请求中的 model 使用平台为当前 API Key 开放的公开模型 ID。公开模型 ID 可能是简单名称,也可能包含提供商前缀,例如 provider/model-name

不要根据模型厂商名称自行拼接模型 ID。接入时先调用对应协议的模型列表接口:

text
OpenAI:   GET https://runtime-api.invalid/v1/compatible-mode/models
Anthropic: GET https://runtime-api.invalid/v1/compatible-mode/v1/models

模型列表只返回当前 API Key 可以访问的模型。OpenAI 模型列表还会返回 capabilities,用于判断模型是否支持对话、Embedding、Rerank、语音或流式响应等能力。

支持的协议

协议主要能力详细说明
OpenAI 兼容协议模型发现、Chat Completions、Responses、Embedding、Rerank、语音转写、语音合成OpenAI 兼容接口
Anthropic 兼容协议模型发现、Messages、Token 计数、流式 MessagesAnthropic 兼容接口

使用限制

  • 每个模型支持的能力由平台配置和上游提供商共同决定,不是所有模型都支持全部接口。
  • 请求模型不支持的能力时,服务会返回 unsupported_capability,请更换模型或调用方式。
  • 成功响应与流式事件遵循所选兼容协议;鉴权失败由网关直接返回。
  • 模型、凭证及可用能力均按 API Key 所属工作空间隔离。

下一步

AI 应用开发平台 - 面向医疗场景的 AI 应用创新引擎