模型管理

模型管理是模型正式投入业务前的统一配置入口。模型进入这里后，才能被智能应用、工作流、知识库、语音服务和评测任务选择和使用。

如果你第一次使用模型中心，可以先记住下面这组关系：

• 模型广场负责发现平台已经收录的模型；
• 模型管理负责管理已经接入、可以投入使用的模型；
• 智能应用和工作流负责在具体业务中选用模型。

你不需要先弄懂页面里的所有参数。本章会从“现在想完成什么”出发，带你认识模型列表、设置默认模型、添加模型，并完成投入使用前的必要检查。

页面入口：模型服务 › 模型中心 › 模型管理。

一、先确定你现在要做什么

进入模型管理后，不必急着配置所有选项。先根据目标选择操作：

你的目标	应该使用的功能
查看平台当前有哪些模型可用	浏览模型列表，或使用类型筛选和名称搜索
让新建应用默认使用某个语言模型	设置“应用模型”
让知识库能够完成向量检索	设置知识库的 Embedding 模型；需要优化排序时再设置 Rerank 模型
给应用提供语音输入或语音播报	设置语音转文本或文本转语音模型
给应用评测、模型评测指定统一的裁判模型	设置“评测模型”
使用平台已经收录的在线模型	从模型广场添加
接入自建模型或其他厂商模型	添加 OpenAI 接口兼容模型
停止平台继续使用某个模型	从模型管理中移除模型

第一次配置平台时，建议按“添加模型 → 设置默认模型 → 到应用或工作流中试用”的顺序操作。这样可以避免打开默认模型下拉框后没有可选项。

二、认识模型管理页面

页面上方是筛选、搜索和全局操作区，下方是已经接入的模型列表。

2.1 筛选和搜索

• 全部类型：按模型类型筛选，例如文本生成、向量模型或排序模型。
• 搜索模型名称：输入模型名称中的关键词，快速定位目标模型。

筛选和搜索会同时生效。如果搜索不到已知模型，先把类型切回“全部类型”，再清空搜索关键词重试。

2.2 厂商分组

已接入模型按服务厂商分组展示，例如“阿里百炼”。点击厂商名称左侧的箭头，可以折叠或展开该分组。

厂商分组右上方可能提供以下操作：

• 设置参数：配置该厂商服务所需的公共接入参数。
• 添加模型：继续向该厂商分组添加模型。

以“阿里百炼”为例，点击 设置参数 后可以配置：

字段	是否必填	作用
API Key	是	调用阿里百炼模型服务的访问凭证
Base URL	是	厂商模型服务的基础地址，页面示例为 https://dashscope.aliyuncs.com/compatible-mode/v1
Rerank URL	否	重排模型使用的完整接口地址；需要调用 Rerank 模型时填写

填写时注意：

• API Key 属于敏感凭证，不要粘贴到文档、聊天记录或公开截图中；
• Base URL 与 Rerank URL 用途不同，不能因为地址相似就互相替代；
• 页面中的地址用于展示阿里百炼当前配置形式，实际部署时应以厂商提供的最新地址和所在网络环境为准；
• 点击 确定 保存，点击 取消 放弃本次修改；页面提供 删除 操作用于清除当前厂商接入配置，执行前应确认相关模型已不再承担业务。

弹窗左下角的 获取阿里百炼 API Key 可以跳转到厂商侧获取凭证。涉及外部厂商账户和计费时，应由具备相应权限的管理员操作。

2.3 模型卡片怎么看

每张卡片代表一个已接入模型，包含以下信息：

信息	它能告诉你什么
模型名称	在平台中识别和选择模型时看到的名称
模型来源	模型是从模型广场添加，还是通过兼容接口接入
模型类型	模型适合完成哪一类任务，如文本生成、向量化或排序
模型能力	模型支持哪些调用能力，如结构化输出、Function call 或联网搜索
添加时间	该模型进入模型管理的时间

不要只凭模型名称判断用途。例如，语言模型适合对话和内容生成；Embedding 模型负责把文字转换为向量；Rerank 模型负责对检索结果重新排序。三者不能相互替代。

点击模型卡片可以打开右侧的 模型详情 面板，查看完整描述、模型标识、厂商、类型、能力、上下文长度、更新时间和参数信息。

参数信息中的默认值和范围描述的是当前模型自身的调用约束。例如图中的温度、核采样和最大输出 Token 只属于该示例模型，不能直接套用到其他模型。需要在应用中实际调节这些参数时，可前往智能应用编排 · 模型与角色。

2.4 常见模型类型

类型	用途	医疗场景示例
语言模型	理解问题并生成文本	预问诊对话、报告解读、病历摘要
向量模型（Embedding）	把文本转换为可检索的向量	将医院制度和医学资料写入知识库
排序模型（Rerank）	对初步召回的文档重新排序	优先把与患者问题最相关的资料交给语言模型
语音识别	把语音转换为文字	患者使用语音描述症状
语音合成	把文字转换为语音	为不便阅读的用户播报回复

三、设置默认模型

默认模型是平台在某类场景中优先采用的模型。设置后，新建应用或使用相关能力时可以自动带出默认选择，减少重复配置。

在模型管理页面右上角点击 默认模型，弹窗包含“应用模型”“知识库模型”“语音模型”和“评测模型”四个标签页。完成选择后点击 确定 保存。

默认不等于强制。默认模型用于提供初始选择；具体应用或流程是否可以改用其他模型，以对应页面的配置能力为准。

3.1 应用模型

应用模型是应用编排默认使用的语言模型，还会用于生成对话名称、下一步问题建议等通用场景。

选择时重点考虑：

• 是否支持应用需要的输入形式，例如纯文本或图片理解；
• 是否支持 Function call、结构化输出等应用所需能力；
• 响应速度和使用成本是否符合业务规模；
• 输出是否稳定，尤其是报告解读、辅助诊疗等医疗场景。

如果暂时不知道选哪个，优先选择一个经过团队验证、支持文本生成且表现稳定的通用语言模型。不要因为模型支持的能力最多，就直接把它设为所有应用的默认模型。

完成默认模型设置后，可以前往智能应用编排 · 模型与角色，为具体应用确认或调整实际使用的模型。

3.2 知识库模型

知识库模型包含两个角色：

Embedding 模型

Embedding 模型负责把知识库文档和用户问题转换为向量，使系统能够从大量文档中找到语义相近的内容。

知识库需要进行文档处理和检索时，应先配置 Embedding 模型。如果没有可选项，请先在模型广场添加向量模型，或通过兼容接口接入一个向量模型。

已经投入使用的知识库不宜随意更换 Embedding 模型。不同模型产生的向量通常不能直接混用，更换后可能需要重新处理文档。具体影响以知识库页面的提示为准。

Rerank 模型

Rerank 模型接收“用户问题 + 初步召回文档”，再根据相关程度重新排序。它的作用是提高排在前面的文档质量，而不是代替 Embedding 完成首次检索。

如果只是验证知识库流程，可以先配置 Embedding；当出现“能搜到相关文档，但最相关内容总排不到前面”的情况，再考虑配置 Rerank。

知识库的创建、文档处理和检索设置，参见知识库管理。

3.3 语音模型

语音模型分为：

• 语音转文本模型：把用户说的话转成文字，供应用继续理解和处理；
• 文本转语音模型：把应用生成的文字回复转换成语音播放。

两者方向相反。需要“让患者说话输入”时选择语音转文本；需要“让应用开口播报”时选择文本转语音。

3.4 评测模型

评测模型用于应用评测和模型评测。它通常扮演“裁判”，根据评测规则判断被测结果是否符合要求。

建议选择输出稳定、指令理解能力强的语言模型。不要默认使用正在被比较的同一个模型充当唯一裁判，否则评测结果可能产生偏向。

3.5 默认模型无法选择怎么办

按下面的顺序检查：

1. 返回模型管理，确认相应类型的模型已经出现在列表中；
2. 检查模型类型是否匹配，例如知识库 Embedding 下拉框只应选择向量模型；
3. 清除页面筛选条件，确认目标模型没有被隐藏；
4. 如果模型尚未接入，先从模型广场添加，或接入兼容模型；
5. 完成添加后重新打开默认模型弹窗。

四、添加模型

点击页面右上角 添加模型，可以看到不同的模型接入方式。

4.1 从模型广场添加在线模型

这是最适合新手的方式。平台已经整理好模型的厂商、类型、能力和参数信息，你只需从模型广场挑选并添加。

操作步骤：

1. 点击 添加模型 › 从模型广场添加在线模型；
2. 在模型广场按厂商、类型、能力或上下文长度筛选；例如要添加阿里模型，就在“模型厂商”中选择 阿里百炼；
3. 打开模型详情，确认模型能力和参数符合需求；
4. 点击 添加到模型管理；
5. 页面顶部出现 添加成功 提示后，确认该模型卡片的按钮变为灰色的 已添加到模型管理；
6. 返回模型管理，通过搜索确认模型已经出现。

按钮显示 添加到模型管理 时可以添加；显示 已添加到模型管理 且呈灰色时，说明该模型已经接入，不需要重复操作。添加成功 提示只会短暂显示；如果没有看清，可以通过按钮状态和模型管理中的模型卡片再次确认结果。

详细说明参见模型广场。

4.2 部署调优模型 / 自定义模型

如果菜单项显示为灰色，表示当前环境暂未开放该入口，无法点击。此时不要反复尝试，可以改用模型广场或 OpenAI 接口兼容方式接入。

4.3 添加 OpenAI 接口兼容模型

当模型不在模型广场中，但服务方提供了兼容 OpenAI 调用方式的接口时，可以通过此入口接入。例如：

• 医院内部部署的模型服务；
• 私有云中的模型网关；
• 其他厂商提供的 OpenAI 兼容接口。

“OpenAI 接口兼容”描述的是接口调用格式，不代表模型一定由 OpenAI 提供。

接入前向模型服务提供方确认以下信息：

• 模型 ID；
• API Endpoint URL；
• API Key 或其他访问凭证；
• 模型类型、能力和上下文长度；
• 支持的请求参数及取值范围；
• 使用 Chat Completions 还是 Completions 等补全模式。

信息不全时不要凭经验填写，错误的模型 ID、地址或参数范围都会导致调用失败。

五、接入 OpenAI 接口兼容模型

入口：添加模型 › 添加 OpenAI 接口兼容模型。

配置弹窗分为“基础信息”“模型参数配置”和“接入配置设置”三个标签页。建议按顺序填写，最后再点击 确定。

5.1 第一步：填写基础信息

模型名称与模型标识

这两个字段最容易混淆：

• 模型名称是给人看的名称，可以写得容易识别，例如“院内病历摘要模型”；
• 模型标识是程序调用时发送给服务方的模型 ID，必须与服务方提供的值一致，例如 qwen-plus。

名称可以根据团队习惯设置，标识不能自行改写。如果模型标识填错，即使 API 地址和密钥都正确，也可能返回“模型不存在”一类错误。

配置类型

配置类型决定后续表单展示哪些参数。页面支持：

• 语言模型；
• 向量模型；
• 语音合成；
• 排序模型；
• 语音识别。

请根据接口的真实能力选择，不要为了让模型出现在某个下拉框中而选择错误类型。

模型类型

模型类型用于描述模型能够完成的任务。页面下拉选项可能包含文本生成、向量模型、推理模型、多模态、全模态、排序模型、图片理解等，具体以当前页面为准。

“配置类型”和“模型类型”关注点不同：前者决定平台用什么方式配置和调用模型，后者描述模型具备哪类任务能力。两项都应与服务方资料保持一致。

模型能力

根据模型实际支持情况选择，例如：

• Function call：允许模型按约定格式调用工具；
• 结构化输出：允许模型按 JSON 等结构返回结果；
• 联网搜索：允许调用搜索能力；
• 前缀续写：基于已有内容继续生成；
• cache 缓存：支持相关缓存能力；
• 批量推理：支持批量处理请求。

能力不是越多越好。勾选模型实际不支持的能力，会让上层应用显示无法真正使用的选项。

上下文长度

上下文长度表示模型单次能够处理的上下文规模，页面以 K 为单位。请依据服务方文档填写，不要把字符数、文件大小和 Token 数直接当成同一个概念。

页面当前提示最大可填写 20480K。如果服务方给出的单位不同，应先完成单位确认再填写。

模型图标与描述

• 模型图标：建议使用 240 × 240 的 JPG 或 PNG 文件，大小不超过 2 MB；
• 描述：说明模型能做什么、适合什么场景、有什么限制。

推荐把描述写成可帮助选型的一句话，例如：

用于院内病历摘要和结构化信息提取，支持中文与 JSON 输出，不支持图片输入。

“性能强大”“效果优秀”这类描述不能帮助使用者判断是否适合业务，应尽量避免。

5.2 第二步：配置模型参数

参数配置决定上层应用以后能够调整哪些模型参数。页面最多可启用 10 项，主要分为三组：

分组	参数	作用
生成多样性	temperature	控制输出的随机程度。较低通常更稳定，较高通常更多样
生成多样性	top_p	控制模型从多大范围的候选内容中采样
生成多样性	top_k	限制每一步参与采样的候选数量
生成多样性	frequency_penalty	降低相同词语反复出现的倾向
生成多样性	presence_penalty	鼓励模型引入尚未出现过的内容
输出设置	max_tokens	限制模型最多生成多少 Token
输出设置	response_format	约束输出格式，例如普通文本或结构化结果
输出设置	stop	遇到指定内容时停止生成
能力开关	enable_thinking	控制是否启用模型的思考能力
能力开关	enable_search	控制是否启用搜索能力

参数应该怎么选

只启用服务端真实支持的参数。最可靠的依据是模型服务方的接口文档，而不是其他模型的配置。

对第一次接入的通用语言模型，可以先关注：

• temperature；
• top_p；
• max_tokens；
• 业务确有结构化输出需求时，再启用 response_format；
• 服务明确支持思考或搜索时，再启用对应开关。

不要为了“配置完整”而把所有参数全部开启。某个参数被平台传给接口，但服务端不认识它时，请求可能直接失败。

多样性预设

启用温度等生成多样性参数后，页面会显示“精确、平衡、创意、自定义默认”等预设栏位。

重要：上图中的温度及其取值只是为了展示参数配置界面，并不是平台为所有模型提供的固定参数或推荐配置。 不同模型支持的参数、合法范围和默认值可能完全不同；是否启用某个参数以及如何填写，必须以模型服务方的接口文档为准。

为了帮助第一次接触采样参数的读者理解这些栏位，下面给出的是说明性示例，不是平台统一推荐值：

示例预设	temperature	top_p	可用于理解的场景
精确	0.2	0.5	信息抽取、分类、固定格式输出
平衡	0.7	0.8	通用问答、助手对话
创意	1	0.95	文案构思、开放式内容生成
自定义默认	0.7	0.8	新建配置时采用的团队默认值

表中的数值仅用于解释“较低随机性”和“较高随机性”的区别，不能直接当作任意模型的推荐参数。实际界面只会展示当前已启用的参数：例如只启用 temperature 时，预设区不会凭空出现 top_p。这些预设表示生成风格，不代表输出质量等级。“创意”不一定比“精确”更好；病历摘要、报告解读等要求稳定和忠实的场景，通常更适合从服务方允许的较低随机性开始测试。

temperature 和 top_p 都会影响采样范围。新手不建议同时进行大幅调整，先使用预设完成测试，再根据结果小幅修改。

设置取值范围

启用参数后，需要配置它的取值范围。例如页面允许为 temperature 设置最小值和最大值，为 top_p 设置允许区间。

范围必须落在服务端支持范围内。平台范围比服务端更宽时，用户可能在应用中选择一个平台允许、接口却拒绝的值。

5.3 第三步：填写接入配置

字段	填写方法
API Endpoint URL	填写兼容接口的基础地址，例如页面提示的 https://api.openai.com/v1；实际以服务方提供的地址为准
API Key	填写服务方签发的访问密钥；接口不需要密钥时是否可留空，以实际服务要求为准
Completion mode	选择服务方支持的调用模式：对话或补全。对话通常对应多轮消息接口，补全通常对应基于输入内容继续生成；必须与接口路径和协议一致
分隔符	仅在服务协议需要时填写，例如 \n 或 \n\n

注意：

• 不要在模型名称、描述或截图中粘贴 API Key；
• API Endpoint URL 应填写服务地址，不要误填模型详情页或控制台网页地址；
• 地址是否需要包含 /v1，以服务方文档为准，不要重复拼接；
• Completion mode 不确定时，先向接口提供方确认，选错可能导致请求路径或请求体不匹配；
• 医疗数据接入外部模型前，应完成机构要求的安全、隐私和合规评估。

5.4 提交前检查

点击 确定 前，逐项确认：

• [ ] 模型标识与服务方给出的模型 ID 完全一致；
• [ ] 配置类型和模型真实用途一致；
• [ ] 模型能力没有多选或漏选关键项；
• [ ] 上下文长度的单位已经确认；
• [ ] 启用的每个参数都被服务端支持；
• [ ] 参数默认值和取值范围没有超过服务端限制；
• [ ] API Endpoint URL、API Key 和 Completion mode 已核对；
• [ ] 描述中写清了适用场景与限制。

提交后，返回模型列表搜索刚填写的模型名称。能够在对应厂商分组中找到卡片，说明模型信息已经进入模型管理。模型是否可以正常推理，还应在应用或工作流中进行一次实际调用验证。

尚未添加兼容模型时，“OpenAI 接口兼容模型”分组会显示空状态，可以点击分组右上角 添加模型 重新进入配置流程。

六、确认模型可以使用

模型添加并配置完成后，建议在测试应用或工作流中选择该模型，使用一段不包含真实患者信息的内容进行试用。

确认模型能够正常返回结果，且回答和输出格式基本符合预期后，就可以用于正式业务。如果调用失败，可返回模型管理检查模型标识、接口地址、API Key 和参数配置。

七、移除模型

不再使用某个模型时，可以在模型卡片中点击 移除模型。

移除前，先确认该模型没有被设置为默认模型，也没有被重要应用、工作流或知识库使用。确认弹窗中的模型名称无误后，点击 移除。

移除成功后，模型卡片会从列表中消失。移出模型管理不会删除厂商侧的模型服务。

八、常见问题

8.1 为什么默认模型下拉框是空的？

通常是对应类型的模型还没有加入模型管理。例如知识库的 Embedding 下拉框只需要向量模型，语言模型不会出现在这里。先添加正确类型的模型，再重新打开弹窗。

8.2 模型名称和模型标识可以填成一样吗？

可以，但含义不同。模型名称供人识别；模型标识必须与接口要求的模型 ID 一致。即使两者当前相同，也应分别核对。

8.3 模型已经添加，为什么调用仍然失败？

按以下顺序排查：

1. 模型标识是否正确；
2. API Endpoint URL 是否正确，是否重复或遗漏版本路径；
3. API Key 是否有效、是否有调用该模型的权限；
4. Completion mode 是否与接口协议一致；
5. 是否启用了接口不支持的参数；
6. 参数值是否超过服务端允许范围；
7. 网络和模型服务本身是否可用。

8.4 temperature 应该设置多大？

没有适合所有任务的唯一值。信息抽取、报告摘要和结构化输出通常从较低值开始；开放式内容创作可以使用较高值。先使用“精确、平衡、创意”预设测试，再根据实际结果调整。

8.5 Embedding 和 Rerank 必须同时配置吗？

Embedding 是向量检索的基础；Rerank 用于进一步优化候选文档的排序。是否必须配置 Rerank，取决于知识库配置和检索效果。首次跑通流程时可以先确保 Embedding 可用。

8.6 设置了默认模型，已有应用会自动替换吗？

默认模型主要用于提供场景的默认选择。已有应用是否随之变化，应以应用当前配置和页面提示为准。修改默认模型后，建议检查关键应用实际选中的模型，不要假设系统已经批量替换。

九、推荐的管理员配置顺序

如果你负责一个新环境，可以按以下顺序完成模型配置：

1. 明确首批业务需要文本、知识库、语音还是评测能力；
2. 从模型广场添加经过验证的模型；
3. 模型广场没有目标模型时，再接入 OpenAI 接口兼容模型；
4. 为应用、知识库、语音和评测设置默认模型；
5. 分别创建最小测试应用或工作流进行验证；
6. 记录模型用途、负责人、接口来源和使用限制；
7. 定期清理不再使用的模型，但移除前先检查引用关系。

完成以上步骤后，模型才算真正从“已经接入”进入“可以放心使用”的状态。