模型部署

把训练产物或第三方模型发布为可自愈、可回滚的内网 OpenAI 服务

模型部署（/deployments）面向长期内网服务，与带 TTL 的 Playground 相互独立。每个部署拥有稳定端点、不可变 Revision 和独立访问 Token；暂停后会释放 GPU，但保留这些身份信息。

受管部署及其 revision 与端点。

​

创建部署

创建向导分为名称、模型、运行配置和确认四步。模型来源支持：

• StarForge 训练 run 的 hf_export；普通 checkpoint 需先执行 sf export；
• Hugging Face 仓库，可选使用当前用户已连接的 HF 凭据访问私有模型；
• 管理员允许的共享目录。

运行引擎可选 vLLM 或 SGLang。常用参数包括 GPU 数、dtype、量化、最大上下文、最大并发、显存利用率和 OpenAI 模型名；引擎高级参数按需展开。平台只接受类型化参数，不接受任意 shell 参数。

trust_remote_code 默认关闭。只有管理员明确允许时用户才能开启，因为它会执行模型仓库中的代码。

​

状态与自愈

状态依次为 Deploying、Warming、Ready，异常时显示 Degraded 或 Failed，暂停后为 Suspended。Ready 表示运行时存活、健康检查成功、/v1/models 包含预期模型名，并完成最小生成预热。

单副本运行时丢失或连续健康检查失败后，控制器会按退避策略重建。暂停会停止运行时并释放 GPU；恢复会基于当前 Revision 重新创建。

​

调用稳定端点

创建部署后只显示一次初始 Token。后续可在 设置 → 部署 Token 创建、撤销或轮换 Token。

curl "$STARFORGE_URL/inference/<deployment-id>/v1/chat/completions" \
  -H "Authorization: Bearer $DEPLOYMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"model":"<served-model-name>","messages":[{"role":"user","content":"hello"}]}'

浏览器内的 Playground 标签使用登录身份测试，不会读取或暴露部署 Token。客户端调用只能使用部署 Token，登录 access token 不能替代它。

​

Responses API

Ready 部署同时保证 OpenAI Responses API 的创建与 SSE 流式输出可用。稳定网关也允许 GET、POST 和 DELETE，因此查询、取消、删除、input items 等辅助端点会按引擎原生能力透传；当前 vLLM 基线保证创建、查询和取消，较新的 SGLang 还提供更完整的状态端点。

curl "$STARFORGE_URL/inference/<deployment-id>/v1/responses" \
  -H "Authorization: Bearer $DEPLOYMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"model":"<served-model-name>","input":"你好","stream":true}'

Response 与 conversation 状态保存在单副本运行时中。部署自愈、暂停或切换 Revision 后，旧 response_id / conversation_id 可能失效；需要跨重建持久化的应用应保存完整 input items，并以 store: false 调用。

OpenAI 托管的 web search、file search、code interpreter 等内置工具不会由本地引擎自动获得；函数工具、reasoning 和结构化输出能力取决于模型、引擎版本及所选 parser。

​

更新与回滚

配置或模型变更会创建新的不可变 Revision。GPU 充足时平台先启动候选 Revision，通过完整预热后再切换稳定端点；候选失败时旧 Revision 继续服务。GPU 不足时必须明确允许维护窗口，平台不会静默中断现有服务。

在 Revisions 标签可查看配置快照并回滚。详情页还提供指标、日志和设置。删除部署会停止运行时并立即撤销全部 Token，且不可恢复。