02 · 托管推理

云/本地推理接入方式

受支持的 .eelml 模型包可走本地推理,需要在线推理时则走托管 Cloud Model Gateway。Harness 保持同一条任务主链,本地 Runtime Service 与服务端策略路由器是两条独立执行路径。

连接信息

基础地址
https://api.eelml.com/model-gateway/v1
模型别名
eelml-cloud-auto
身份认证
现有 EELML Bearer Token
流式响应
stream 为 true 时使用 Server-Sent Events
本地路径
EELML Studio Runtime Service + .eelml 模型包

1 · 选择执行路径

使用受支持的 .eelml 模型包完成私有的设备端推理;任务需要托管在线推理时选择 EELML 云模型自动路由。

2 · 云推理身份认证

云端请求使用与控制平面相同的已验证 EELML 账户 Token。仅购买订阅不会自动获得受限云模型权限;本地推理不会把这个 Token 发送给模型提供商。

3 · 发现云服务别名

GET /models 只返回当前账户允许发现的别名。提供商名称和具体模型 ID 保留在服务端。

4 · 发起云推理请求

使用 eelml-cloud-auto 调用 POST /chat/completions。stream=true 返回 SSE,false 返回单次 JSON。

5 · 由 Harness 继续工具调用

两条推理路径都会把模型决策返回同一个 Harness;真正的工具执行仍由 Agent Kernel 完成。

接口范围

GET
/models
POST
/chat/completions
本地
Runtime Service

流式推理

curl https://api.eelml.com/model-gateway/v1/chat/completions \ -H "Authorization: Bearer $EELML_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "model": "eelml-cloud-auto", "messages": [{"role": "user", "content": "请总结这项任务。"}], "stream": true }'

安全与产品边界

  • Cloud Credits 与提供商/模型权限是两项独立校验。购买套餐不会自动开通昂贵模型。
  • 没有授权路由时网关会明确失败,不会静默切换到未经批准的提供商。
  • 本地推理不经过这个接口。受支持的 .eelml 模型包由 EELML Studio 内部的本地 Runtime Service 运行。