02 · 托管推理
云/本地推理接入方式
受支持的 .eelml 模型包可走本地推理,需要在线推理时则走托管 Cloud Model Gateway。Harness 保持同一条任务主链,本地 Runtime Service 与服务端策略路由器是两条独立执行路径。
连接信息
- 基础地址
- https://api.eelml.com/model-gateway/v1
- 模型别名
- eelml-cloud-auto
- 身份认证
- 现有 EELML Bearer Token
- 流式响应
- stream 为 true 时使用 Server-Sent Events
- 本地路径
- EELML Studio Runtime Service + .eelml 模型包
1 · 选择执行路径
使用受支持的 .eelml 模型包完成私有的设备端推理;任务需要托管在线推理时选择 EELML 云模型自动路由。
2 · 云推理身份认证
云端请求使用与控制平面相同的已验证 EELML 账户 Token。仅购买订阅不会自动获得受限云模型权限;本地推理不会把这个 Token 发送给模型提供商。
3 · 发现云服务别名
GET /models 只返回当前账户允许发现的别名。提供商名称和具体模型 ID 保留在服务端。
4 · 发起云推理请求
使用 eelml-cloud-auto 调用 POST /chat/completions。stream=true 返回 SSE,false 返回单次 JSON。
5 · 由 Harness 继续工具调用
两条推理路径都会把模型决策返回同一个 Harness;真正的工具执行仍由 Agent Kernel 完成。
接口范围
- GET
- /models
- POST
- /chat/completions
- 本地
- Runtime Service
流式推理
curl https://api.eelml.com/model-gateway/v1/chat/completions \ -H "Authorization: Bearer $EELML_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "model": "eelml-cloud-auto", "messages": [{"role": "user", "content": "请总结这项任务。"}], "stream": true }'
安全与产品边界
- Cloud Credits 与提供商/模型权限是两项独立校验。购买套餐不会自动开通昂贵模型。
- 没有授权路由时网关会明确失败,不会静默切换到未经批准的提供商。
- 本地推理不经过这个接口。受支持的 .eelml 模型包由 EELML Studio 内部的本地 Runtime Service 运行。