大模型服务平台 TokenHub 在线推理

一、功能概述

在线推理页用于管理如何使用模型，例如限流配置、是否开启按 Token 计费、或选择其他计费形式、安全策略等。

在线推理服务有两种类型：

平台会默认为所有支持的模型创建在线推理服务。用户可在模型广场、启用管理、模型详情页领取免费体验包或开启按量付费，快速开始使用。

当你需要自定义模型服务的计费策略，或希望创建多个服务以便按团队区分用量统计与权限管理时，可前往在线推理创建自定义推理服务。

自定义推理服务支持选择更丰富的计费方式，例如 TPM 预留、模型单元。未来，平台还将进一步支持在自定义服务中配置智能路由、插件启停等能力，帮助你实现更灵活的服务管理与治理。

当启用服务级别限流后，你可以为单个服务指定一个不超过模型总 TPM、QPM 的限制阈值。注意，当一个模型创建了多个推理服务时，多个服务的实际运行总 TPM、QPM 依然不能超过模型总限制。

每个在线推理服务都有状态，具体如下：

状态	说明
未启用	默认类型的推理服务，用户未使用前为未启用状态，开始免费体验或开启按量付费后会变为运行中状态。
创建中	服务首次启用时，将会有个短暂的创建中状态，预计 5s 以内会变为运行中。
运行中	当前服务可正常访问。
已停止	1. 当账号欠费时，按量计费的服务会变为已停止；当账号费用冲正后，服务会自动恢复到运行中。2. 当免费额度使用完后，用户未开启后付费时，或用户手动关闭了服务的后付费时，服务会变为已停止，需要用户在在线推理页面手动开启后付费恢复服务。

计费方式标记当前服务的付费状态，具体含义如下：

状态	说明
免费体验	当前服务正在使用免费体验包，在免费体验包内的用量不计费。
按 Token/积分计费	当前服务已开通按 Token/积分使用量计费的后付费方式。
TPM 预留	当前服务已开通 TPM 预留，预留固定 TPM 吞吐额度保障稳定调用，超出预留部分的流量按 Token 计费。
模型单元	当前服务已开通模型单元，使用资源独占、安全隔离的专属推理资源，按模型单元使用时长计费。
无	当用户免费体验包用完后，未开启后付费时，将没有计费状态，服务会变为停止状态。

注意：说明：

注意：用户在免费体验包未使用完时也可提前打开后付费，打开后会同时展示：免费体验、按 Token 计费两种状态，平台会优先消耗免费体验包额度，免费体验包消耗完成后将开始按 Token 用量计费。

选项	说明
开启/关闭按量付费	点击可开启/关闭所选服务的按量付费。开启后，优先消耗免费额度，用完后自动按量计费，服务不中断。停用后，如没有免费额度，服务将无法继续访问，不产生额外计费。
API 调用	点击跳转至所选服务详情页的接入示例，按照示例快速实现服务调用。
删除	支持单选删除或勾选批量删除，删除后正在运行中的调用会立即中断，需谨慎操作。删除默认推理服务，所选服务将从运行中状态回落至未启用。删除自定义推理服务，所选服务会直接删除，无法恢复。