腾讯云大模型训推平台TI-ONE 新建数据集

数据中心支持新建/管理的用户数据集来源有:腾讯云文件存储 CFS 上的大模型类数据文件,以及 腾讯云对象存储 COS 上的图片/表格/其他类数据文件。所以整个数据中心模块对大模型建模数据集和传统建模数据集是分为了两套不同的产品逻辑分别进行支持。

相关产品
腾讯云大模型训推平台TI-ONE 产品页,含版本规格、价格与购买入口。

一、概述

注意:1. COS 为对象存储产品,独立计费,详情请参见 对象存储-计费概述。

注意:2. CFS 为文件存储场景,独立计费,详情请参见 文件存储-价格总览。

注意:3. 同一个公有云账号在同一个地域下最多可在数据中心同时维护200个数据集,若你的业务有扩容需求,可使用工单联系我们。

大模型建模数据集

大模型建模类型(LLM&MLLM)的数据集在新建时选择“建模任务类型-大模型建模”,只需要用户填写一条数据文件所在的 CFS 路径信息即可一键创建。数据中心仅仅是将该数据集关联到用户的 CFS 路径上,数据中心并不会将用户的原始数据文件进行复制、转存。且用户在 TI-ONE 平台对该大模型数据集进行标注时,标注结果会直接且实时的写到用户数据集的原始文件中。所以,若不希望原始文件被修改,请用户提前完成原始文件备份。

·数据集名称:输入自定义数据集名称;

·建模任务类型:如选择“大模型建模-LLM”,该参数仅作为任务类型的一个区分标记,不会对后续的产品流程产生严格的操作逻辑上的区别;

·数据集 CFS 路径:请定位到你的数据文件所在的 CFS 路径,该路径不需要精准到 jsonl 文件,只需要精准到 jsonl 文件所在的目录层级即可;

·数据集标签:为了便于用户更好的分类管理大量的数据集,支持用户在此灵活自由的给该数据集打上标签信息,后续数据中心支持通过标签对数据集进行检索。

传统 CV 建模数据集

二、新建未标注的图片数据集

若你的图片数据没有相关的标注信息,则新建数据集时,配置如下:

·数据集名称:输入自定义数据集名称;

·地域:数据集所在地域前端默认为你当前控制台所在地域;

·标签:该参数是复用了 腾讯云【标签】产品,用户可给数据集打上不同的标签值;

·建模任务类型:选择“传统 CV 建模”,然后依据你不同的图像场景对应选择“图像分类、图像检测、图像分割、图像目标跟踪、OCR”;

·标注状态:选择“未标注”;

·COS 数据路径:指定选择图片数据所在的 腾讯云对象存储 COS 路径 即可。若你的图片文件还在本地未上传到 COS 路径下,则单击选择文件按钮后,选中某个存储桶,然后在弹框左下角选择上传文件等功能即可完成本地数据的上传:

·COS 存储路径:该数据集后续在 TI-ONE 平台上可能产生的标注信息(利用该数据集创建了数据标注任务)、以及该数据集每个版本的数据信息/快照记录等文件将存储到该 COS 存储地址下。注意:该地址不能和“数据文件 COS 路径”参数配置相同;

·数据集导入成功后,TI-ONE 平台支持在前端页面查看数据集详情,即可预览图片内容。

三、新建已标注的图片数据集

若你的图片数据中含有相关的标注信息,则导入数据集时,配置如下:

·数据集名称:输入自定义数据集名称;

·地域:数据集所在地域前端默认为你当前控制台所在地域;

·标签:该参数是复用了 腾讯云【标签】产品,用户可给数据集打上不同的标签值;

·建模任务类型:选择“传统 CV 建模”,然后依据你不同的图像场景对应选择“图像分类、图像检测、图像分割、图像目标跟踪、OCR”;

·标注状态:选择“已标注”;

·标注格式:不同的图像场景有不同的标注格式:

·依据不同的标注格式,请按照对应的“文件存放示意图”的说明准备你的文件目录;

·单击下载标注文件示例 下载查看标注文件的具体格式内容;

·COS 数据路径:指定选择图片数据所在的 腾讯云对象存储 COS 路径 即可;

·COS 输出路径:该数据集后续在 TI-ONE 平台上可能产生的标注信息(利用该数据集创建了数据标注任务)等文件将存储到该 COS 存储地址下。注意:该地址不能和“数据文件 COS 路径”参数配置相同;

·数据集导入成功后,TI-ONE 平台支持在前端页面查看数据集详情,即可预览图片内容,且可同时展示数据集标注信息的可视化分布图。

四、大数据建模数据集

若你要导入“大数据建模-表格”类型的数据集时,则配置如下:

·数据集名称:输入自定义数据集名称;

·地域:数据集所在地域前端默认为你当前控制台所在地域;

·标签:该参数是复用了 腾讯云【标签】产品,用户可给数据集打上不同的标签值;

·建模任务类型:选择“大数据建模-表格”;

·标注状态:选择“未标注”,表格类型的数据集不支持上传已标注的数据文件;

·COS 数据路径:指定选择表格数据所在的 腾讯云对象存储 COS 路径 即可;

·若数据文件包含表头,则请打开“是否包含表头”的按钮,并严格按照表格列名配置 Schema 信息,否则校验不通过会造成导入数据集失败;若数据文件不包含表头,则关闭“是否包含表”按钮,则平台会根据你自定义输入的 Schema 信息依次为你解析表格数据;

·COS 存储路径:该数据集在 TI-ONE 平台产生的一些元信息记录文件将存储到该 COS 存储地址下。注意:该地址不能和“数据文件 COS 路径”参数配置相同;

·数据集导入成功后,TI-ONE 平台支持在前端页面查看数据集详情,即可预览表格数据内容。且 TI-ONE 平台支持对可枚举列进行分布统计展示。

五、其他数据集

若你的文件后缀不满足平台内置数据格式的要求,或者你无须 TI-ONE 平台为你展示数据详情内容,仅需要管理一条数据路径,则在新建数据集时,“建模任务类型”选择“其他”,配置如下:

·数据集名称:输入自定义数据集名称;

·地域:数据集所在地域前端默认为你当前控制台所在地域;

·标签:该参数是复用了 腾讯云【标签】产品,用户可给数据集打上不同的标签值;

·建模任务类型:选择“其他”;

·标注状态:仅支持选择“未标注”;

·COS 数据路径:指定选择你的数据文件所在的 腾讯云对象存储 COS 路径 即可;

·COS 输出路径:该数据集在 TI-ONE 平台产生的一些元信息记录文件将存储到该 COS 存储地址下。注意:该地址不能和“数据文件 COS 路径”参数配置相同;

·数据集导入成功后,TI-ONE 平台不支持在前端页面查看数据集的详情内容。

赞 (0)
上一篇 4天前
下一篇 4天前