腾讯云大模型训推平台TI-ONE 数据中心

这篇说说腾讯云数据中心作为大模型训推平台的基础数据服务模块,提供数据集管理、数据标注和数据构建三大功能,支持LLM、MLLM、传统CV及大数据建模任务。 数据集管理:统一管理按地域隔离的数据集,支持多种建模类型及数据预览分析。 数据标注:提供LLM&MLLM标注操作台及内置图片分类、目标检测等场景。 数据构建:提供最佳实践文档、多种内置算法任务及数据处理功能。

相关产品
腾讯云大模型训推平台TI-ONE 产品页,含版本规格、价格与购买入口。

数据中心作为大模型训推平台的基础数据服务模块,提供以下主要功能:

一、数据集管理

·统一管理当前主账号下的所有数据集,数据集列表按照地域进行隔离;

·数据集支持的建模任务类型有:

·大模型建模数据集:支持大语言模型 LLM 数据集(jsonl)和多模态大模型 MLLM 数据集(jsonl);

·传统 CV 建模数据集:图片 (JPG、PNG、JPEG、BMP);

·大数据建模数据集:表格 (XLS、XLSX、CSV) ;

·其他:任意格式文件;

·支持对数据内容进行详情预览,且支持对文本数据进行样本词频分析和样本长度分析等。

二、数据标注

·提供 LLM&MLLM 大模型建模的数据标注操作台:利用 schema 灵活定义标注操作台组件;

·提供内置的“图片分类”标注场景:识别数据集中每张图片所属的标注类别,如猫、狗图片分类标注;

·提供内置的“目标检测”标注场景:识别数据集中每张图片里指定物体的所在位置及其类别,如画框检测图片中的猫、狗标注任务;

·提供内置的“目标跟踪”标注场景:对数据集中连续的多张图片里的某个物体进行跟踪标记;

·提供内置的“图片分割”标注场景:识别数据集中每张图片里指定标注类别的物体的所在区域;

·提供内置的 “OCR” 标注场景:支持对图片的文字内容进行识别/检测,或者智能结构化的标注。

三、数据构建

·提供最佳实践文档指导用户进行前置数据预处理;

·提供多种内置算法任务,每个任务都有高质量的 prompt 和内置自研数据;

·提供三种内置的数据构建 pipeline:有监督-单轮 QA-pipeline、有监督-多轮 QA-pipeline、无监督-pipeline;

·提供多种数据处理功能:数据清洗、prompt 优化、数据过滤、数据增强等。

赞 (0)
上一篇 4天前
下一篇 4天前