一、新建标注任务
在数据中心 > 数据集管理模块，选择已新建好的大模型数据集，单击“操作-标注”按钮，后台会自动依据该数据集的 schema 配置信息创建对应的标注操作台。
注意：重要的注意事项：
二、大模型标注操作台
TI-ONE 平台灵活的 schema 能支持的标注场景包括但不限于：高质量文本问答对筛选、文本数据清洗、图片问答对审核/修改、图片问答竞品评测、图片多轮问答、多模态阅读理解图片文本描述等。
以下给出 3 个不同 schema 配置对应的标注操作台示例：
1. 针对多图的多轮问答
desc: 多图多轮问答
record_fields:
– name: img # 标注工作台展示的标注组件名称
key: img # 导出标注结果的json字段名称
type: ImageListInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value:
{{- range .Values.img }} # 使用循环引用图片列表
– {{ . }}
{{- end }}
– name: target # 标注工作台展示的标注组件名称
key: target # 导出标注结果的json字段名称
type: List # 组件类型
help: "请添加字段描述" # 组件帮助说明
value:
{{- range .Values.target }} # 使用循环展开List列表内容
–
– name: 问题 # 标注工作台展示的标注组件名称
key: question # 导出标注结果的json字段名称
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .question }}"
size: MultiLine
– name: 答案 # 标注工作台展示的标注组件名称
key: answer # 导出标注结果的json字段名称
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .answer }}"
size: LongArticle
{{- end }}
在该场景下，可以配置 schema 实现多张图片的展示、问题和答案问答对配对展示，同时支持对问答对进行删除和添加，也支持调整问答对的先后顺序；同时用户还可以依据“问题、答案”两个字段不同的文本长度设置不同的输入框大小。
标注操作台功能细节：
·可单击左侧图片区域上方的“缩放视图”调整图片展示大小。
·可单击标题栏处右侧的“设置”按钮，设置字号大小以及文本中的 markdown 内容是否要展示。
·可单击切换标注状态“未标/已标”；若当前样本有标注内容的修改，则后台会自动将状态流转为“已标”，若当前样本无任何修改，用户也可以手动单击“未标”按钮来切换成“已标”状态。
2. 针对单图的多模型评测
desc: 自动生成的YAML
record_fields:
– name: 图片 # 标注工作台展示的标注组件名称
key: Images # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: ImageViewer # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .Values.Images }}"
– name: 问题 # 标注工作台展示的标注组件名称
key: Query # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .Values.Query }}"
size: MultiLine
– name: 参考答案 # 标注工作台展示的标注组件名称
key: sn_vl_0_6_0_10b_8k_beta_0624 # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .Values.gtmodel }}"
size: LongArticle
– name: 选择最好的模型 # 标注工作台展示的标注组件名称
key: correct_model # 导出json标注结果时候该组件对应的json字段key
type: StringSelector # 表明该组件类型是字符串选择组件
option: SingleSelector # 表明该组件是多选。字段取值范围：SingleSelector/MultiSelector
help: 模型评测 # 组件帮助说明
choices: # 指定选项的内容
– 模型1
– 模型2
– 模型3
– 都舍弃
– name: 模型1的答案 # 标注工作台展示的标注组件名称
key: kzx2npurd5 # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: '{{ index .Values.model1 }}'
size: MultiLine
– name: 模型2的答案 # 标注工作台展示的标注组件名称
key: FT_qw15_sft_0626_v100_800 # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .Values.model2 }}"
size: MultiLine
– name: 模型3的答案 # 标注工作台展示的标注组件名称
key: V4_FT_qw15_sft_0726_temp_old_500 # 导出标注结果的json字段名称(支持英文字母下划线，不能以数字开头)
type: TextInput # 组件类型
help: "请添加字段描述" # 组件帮助说明
value: "{{ .Values.model3 }}"
size: MultiLine
在该场景下，可以配置 schema 实现展示单张测试图片，以及配置展示不同模型的推理结果、设置待评测选择的模型名称。
3. 筛选高质量的文本问答对
desc: 筛选高质量的大模型训练数据record_fields: # 标注工作台展示的第一个组件定义 – name: question # 标注工作台展示的标注组件名称 key: question # 导出json标注结果时候该组件对应的json字段key help: 请参考以下问题 # 组件帮助说明 type: TextViewer # 表明该组件类型是文本展示框，不可编辑 size: SingleLine # 表明该字段是单行文本框，字段取值范围：SingleLine/MultiLine/LongArticle value: "{{ .Values.question }}" # 表明该字段的内容来源是单个json样本中的question字段 # 标注工作台展示的第二个组件定义 – name: answer # 标注工作台展示的标注组件名称 key: answer # 导出json标注结果时候该组件对应的json字段key type: TextInput # 表明该组件类型是文本输入框 help: 请修正问题答案 # 组件帮助说明 size: MultiLine # 表明该字段是多行行文本框，字段取值范围：SingleLine/MultiLine/LongArticle value: "{{ .Values.answer }}" # 表明该字段的默认内容来源是单个json样本中的answer字段 # 标注工作台展示的第三个组件定义 – name: 是否正确 # 标注工作台展示的标注组件名称 key: correct # 导出json标注结果时候该组件对应的json字段key type: StringSelector # 表明该组件类型是字符串选择组件 help: 请判断答案是否正确 # 组件帮助说明 option: SingleSelector # 表明该组件是单选。字段取值范围：SingleSelector/MultiSelector layout: RadioButton # 通过layout字段指定单选组件样式：RadioButton（点选框）或DropdownList（下拉单选框），选项较多时建议使用DropdownList避免文字溢出 choices: # 指定选项的内容 – 正确 – 舍弃 – 存疑 value: # 可以指定默认选中的选项，数组类型，单选为1个，多选可设置多个。 – 正确 # 标注工作台展示的第四个组件定义 – name: 舍弃存疑原因 # 标注工作台展示的标注组件名称 key: correct_reason # 导出json标注结果时候该组件对应的json字段key type: StringSelector # 表明该组件类型是字符串选择组件 option: MultiSelector # 表明该组件是多选。字段取值范围：SingleSelector/MultiSelector help: 答案不正确的原因 # 组件帮助说明 layout: Checkbox # 通过layout字段指定单选组件样式：CheckBox（点选框）或DropdownList（下拉多选框），选项较多时建议使用DropdownList避免文字溢出 choices: # 指定选项的内容 – 无错误 – 逻辑错误 – 答非所问 – 缺失内容 value: # 指定默认选中的选项，数组类型，单选为1个，多选可设置多个。 – 逻辑错误 – 缺失内容
在该场景下，可以配置 schema 实现展示不可编辑修改的“question”字段，防止标注人员在标注过程中的误操作，可设置“answer”字段为可编辑字段，同时支持用户配置自定义的筛选枚举值“正确、舍弃、存疑”，并设置以勾选的方式多选存疑或舍弃的原因。对于多选或单选组件，不仅可以自定义选择框的样式为平铺或下拉，还可以支持在标注过程中新增其他选项，无需重新修改标注任务配置。