使用限制
2. 指标监控数据仅支持在最新版本标准 Spark 引擎上可用,如需升级引擎请提交DLC 工单。
操作步骤
1. 登录腾讯云 WeData 数据开发治理平台。
2. 单击左侧目录树项目列表。
3. 选择项目进入后,单击顶部进入运维中心模块。
4. 在左侧目录树中单击实时实例运维。
实时实例运维
一、实时实例列表
功能说明:
| 信息 | 描述 |
| 任务名称/ID | 任务名称:单击可跳转到实例详情页 > 执行日志,支持复制。任务 ID:用于后台查询日志、排查问题等场景,支持复制。 |
| 执行状态 | 实时实例执行状态包括3类:运行中:实例处于运行中阶段,可以通过日志实时查看运行过程。成功:任务实例运行成功。失败:任务实例运行失败。列表表头支持按执行状态筛选。 |
| 实例类型 | 此列表只展示实时实例,实例类型只有实时实例1种类型。 |
| 负责人 | 实时实例的负责人名称,明确计算任务实例的运维责任归属,默认为计算任务的创建用户。 |
| 任务类型 | 实时实例所属的计算任务类型。 |
| 开始时间 | 实时实例生成后开始运行的时间。格式为:yyyy-MM-dd HH:mm:ss。 |
| 结束时间 | 实时实例运行结束时间。格式为:yyyy-MM-dd HH:mm:ss。 |
| 执行时长 | 实时实例运行开始时间到结束时间的运行时长。 |
| 文件夹 | 实时实例所属计算任务在编排空间中的所属文件夹目录,方便识别计算任务实例归属,进行统一管理。 |
| 执行资源组 | 实时实例执行使用的执行资源组。列表表头支持按执行资源组名称筛选。 |
二、实时实例操作
功能说明:
| 操作 | 功能说明 |
| 终止 | 分为批量操作和单任务操作,批量操作在任务名称前进行勾选,再使用上方的功能按钮;单任务操作点击任务列表操作列的操作项。仅对实时实例为“运行中”的实例可操作,终止实例后,对应实例会被终止运行,执行状态会置为“失败”。 |
| 查看日志 | 跳转到实时实例详情页>执行日志页,可查看实时实例的运行日志。 |
| 任务开发 | 跳转到编排空间中对应实时实例的计算节点配置界面,是实时实例运维跳转计算任务节点编辑的快捷通道。 |
三、实时实例筛选
功能说明:
| 操作 | 描述 |
| 按任务名称/ID 筛选 | 支持按任务名称或任务 ID 进行模糊匹配。 |
| 按开始时间筛选 | 支持按照开始时间对列表任务进行筛选。 |
| 按负责人筛选 | 支持按照负责人筛选。 |
| 按文件夹筛选 | 支持按照计算任务在编排空间中的所属文件夹名称对运维中的任务进行筛选。可以展开多级目录,支持多选。 |
四、实时实例快捷操作
功能说明:
| 操作 | 描述 |
| 刷新 | 单击图标,可以查看实例列表的最新状态。 |
| 展示列调整 | 单击图标调整当前实例列表面板展示列的显示或隐藏以及列之间的顺序。可以配置的列包括:执行状态、实例类型、负责人、任务类型、开始时间、结束时间、执行时长、文件夹、执行资源组。 |
五、实时实例详情页
实时实例详情页集合了该实例的执行日志、流监控指标、操作记录、SparkUI 等信息,帮助用户查看和运维实时实例。
| Tab 页 | 描述 |
| 执行日志 | 查看实时实例运行日志,日志支持按不同日志级别筛选、支持刷新和日志换行、日志下载、日志关键字搜索。日志最多展示从开始执行起的30000条,全部日志下载可查看。点击SparkUI按钮可跳转到SparkUI链接查看引擎运行指标。 |
| 指标监控 | 指标监控支持查看 DLC Spark Streaming 实例运行时的关键指标,关键指标包括:Driver 内存百分比、每秒输入的记录数、每秒输出的记录数、数据流入延迟处理时间、任务背压比例、任务重试次数、任务运行时长、状态存储内存使用量、状态缓存命中率、状态总行数、状态更新总耗时、状态提交总耗时。支持按预设的时间范围筛选,也支持自定义时间范围筛选。预设时间范围包括:5分钟、30分钟、1小时、3小时、12小时、24小时、2天、7天;自定义时间范围支持选择近30天。指标监控时间粒度支持按5分钟、1分钟间隔展示。 |
| 操作记录 | 查看对实时实例的操作记录,包含终止操作的操作人、操作时间等信息。 |