一、标准调度资源
专业版、企业版 WeData 提供不同规格标准化全托管执行资源用于任务调度,详情请参考 计费说明。标准资源组变配、销毁等请前往调度资源组配置查看。
项目绑定标准调度资源组后,单击资源组名称可以进入资源组信息页面,查看资源信息、资源监控以及进行资源组运维。
二、资源信息
进入资源信息页面,可以查看资源基本信息与资源详细信息,详情请参见资源信息。
三、资源监控
进入资源监控页面,可以监控该调度资源的使用情况,详情请参见 资源监控。
四、资源组运维
资源组运维界面提供了创建安装命令、创建卸载包命令、已安装包查看的入口以及命令执行记录列表,用户可以在此处查看 Python、Yum 安装和卸载的相关信息,包括名称、安装类型、创建人、状态、描述和时间等。
五、Python 包安装
1. 单击 创建安装包命令 后,在弹框中配置安装信息。
注意:该功能只在 新版规格 的调度资源中生效。 老的规格不支持安装。
| 信息 | 描述 |
| 命令名称 | 自动生成,默认为“ Python 安装包_当前时间 ”,用户可以修改。 |
| 包类型 | Python2、Python3、Yum |
| 选择安装包 | 支持关键词搜索,目前支持的安装包如下:Python2:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python。Python3:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python、pymysql、cos-python-sdk-v5、threadpool、tencentcloud-dlc-connector、matplotlib。 |
| 版本 | 可选择对应 Python 包不同的版本。 |
| 指定COS路径 | 可输入或选择指定的COS路径进行安装 |
| 命令执行路径 | WeData 提供的默认路径,Python 包的安装路径。 |
| 安装命令 | 自动生成。 |
| 超时时间 | 安装命令执行的最长时间,超过时间则终止执行。 |
| 描述 | 自定义描述信息。 |
2. Python 包安装步骤配置完成后即可生成安装命令,在资源组运维页面单击对应安装命令操作列下的运行,即可执行 Python 包安装命令,安装成功后,会在状态列提示命令运行成功信息。
3. 单击操作列下的查看结果,可以查看安装命令执行的详细情况。
4. 单击列表中的命令名称,可以查看命令详情。
六、已安装包查看
单击已安装包查看后,在弹框中可以分别看到 Python2、Python3、Yum 已安装的 Python 包信息。
七、Python 包卸载
单击 Python 包卸载后,在弹框中可以选择已安装的 Python 包进行卸载。
| 信息 | 描述 |
| 命令名称 | 自动生成,默认为“ Python 卸载包_当前时间 ”,用户可以修改。 |
| 包类型 | Python2、Python3、Yum |
| 选择卸载包 | 可选择已安装的 Python 、Yum包。 |
| 命令执行路径 | WeData 提供的默认路径,Python、Yum包的卸载路径。 |
| 卸载命令 | 自动生成。 |
| 超时时间 | 卸载命令执行的最长时间,超过时间则终止执行。 |
八、Python 版本安装
使用场景:支持在调度资源组中安装 Python 版本,安装的 Python 版本适用于编排空间的 Python 任务和 PySpark 任务。
安装步骤:
1. 创建安装包命令。
命令类型选择 Python 版本 > 选择需要安装的Python版本 > 点击确认创建安装包命令。
2. 执行安装包命令 > 完成 Python 版本安装。
3. 查看已安装 Python 版本。
点击已安装包查看 > 选择 Python 版本查看已安装的版本。
注意:说明:
注意:为保障任务正常执行,当前不支持卸载 Python 版本。
4. 使用 Python 版本。
安装成功后,在 Python 任务或 PySpark 任务中,选择对应的调度资源组,即可选择已经安装的 Python 包。
九、自定义调度资源
企业版 WeData 允许关联当前用户账号下的 CVM 用于调度资源组,自定义调度资源组将由用户自持及自运维。
注意:2025年9月11日起,平台将不再支持自定义调度资源组创建,推荐使用标准资源组。历史创建的自定义资源组的使用不受影响。
十、添加服务器
1. 单击资源组管理 > 添加服务器,为当前执行资源组添加可供任务执行的服务器资源。
2. 你可以选择已有的云服务器(CVM),或购买新的云服务器,填写想要添加的服务器的基本信息后,单击下一步。建议的服务器配置如下:
·网络:与项目计算引擎(如 EMR) 在同一个 VPC。
·配置:32核64G内存(建议生产使用至少2台,测试1台)。
·公网带宽:2Mbps。
·系统镜像:CentOS CentOS 7.9 64位。
·硬盘:500GB。
注意:不要添加 EMR 节点到执行资源组,以免环境冲突。
十一、参数说明
所属网络
选择 CVM 服务器所属网络,CVM 需与项目下已绑定的计算引擎属于同一 VPC 环境中。
内网 IP
填写 CVM 服务器对应的主 IPv4 内网 IP。
1. 获取方式说明:
1.1 进入 CVM 控制台,单击实例,进入实例列表。
1.2 在实例列表中选择所添加的服务器,并单击进入该 CVM 详情页。
1.3 确认所属网络信息并复制主 IPv4 内网 IP。
1.4 进入安装 Agent 页面,根据提示到服务器中进行 Agent 安装。
2. 退役/服役服务器
3. 对于正常使用的服务器,如果你想要对其进行维护操作,可以选择将其退役。退役后,服务器将进入退役中状态,正在运行的任务会继续运行完,但不再接收新的任务。当正在运行的任务全部执行完后,服务器转为已退役状态,你可以开始对该服务器进行维护。维护结束后,单击服役,可以将该服务器恢复正常使用,开始接收新的任务。
4. 删除服务器
如果想要将服务器从执行资源组中剔除,可以先单击退役按钮,待该服务器状态转为已退役时(耗时视当前任务运行时长而定),再单击删除按钮,将该服务器删除,另作他用。
十二、修改资源组子网信息
产品新增功能支持修改调度资源组(标准调度资源)。
1. 进入 WeData 控制台 > 执行资源组 > 调度资源组 >标准调度资源组,选中对应资源组 > 编辑网络可进行批量修改操作,支持到子网维度修改。
注意:说明:
注意:仅当选择的资源组地域及VPC相同时,支持批量编辑。
2. 也可以对单个资源组操作 > 更多 > 编辑网络进行修改。
注意:修改子网配置将触发资源重建,预计耗时约10-15分钟。重启期间可能导致任务运行中断,建议你在任务低峰时段(如夜间或业务空闲期)进行操作,以降低对业务的影响
十三、Python 版本安装
使用场景:支持在调度资源组中安装 Python 版本,安装的 Python 版本适用于编排空间的 Python 任务和 PySpark 任务。
安装步骤:请参见 Python 版本安装。