yun
-
弹性 MapReduce 关系型数据库和 HDFS 的导入导出
Sqoop 是一款开源的工具,主要用于在 Hadoop 和传统数据库(MySQL、PostgreSQL 等)之间进行数据传递,可以将一个关系型数据库(例如 MySQL、Oracle、Postgres 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导入到关系型数据库中。Sqoop 中一大亮点就是可以通过 Hadoop 的 MapReduce 把数据从关系型数据库中导入数据到 HDFS。
-
弹性 MapReduce 重启服务
组件配置项修改后,需要重启对应的服务使配置生效。为确保服务重启过程中,尽量减少或不影响业务运行,可通过滚动重启服务。对于有主备状态的实例,会先重启备实例,再重启主实例。滚动重启时间比普通重启时间久。
-
弹性 MapReduce 登录集群
以 Xshell 为例,介绍本地为 Windows 系统的电脑如何使用远程登录软件通过密码登录 EMR 集群。
-
大数据智能体工作台 DataBuddy 添加修改数据源连接
添加数据源连接(Connection)后,你才能在数据接入任务、外部 Catalog 等场景中引用该数据源。这里说明如何在 DataBuddy 中创建数据源连接、配置认证信息、设置高级参数,并完成保存与下一步操作。
-
大数据智能体工作台 DataBuddy 外部数据管理与基于数据源创建外部数据目录
DataBuddy 数据目录除了管理内部托管的资产(表、卷、模型)外,还支持将 外部数据 纳入治理体系。外部数据管理包含两类对象。
-
大数据智能体工作台 DataBuddy 数据源连通性测试
如何在数据源创建或编辑过程中执行连通性测试,并说明连通性测试与计算资源、网络设置之间的依赖关系。
-
大数据智能体工作台 DataBuddy 异常检测(Anomaly Detection)
异常检测是 DataBuddy 提供的一项零配置数据质量兜底能力。它由系统在后台自动学习每张表的更新频率与数据量历史模式,建立基线后持续监控,当实际值偏离基线超过阈值时产生告警。用户只需在 Schema 层级开启开关,无需定义任何规则。
-
大数据智能体工作台 DataBuddy 数据剖析(Data Profiling)
数据剖析(Data Profiling)对一张表自动生成完整的字段级统计报告与漂移分析仪表盘,帮助你在使用数据前快速理解表的「长什么样」。DataBuddy 的数据剖析支持快照、时序、推理三类剖析,覆盖数值型、字符串、时间、布尔等字段的统计指标,并支持基于基线表计算分布漂移。
-
大数据智能体工作台 DataBuddy 结构化数据 Catalog(表、视图、Schema 管理)
结构化数据 Catalog(Table 类 Catalog)用于集中管理表(Table)、视图(View)和函数等结构化资产。这里说明如何创建一个 Table 类 Catalog,并在其下管理 Schema、表和视图。
-
大数据智能体工作台 DataBuddy 模型 Catalog(ML 模型注册与元数据)
模型 Catalog(Model 类 Catalog)将机器学习模型纳入与表、卷一致的统一治理框架。DataBuddy 在 Catalog 中提供托管的 MLflow Model Registry,可以以将实验训练出的模型集中注册、版本化管理,并通过别名快速引用特定版本进行部署或在线推理。