腾讯云产品
-
数据开发治理平台 WeData MySQL 分库分表同步至 Hive
目前离线及实时数据同步任务支持 MySQL 分库分表同步至目标数据源中。本实践介绍 MySQL 分库分表离线同步至 Hive 数据源。
-
腾讯云数据仓库 TCHouse-C 应用场景
TCHouse-C 适用于需要对海量数据进行实时多维分析的各类场景。以下是六个典型应用方向。
-
数据开发治理平台 WeData 数仓分层配置
数据仓库(数仓)分层是指在数据仓库架构中,将数据按照不同的处理阶段和用途进行分层组织和存储的设计方法。这种分层结构有助于提高数据的管理效率、数据质量和数据分析的灵活性。以下是数据仓库分层常。
-
数据开发治理平台 WeData 参数传递
用于支持参数在上下游之间传递。例如:将当前任务的计算结果作为参数传递给子任务使用。多个结果可通过列号指定传递对象。支持范围:Hive SQL、JDBC SQL、Python、Shell、Spark SQL、DLC SQL、Impala、TCHouse-P、DLC PySpark。
-
腾讯云数据仓库 TCHouse-C 内核使用建议与规范
这篇总结了腾讯云数据仓库TCHouse-C的写入、查询和建表规范,强调攒批写入、避免直接写分布式表、使用索引和分区裁剪优化查询,以及合理规划分区与表结构以提升性能。 写入规范:必须攒批写入(5k-10w条/批),避免频繁写入导致part过多报错。 查询规范:高频字段用索引,避免select *,多表Join需大表Join小表,控制Join数量。 建表规范:高可用集群用Replicated表,分区数不超过1000,避免。
-
数据开发治理平台 WeData 离线任务运维
单击数据集成 > 离线运维即可进入离线运维页面,离线运维是对离线同步内所有已提交离线同步任务的统一运维中心,包括周期任务运维和实例运维两部分。
-
腾讯云数据仓库 TCHouse-C 配置公网访问
腾讯云数据仓库 TCHouse-C 默认仅支持内网访问,如你有通过公网访问腾讯云数据仓库 TCHouse-C 的需求,可通过负载均衡 CLB 打通公网连接,下面将介绍配置方法。
-
数据开发治理平台 WeData MySQL + gh-ost 实时同步至 Kafka
MySQL 环境准备:数据集成 MySQL 环境准备与数据库配置。2. 如果 MySQL 是腾讯云的 CDB,在 gh-ost 执行命令的参数里面需要添加–aliyun-rds 。
-
腾讯云数据仓库 TCHouse-C 集群监控
这篇说明TCHouse-C集群性能监控的两种形式:未启用Grafana时使用默认集群监控页查看基础指标,启用Grafana后可访问高级监控系统并配置告警策略,内置四个监控看板并支持个性化配置。 默认监控:支持计算资源组筛选,覆盖网络连接数、CPU使用率等12项核心指标。 高级监控:内置集群看板、主机单节点/多节点详情及节点概览四个看板。 个性化配置:支持新建Dashboard和面板,通过Metrics查看指标计算公式。
-
数据开发治理平台 WeData 支持的数据源与读写能力
数据集成包括离线与实时数据链路,目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。