yun

  • 数据湖计算 DLC 引擎类常见问题

    1个集群,任务并行数是5,如果需要调整,可以在 数据引擎 功能中,选择需要修改的引擎,单击规格配置进行调整。

    腾讯云产品 2026年11月9日
  • 数据湖计算 DLC 功能类常见问题

    这篇汇总了腾讯云数据湖计算DLC的常见问题,涵盖原生表与外表区别、数据调度支持、自定义函数、元数据加速桶特性及引擎绑定等核心内容。 原生表与外表:原生表存放于DLC托管存储(Iceberg格式),外表则基于用户COS桶或其他第三方存储。 元数据加速桶:对rename、list操作有加速效果,但不支持CDN,且需绑定引擎权限。

    腾讯云产品 2026年11月9日
  • 数据湖计算 DLC 使用 WeData-数据集成 实时入湖

    通过 WeData-数据集成 将业务数据源实时导入至 DLC Iceberg 表的过程中,伴随着实时同步过程的推进,目标系统端会不断生成小文件。对于目标系统内已生成的小文件,基于周期合并的方式可避免由于小文件的累积造成目标系统 DLC 引擎查询效率恶化。
    这篇以 MySQL 实时同步至 DLC Iceberg 表为例,介绍实时任务配置及小文件合并操作实践。

    腾讯云产品 2026年11月9日
  • 数据湖计算 DLC Spark 作业类常见问题

    问题描述:PySpark 任务执行时,executor 日志出现“k8s执行OOMKiiled”,使用内存超过 k8s 限制的内存。原因分析:K8s 申请的内存是根据 Spark executor 内存乘以 memoryOerheadFactor计算出来的,如果 Python 处理的数据有倾斜,或单条数据过大,可能导致使用内存超过 K8s 分配的内存。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 表设计与数据导入

    这篇说说腾讯云数据仓库选型与优化建议,涵盖数据模型选择、分区、副本、分桶、字段格式及数据导入等核心操作,强调聚合与明细查询的模型适配及批量导入原则。 数据模型:聚合数据用Aggregate/Duplicate,唯一Key去重用Unique模型。 导入规范:批量导入减少并发,用CSV格式并指定分区,避免NULL值倾斜。 清理操作:清空分区优先用truncate而非delete,避免影响性能。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 查询调优

    这篇总结了Doris数据库的查询与性能优化方法,包括基础查询调优、Join优化、Rollup使用、物化视图、索引优化及Cache配置,旨在提升查询效率。 基础查询调优:查询分区表需带分区字段,优先命中分区/分桶键及前缀索引,用具体字段代替*并加limit,避免or和函数包裹列。 Join优化:效率顺序为Colocate > Bucket Shuffle > Shuffle > Broadcast,利用RuntimeF。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 建议规避的用法

    这篇列举了腾讯云Doris使用中应避免的场景、查询和功能,以保障集群稳定与性能,核心建议包括隔离离线与在线业务、避免逐条写入和资源过载。 避免场景:禁止大规模ETL作业和逐条insert,建议攒批写入或使用不同集群隔离。 避免查询:避免select *、全局profile及多表大Join,推荐使用Colocation Join或预聚合。 避免功能:1.2内核版本需谨慎使用复杂数据类型、merge_on_write和L。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 命名规范及库表限制

    这里说明腾讯云数据仓库 TCHouse-D 的命名规范,及一些库表创建/变更的限制。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 获取备份、迁移任务

    接口请求域名: cdwdoris.tencentcloudapi.com 。推荐使用 API Explorer
    点击调试
    API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。可以查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

    腾讯云产品 2026年11月9日
  • 腾讯云数据仓库 TCHouse-D 备份恢复及跨集群迁移相关接口

    腾讯云数据仓库 TCHouse-D 或自建 Doris 集群支持将当前数据以文件的形式备份到远端存储系统中,并支持从远端存储系统中将数据恢复到腾讯云数据仓库 TCHouse-D 的集群。通过该功能,可实现跨不同集群的数据迁移。

    腾讯云产品 2026年11月9日