yun
-
数据湖计算 DLC DLC 原生表常见 FAQ
1. DLC 原生表(Iceberg)采用的 MOR(Merge On Read)表,上游 Upsert 写入时,针对 update 的数据,会先写 delete file 标记某记录已经被删除,然后再写 data file 新增改记录。
-
数据湖计算 DLC 接入点网关引擎监控
数据湖计算 DLC 提供了基于腾讯云可观测平台服务的接入点网关引擎的监控服务,保障你能实时了解网关情况。
-
数据湖计算 DLC 标准引擎参数配置
这篇说说腾讯云DLC中Spark参数配置方法,涵盖标准引擎、资源组(SQL分析/AI)、数据探索及作业四个维度的参数设置,并说明动态/静态参数生效规则及优先级。 标准引擎参数:在引擎列表页通过“参数配置”添加,仅对Spark作业和Batch SQL生效。 资源组参数:SQL分析资源组支持动态/静态参数,AI资源组仅支持静态配置且需重启生效。 作业参数:在数据作业中设置,优先级高于引擎级别参数,修改后仅对新作业生效。
-
数据湖计算 DLC 配置公网访问标准引擎
这篇说说如何通过给执行机绑定公网IP实现从公网访问数据湖计算DLC标准引擎,核心步骤包括创建终端节点、购买并配置CVM执行机、绑定弹性公网IP及修改iptables规则。 创建终端节点:在DLC控制台选择目标VPC和子网打通私有连接。 配置执行机:CVM需位于同一子网,分配公网IP并放通安全组端口。 修改iptables:执行转发和DNAT规则,将流量导向终端节点内网IP。
-
数据湖计算 DLC 标准引擎配置指引
数据湖计算 DLC 提供两类引擎:标准引擎和 SuperSQL 引擎,具体区别可参考以下表格或详见 数据引擎介绍。可以以根据实际业务诉求,选择合适的引擎进行使用。如选择标准引擎,可以根据这篇档进行配置及使用。
-
数据湖计算 DLC 查询开通的第三方平台访问用户信息
接口请求域名: dlc.tencentcloudapi.com 。本接口(RegisterThirdPartyAccessUser)查询开通第三方平台访问的用户信息。
-
数据湖计算 DLC StarRocks 直接查询 DLC 内部存储
StarRocks 是新一代极速全场景 MPP 数据库, 充分吸收了关系型 OLAP 数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。StarRocks 致力于构建极速统一分析体验,满足企业用户的多种数据分析场景,支持多种数据模型(明细模型、聚合模型、更新模型),多种导入方式(批量和实时),支持导入多达10000列的数据,可。
-
数据湖计算 DLC 配额与限制
目前独享引擎没有配额限制,但是如果单次购买超过256 CUs 时,需要与平台沟通确保资源充足。
-
数据湖计算 DLC 在 DLC 中实现 TCHouse-D 读写操作
数据湖计算 DLC 内置 TCHouse-D Connector,只需在开发时添加对应的配置即可连接到腾讯云 TCHouse-D 集群。这里说明在数据湖计算 DLC 中实现 TCHouse-D 的读取与写入操作。
-
数据湖计算 DLC 资源级鉴权指南
数据湖计算 DLC 支持基于 CAM 标签的资源级鉴权,可以通过标签来进行 DLC 已有引擎资源和引擎相关 API 权限进行分类管理,从而实现对资源进行多维度分类管理以及精细化授权。