大数据智能体工作台 DataBuddy COS 数据源

对象存储(Cloud Object Storage,COS)是腾讯云提供的海量、安全、低成本的分布式存储服务,适用于存放任意类型的文件。DataBuddy 数据接入支持将 COS 作为来源端,读取其中的文件进行离线同步。这里说明其连接配置、能力支持范围、前提条件与常。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、读取能力

能力 支持情况 说明
离线同步(读 / 写) ✓ / ✗ 支持作为离线同步任务的源端读取数据;DataBuddy 数据源仅支持接入读取,不支持写入

完整数据源能力对照参见 支持的数据源与读取能力。

二、使用限制

限制项 说明
认证方式 SecretId / SecretKey
读取对象 以 Bucket 下的目录或文件为粒度读取

三、支持的文件格式

格式 说明
Text / CSV 文本与逗号分隔文件
JSON JSON 格式文件
Parquet 列式存储格式
ORC 优化行列存储格式

四、获取访问密钥

在腾讯云控制台 访问管理(CAM) 中创建子账号,并生成 SecretId 与 SecretKey,授予目标 Bucket 的读取权限。建议使用子账号密钥并遵循最小权限原则,避免使用主账号密钥。

五、操作步骤

1. 登录 DataBuddy 控制台。

2. 在顶部切换到目标地域和 Workspace。

3. 进入 数据集成 > 数据源管理(或 平台管理 > 数据源管理)。

4. 点击 添加数据源,选择 COS。

5. 填写连接配置与认证信息,详见 参数说明。

6. 点击 连通性测试(参见 数据源连通性测试)。

7. 测试通过后点击 保存 或 保存 & 创建任务。

六、参数说明

参数 说明 是否必填 默认值
数据源名称 数据源在工作空间内的唯一标识 是 —
地域 Bucket 所在地域 是 —
桶名称(Bucket) COS 桶名称 是 —
SecretId 访问密钥 ID 是 —
SecretKey 访问密钥 Key(支持 SSM 凭证托管) 是 —

七、离线文件读取

配置项 说明
数据来源 已配置的 COS 数据源
读取路径 目标目录或文件路径,支持通配符
文件格式 选择 Text / CSV / JSON / Parquet / ORC 等

详细任务配置参见 文件到表同步。

八、最佳实践

实践 建议
密钥最小化 使用子账号密钥,仅授目标 Bucket 读取权限
目录规划 按日期分区组织目录,便于增量同步
网络打通 使用内网域名提升传输性能

九、Q:认证失败(Access Denied)?

A:检查 SecretId / SecretKey 是否正确,并确认已授予目标 Bucket 的读取权限。

十、Q:读取不到文件?

A:确认读取路径正确,且对象 Key 前缀匹配。

十一、相关文档

·添加数据源连接

·数据源连通性测试

·支持的数据源与读取能力

赞 (0)
上一篇 4天前
下一篇 4天前