大数据智能体工作台 DataBuddy COS 文件上传到表

腾讯云 COS 文件上传到表用于把已经存放在 COS 桶里的结构化或半结构化文件,直接 解析后落入 Catalog 下的目标表,省去先把文件下载到本地再上传的步骤。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

整体交互与 本地上传到表 一致,主要差异在于「来源」步骤:从 COS 桶中浏览并选择文件,而不是浏览器本地文件。

二、适用场景

·数据已沉淀在 COS :例如埋点日志、对账文件、第三方 SaaS 导出文件等已经定时落入 COS,希望快速建表做一次性分析。

·跨账号、跨地域数据接入 :将其他 COS 桶(具备访问权限)中的文件接入当前 Workspace 的湖仓。

·Avoid 大文件本地中转 :避免把数 GB 文件先下载再上传,直接在云上完成解析与建表。

如需周期性 把 COS 中按日期分区的新文件持续拉取入表,请改用 文件到表同步。

三、前提条件

条件 说明
数据集成权限 当前账号在所属 Workspace 中拥有数据集成模块的操作权限
COS 访问授权 当前腾讯云账号已开通本模块所需的 COS 访问权限(CAM 授权)
计算资源 已创建数据交互式集群 计算资源,用于解析与建表

四、步骤 1:进入 COS 文件上传到表

在控制台进入 数据集成 模块,确认在「接入方式」Tab,点击 腾讯云 COS 文件上传到表 卡片。系统在右侧打开「腾讯云 COS 文件上传到表」抽屉。

五、步骤 2:选择 COS 桶

参数 说明
选择 COS 桶 下拉列表展示当前账号有权限访问的 COS 桶

下拉列表的桶来自当前腾讯云账号的 COS 资源。如果列表为空,请参考 COS 授权流程 完成授权或创建桶。

六、步骤 3:选择文件

选定桶后,列表展示桶根目录下的文件与文件夹。

行为 说明
浏览 点击文件夹名进入下一层;空文件夹不展示子项
选择 在文件名前的复选框中勾选;支持多选;至少选择 1 个
限制 仅可选择文件,不可选择文件夹 ;文件类型与数量约束同 本地文件上传到表(最多 10 个、总大小 ≤ 2 GB)

如果列表显示「暂未拉取到 bucket 地址」或某桶显示「暂无数据」,请先到 COS 控制台确认桶与文件确实存在。

七、步骤 4:选择计算资源

计算资源为必选,单选,仅展示当前账号有使用权限的「交互式集群」计算资源。如选中的资源未启动,系统会在解析前自动启动。详见 本地文件上传到表 – 步骤 3:选择服务资源。

八、步骤 5:数据预览

点击 预览表 进入数据预览。后续行为(解析推断、建表方式、字段编辑、高级设置)与本地上传到表完全一致:

·解析与推断逻辑详见 文件解析与推断。

·字段编辑、表名修改详见 预览与 Schema 编辑。

九、步骤 6:存储设置与建表

进入「存储设置」步骤,选择落库 Catalog / Schema 与处理方式(同名覆盖、创建新表),点击 立即建表 完成建表。详见 本地文件上传到表 – 步骤 5:存储设置。

十、COS 授权流程

DataBuddy 通过腾讯云 CAM 体系访问 COS。如果当前账号尚未为 DataBuddy 开通 COS 访问权限,进入「选择 COS 桶」时会显示授权引导:

1. 页面展示当前腾讯云账号信息:

·账户名称:当前腾讯云账户的用户名。

·账户 ID:当前账号的 UIN。

·需开通:本模块需要的 COS 权限项。

1. 点击 复制 图标可复制以上信息。

2. 点击 腾讯云访问管理 ,在新标签页跳转到 腾讯云 CAM 控制台。

3. 在 CAM 中按需为账号、角色添加 COS 相关权限策略后,回到 DataBuddy 页面点击 刷新 :

·授权成功 → 「选择 COS 桶」展示可访问的桶列表。

·仍无权限 → 仍显示引导页,请检查 CAM 策略是否生效。

十一、Q:选择 COS 桶后,文件列表显示「暂无数据」?

A:可能是该桶的根目录下确实为空,也可能是你选择的桶位于不同地域、不同子账号之下。请到 COS 控制台确认桶的实际情况。

十二、Q:能否选择 COS 文件夹批量入表?

A:当前不支持选择文件夹,仅支持选择文件。如需把整个目录的文件批量入表,请使用 文件到表同步。

十三、Q:COS 文件总容量超过 2 GB 怎么处理?

A:与本地上传相同,单次仍受 2 GB 限制。建议拆分多次上传,或改用 文件到表同步 通过离线同步任务接入。

十四、Q:是否支持跨地域 COS?

A:取决于当前 Workspace 与 COS 桶的网络可达性。具体可达地域请参见 DataBuddy 控制台中显示的支持地域列表。

十五、相关文档

·本地文件上传到表

·本地文件上传到卷

·文件到表同步

·对象存储 COS

·访问管理 CAM

赞 (0)
上一篇 4天前
下一篇 4天前