云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

对象存储 数据访问

• 腾讯云产品

如果对象存储（Cloud Object Storage，COS）存储桶开启了元数据加速，除了可以使用 Hadoop 命令行、大数据组件等方式操作外，还可以通过 Hadoop Filesystem API，使用 Java 代码来访问元数据加速桶。这篇指导你如何通过 Java 代码访问元数据加速桶。

相关产品
对象存储 产品页，含版本规格、价格与购买入口。

一、前提条件

·确保已经开通元数据加速，并且进行了正确的环境部署和 HDFS 协议配置。具体部署和配置，详情请参见 创建元数据加速桶并开启 HDFS 协议 以及 挂载元数据加速桶。

·如果有 Hadoop 环境，可以验证下 Hadoop 命令行是否能正确访问。

二、操作步骤

1. 新建 maven 工程，并在 maven 的 pom.xml 中添加以下依赖项（请根据自己实际 Hadoop 版本及环境设置 hadoop-common 包、hadoop-cos 包和 cos_api-bundle 包的版本）。

<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.5</version> <scope>provided</scope> </dependency> <dependency> <groupId>com.qcloud.cos</groupId> <artifactId>hadoop-cos</artifactId> <version>xxx</version> </dependency> <dependency> <groupId>com.qcloud</groupId> <artifactId>cos_api-bundle</artifactId> <version>xxx</version> </dependency></dependencies>

2. 参考如下 hadoop 的代码进行修改。其中的配置项可参见 配置项说明 文档进行修改。以及重点关注其中数据持久化和可见性相关的说明。

以下只列出了部分常见的文件系统的操作，其他的接口可参见 Hadoop FileSystem 接口文档。

package com.qcloud.cos.demo;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileChecksum;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.IOException;import java.net.URI;import java.nio.ByteBuffer;public class Demo { private static FileSystem initFS() throws IOException { Configuration conf = new Configuration(); // 配置项可参见 https://cloud.tencent.com/document/product/436/6884#.E4.B8.8B.E8.BD.BD.E4.B8.8E.E5.AE.89.E8.A3.85 // 以下配置是必填项 conf.set("fs.cosn.impl", "org.apache.hadoop.fs.CosFileSystem"); conf.set("fs.AbstractFileSystem.cosn.impl", "org.apache.hadoop.fs.CosN"); conf.set("fs.cosn.userinfo.secretId", "xxxxxx"); conf.set("fs.cosn.userinfo.secretKey", "xxxxxx"); conf.set("fs.cosn.bucket.region", "xxxxxx"); conf.set("fs.cosn.tmp.dir", "/data/chdfs_tmp_cache"); // 配置项可参考 https://cloud.tencent.com/document/product/436/71550 // 通过 POSIX 访问方式必填配置项(推荐方式) conf.set("fs.cosn.trsf.fs.AbstractFileSystem.ofs.impl", "com.qcloud.chdfs.fs.CHDFSDelegateFSAdapter"); conf.set("fs.cosn.trsf.fs.ofs.impl", "com.qcloud.chdfs.fs.CHDFSHadoopFileSystemAdapter"); conf.set("fs.cosn.trsf.fs.ofs.tmp.cache.dir", "/data/chdfs_tmp_cache"); // appid 根据实际 appid 进行替换 conf.set("fs.cosn.trsf.fs.ofs.user.appid", "1250000000"); // region 根据实际地域进行替换 conf.set("fs.cosn.trsf.fs.ofs.bucket.region", "ap-beijing"); // 其他可选配置参考页面文档 https://cloud.tencent.com/document/product/436/6884#.E4.B8.8B.E8.BD.BD.E4.B8.8E.E5.AE.89.E8.A3.85 // 是否开启 CRC64 校验，默认不开启，此时无法使用 hadoop fs -checksum 命令获取文件的 CRC64 校验值 conf.set("fs.cosn.crc64.checksum.enabled", "true"); String cosHadoopFSUrl = "cosn://examplebucket-12500000000/"; return FileSystem.get(URI.create(cosHadoopFSUrl), conf); } private static void mkdir(FileSystem fs, Path filePath) throws IOException { fs.mkdirs(filePath); } private static void createFile(FileSystem fs, Path filePath) throws IOException { // 创建一个文件（如果存在则将其覆盖） // if the parent dir does not exist, fs will create it! FSDataOutputStream out = fs.create(filePath, true); try { // 写入一个文件 String content = "test write file"; out.write(content.getBytes()); } finally { // close 返回成功, 表示数据写入成功, 若抛出异常, 表示数据写入失败 out.close(); } } private static void readFile(FileSystem fs, Path filePath) throws IOException { FSDataInputStream in = fs.open(filePath); try { byte[] buf = new byte[4096]; int readLen = -1; do { readLen = in.read(buf); } while (readLen >= 0); } finally { IOUtils.closeQuietly(in); } } private static void queryFileOrDirStatus(FileSystem fs, Path path) throws IOException { FileStatus fileStatus = fs.getFileStatus(path); if (fileStatus.isDirectory()) { System.out.printf("path %s is dir\\n", path); return; } long fileLen = fileStatus.getLen(); long accessTime = fileStatus.getAccessTime(); long modifyTime = fileStatus.getModificationTime(); String owner = fileStatus.getOwner(); String group = fileStatus.getGroup(); System.out.printf("path %s is file, fileLen: %d, accessTime: %d, modifyTime: %d, owner: %s, group: %s\\n", path, fileLen, accessTime, modifyTime, owner, group); } // 默认的校验类型为 COMPOSITE-CRC32C private static void getFileCheckSum(FileSystem fs, Path path) throws IOException { FileChecksum checksum = fs.getFileChecksum(path); System.out.printf("path %s, checkSumType: %s, checkSumCrcVal: %d\\n", path, checksum.getAlgorithmName(), ByteBuffer.wrap(checksum.getBytes()).getInt()); } private static void copyFileFromLocal(FileSystem fs, Path chdfsPath, Path localPath) throws IOException { fs.copyFromLocalFile(localPath, chdfsPath); } private static void copyFileToLocal(FileSystem fs, Path chdfsPath, Path localPath) throws IOException { fs.copyToLocalFile(chdfsPath, localPath); } private static void renamePath(FileSystem fs, Path oldPath, Path newPath) throws IOException { fs.rename(oldPath, newPath); } private static void listDirPath(FileSystem fs, Path dirPath) throws IOException { FileStatus[] dirMemberArray = fs.listStatus(dirPath); for (FileStatus dirMember : dirMemberArray) { System.out.printf("dirMember path %s, fileLen: %d\\n", dirMember.getPath(), dirMember.getLen()); } } // 递归删除标志用于删除目录 // 如果递归为 false 并且 dir 不为空，则操作将失败 private static void deleteFileOrDir(FileSystem fs, Path path, boolean recursive) throws IOException { fs.delete(path, recursive); } private static void closeFileSystem(FileSystem fs) throws IOException { fs.close(); } public static void main(String[] args) throws IOException { // 初始化文件系统 FileSystem fs = initFS(); // 创建文件 Path chdfsFilePath = new Path("/folder/exampleobject.txt"); createFile(fs, chdfsFilePath); // 读取文件 readFile(fs, chdfsFilePath); // 查询文件或目录 queryFileOrDirStatus(fs, chdfsFilePath); // 获取文件校验和 getFileCheckSum(fs, chdfsFilePath); // 从本地复制文件 Path localFilePath = new Path("file:///home/hadoop/cosn_demo/data/exampleobject.txt"); copyFileFromLocal(fs, chdfsFilePath, localFilePath); // 获取文件到本地 Path localDownFilePath = new Path("file:///home/hadoop/cosn_demo/data/exampleobject.txt"); copyFileToLocal(fs, chdfsFilePath, localDownFilePath); // 重命名 Path newPath = new Path("/doc/example.txt"); renamePath(fs, chdfsFilePath, newPath); // 删除文件 deleteFileOrDir(fs, newPath, false); // 创建目录 Path dirPath = new Path("/folder"); mkdir(fs, dirPath); // 在目录中创建文件 Path subFilePath = new Path("/folder/exampleobject.txt"); createFile(fs, subFilePath); // 列出目录 listDirPath(fs, dirPath); // 删除目录 deleteFileOrDir(fs, dirPath, true); // 关闭文件系统 closeFileSystem(fs); }}

3. 编译和运行。

相关内容：

  1. 云 HDFS 通过 Java 代码访问 CHDFS 在部署云 HDFS（Cloud HDFS，CHDFS） 的 JAR 包之后，除了可以使用命令行、大数据组件等方式操作 CHDFS ，还可以通过 Java 代码来访问 CHDFS。这篇指导你如何通过 Java 代码访问 CHDFS。...
  2. 对象存储 Hadoop 工具 Hadoop-COS 基于腾讯云对象存储（Cloud Object Storage，COS）实现了标准的 Hadoop 文件系统，可以为 Hadoop、Spark 以及 Tez 等大数据计算框架集成 COS 提供支持，使其能够跟访问 HDFS 文件系统时相同，读写存储在 COS 上的数据。Hadoop-COS 使用 cosn 作为 URI 的 scheme，因此也称为 CosN 文件系统。...
  3. 弹性 MapReduce 使用 API 分析 HDFS/COS 上的数据 学习 MapReduce 会接触的第一个程序通常都是 WordCount，统计给定文件的单词的词频。本节将会介绍如何自己建立一个工程并编写程序，并且使用编译打包好的程序去统计 HDFS 和腾讯云对象存储 COS 上面的数据，使用的程序基本和 Hadoop 社区的示例程序相同。...
  4. 对象存储 Hadoop 文件系统与 COS 之间的数据迁移 Hadoop Distcp（Distributed copy）主要是用于 Hadoop 文件系统内部或之间进行大规模数据复制的工具，它基于 Map/Reduce 实现文件分发、错误处理以及最终的报告生成。由于利用了 Map/Reduce 的并行处理能力，每个 Map 任务负责完成源路径中部分文件的复制，因此它可以充分利用集群资源来快速完成集群或 Hadoop 文件系统之间的大规模数据迁移。...
  5. 对象存储 使用 DataX 在已开启元数据加速功能的存储桶间同步数据 DataX 是开源异构数据源离线同步工具，实现了包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。已开启元数据加速功能的 COS 存储桶可以为业务提供 HCFS（Hadoop Compatible File System）语义访问，充当 Hadoop 系统中的 HDFS 服务的作用。这篇将介绍如何使用 。...
  6. 对象存储 使用 COS 作为 Druid 的 Deep storage 这篇说明如何配置Druid使用腾讯云COS作为Deep Storage，需借助Hadoop-COS和Druid-hdfs-extension，通过修改配置文件并复制jar包实现数据加载。 环境依赖：需要HADOOP-COS及Druid-0.12.1版本。 安装配置：将hadoop-cos jar包拷贝到Druid对应目录，并修改common.runtime.properties和hdfs-site.xml文件。 使用。...
  7. 对象存储 使用流计算 Oceanus 接入 COS 流计算 Oceanus 是大数据生态体系的实时化分析利器。只需几分钟，你就可以轻松构建网站点击流分析、电商精准推荐、物联网 IoT 等应用。流计算基于 Apache Flink 构建，提供全托管的云上服务，你无须关注基础设施的运维，并能便捷对接云上数据源，获得完善的配套支持。...
  8. 对象存储 Hadoop 工具（工具类问题） Hadoop-COS 为 Apache Hadoop、Spark 以及 Tez 等大数据计算框架集成提供支持，可以像访问 HDFS 一样读写存储在腾讯云 COS 上的数据。同时也支持作为 Druid 等查询与分析引擎的 Deep Storage。...
赞 (0)
上一篇 4天前
下一篇 4天前