云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce 主备双活实例开发指南

• 腾讯云产品

使用 Java 通过高可用客户端（ hbase-ha-client ）访问 EMR Serverless HBase 主备双活实例并进行建表和查询等操作。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、准备工作

1. 已经创建了一个 EMR Serverless HBase 主备双活实例且实例状态均为运行中。

2. 已经创建一台与 EMR Serverless HBase 主备双活实例同 VPC 和子网的 CVM 实例（后面简称 CVM 客户机）。

3. 在 CVM 客户机上已安装 Java 环境并配置环境变量，安装要求 JDK1.8 以上版本，如未安装，https://tencent.github.io/konajdk/ 。

4. 已在 EMR Serverless HBase 主备双活实例信息页获取 Serverless HBase 主备实例的 ZooKeeper 地址。

注意：说明：

注意：更多 HBase API 使用请查阅 Apache HBase 页面 。

二、Settings.xml配置

确保开发环境下有合适的 JDK 版本，安装配置 Maven 的环境变量，如果你使用 IDE，请在 IDE 中设置 Maven 相关配置。如有需要，使用腾讯云镜像源加速Maven，在 Maven 配置文件 settings.xml 添加如下 repository mirror 和 profile。

<mirror> <id>nexus-tencentyun</id> <mirrorOf>*</mirrorOf> <name>Nexus tencentyun</name><url>http://mirrors.cloud.tencent.com/nexus/repository/maven-public/</url></mirror> <profiles> <profile> <id>Repository Proxy</id> <activation> <activeByDefault>true</activeByDefault> </activation> <repositories> <repository> <id>tencentemr-hbase-ha-client-releases</id> <name>releases</name> <url>https://mirrors.tencent.com/repository/maven/QCLOUD-EMR/</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> </repository> </repositories> </profile> </profiles>

三、新建一个Maven 工程

在命令行下进入你想要新建工程的目录，输入如下命令新建一个 Maven 工程。

mvn archetype:generate -DgroupId=com.tencent.cloud -DartifactId=test-serverless-hbase -Dversion=1.0 -DarchetypeArtifactId=maven-archetype-quickstart

创建成功后，在工程目录下就会生成一个名为 test-serverless-hbase 的工程文件夹。其中的文件结构如下所示。pom.xml 文件主要用于依赖管理和打包配置，Java 文件夹下放置你的源代码。

test-hbase├── pom.xml└── src ├── main │ └── java │ └── com │ └── tencent │ └── cloud │ └── App.java └── test └── java └── com └── tencent └── cloud └── AppTest.java

四、添加配置和样例代码

在 pom.xml 文件中添加 Maven 依赖、打包和编译插件。

<dependencies> <!– https://mvnrepository.com/artifact/org.apache.hbase/hbase-client –> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.4.5</version> </dependency> <dependency> <groupId>com.tencentcloud.emr</groupId> <artifactId>hbase-ha-client</artifactId> <version>1.0.0</version> </dependency> <!– https://mvnrepository.com/artifact/log4j/log4j –> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency></dependencies><build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.10.1</version> <configuration> <source>8</source> <target>8</target> <encoding>utf-8</encoding> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <!– 此处指定main方法入口的class –> <mainClass>com.tencent.cloud.App</mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins></build>

【可选】如果在之后的调试中遇到样例执行失败需要从标准输出中获取日志定位错误，或者你希望保存操作日志到指定目录 target/serverless-hbase.log，你可以在 main 文件夹下创建 Java 配置文件目录 resources，创建 log4j.properties 文件并在 log4j.properties 文件中添加 log4j 日志信息打印模块的配置信息。

log4j.rootLogger=INFO, stdout, logfilelog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d %p [%c] – %m%nlog4j.appender.logfile=org.apache.log4j.FileAppenderlog4j.appender.logfile.File=target/serverless-hbase.loglog4j.appender.logfile.layout=org.apache.log4j.PatternLayoutlog4j.appender.logfile.layout.ConversionPattern=%d %p [%c] – %m%n

App.java 样例代码如下：

package com.tencent.cloud;import com.tencentcloud.emr.HAConnection;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;import static org.apache.hadoop.hbase.HConstants.REPLICATION_SCOPE_GLOBAL;/** * 通过 Java API 访问 Serverless HBase 主备双活实例 */public class App { public static void main(String[] args) throws IOException { // $quorum和$standbyQuorum分别为主备实例的Zookeeper地址，在控制台实例信息页面通过访问方式模块的zookeeper地址获取。 // 示例：conf.set("hbase.zookeeper.quorum", "10.0.0.8,10.0.0.11,10.0.0.5"); // 示例：conf.set("hbase.zookeeper.quorum.standby", "10.0.0.21,10.0.0.22,10.0.0.24"); Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "$quorum"); conf.set("hbase.zookeeper.quorum.standby", "$standbyQuorum"); // hbase.client.pause为客户端重试间隔，单位为毫秒，默认为100毫秒。 // hbase.client.retries.number为客户端重试次数，默认为15次。 // 对同一实例请求重试耗尽后，会自动切换到备实例进行重试，两个实例均耗尽重试后，会返回错误。 conf.setInt("hbase.client.pause", 10); conf.setInt("hbase.client.retries.number", 5); HAConnection connection; connection = new HAConnection(conf); Admin admin = connection.getAdmin(); String TABLE_NAME = "test1"; String COLUMN_FAMILY = "cf"; TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(TableName.valueOf(TABLE_NAME)); // 设置全局复制 tableDescriptorBuilder.setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(COLUMN_FAMILY)).setScope(REPLICATION_SCOPE_GLOBAL).build()); TableDescriptor tableDescriptor = tableDescriptorBuilder.build(); System.out.println("Creating table. "); if (admin.tableExists(tableDescriptor.getTableName())) { admin.disableTable(tableDescriptor.getTableName()); admin.deleteTable(tableDescriptor.getTableName()); } admin.createTable(tableDescriptor); System.out.println("Put data. "); Table table1 = connection.getTable(TableName.valueOf(TABLE_NAME)); Put put1 = new Put(Bytes.toBytes("row1")); put1.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("a"), Bytes.toBytes("value1")); table1.put(put1); Put put2 = new Put(Bytes.toBytes("row2")); put2.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("b"), Bytes.toBytes("value2")); table1.put(put2); Put put3 = new Put(Bytes.toBytes("row3")); put3.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("c"), Bytes.toBytes("value3")); table1.put(put3); System.out.println("Get data. "); Get get1 = new Get(Bytes.toBytes("row1")); Result row = table1.get(get1); if (row.isEmpty()) { System.out.println("未找到行数据"); return; } System.out.println("行键: " + Bytes.toString(row.getRow())); byte[] value = row.getValue(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("a")); if (value != null) { System.out.println("值: " + Bytes.toString(value)); } connection.close(); System.out.println(" Done."); }}

五、编译代码并打包上传

使用本地命令行进入工程目录，执行以下指令对工程进行编译打包。

mvn package

日志打印 build success 表示操作成功，在工程目录下的 target 文件夹中能够看到打包好的 jar 包，你需要将以 with-dependencies 为尾缀的 jar 包通过 CVM 实例控制台中的上传文件功能上传到 CVM 客户机中。

若 CVM 客户机可以通过公网 IP 访问，也可以在本地命令行模式下运行以下命令上传文件。

scp $localfile root@公网IP地址:$remotefolder

其中，$localfile 是你的本地文件的路径加名称，root 为 CVM 服务器用户名，公网 IP 可以在 CVM 客户机控制台查看。$remotefolder 是你想存放文件的 CVM 服务器路径。上传完成后，在 CVM 客户机命令行中即可查看对应文件夹下是否有相应文件。

六、执行样例并查看结果

登录 CVM 客户机，切换到对应文件夹下，使用如下命令执行样例。

java -jar $package.jar

运行代码，在控制台输出“Done”后，说明所有的操作已完成。你可以切换到 HBase shell 中通过 list 命令来查看使用 API 创建的 HBase 表是否在主备实例均创建成功，若成功可通过 scan 命令来查看表的具体内容。

hbase:001:0> list 'test1'TABLE test1 1 row(s)Took 0.4315 seconds => ["test1"]hbase:002:0> scan 'test1'ROW COLUMN+CELL row1 column=cf:a, timestamp=2024-07-16T16:20:38.685, value=value1 row2 column=cf:b, timestamp=2024-07-16T16:20:38.690, value=value2 row3 column=cf:c, timestamp=2024-07-16T16:20:38.695, value=value3 3 row(s)Took 0.1231 seconds hbase:003:0> exit

相关内容：

  1. 弹性 MapReduce Serverless HBase 使用说明 通过 Shell、Java 以及 Golang 访问 EMR Serverless HBase 实例并进行建表和查询等操作。...
  2. 弹性 MapReduce 通过 API 使用 HBase HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，是 Google BigTable 的开源实现。HBase 利用 Hadoop HDFS 作为其文件存储系统；Hadoop MapReduce 来处理 HBase 中的海量数据；Zookeeper 来做协同服务。...
  3. 弹性 MapReduce Phoenix JDBC 使用 在本地 shell 下进入你想要新建工程的目录，例如 D://mavenWorkplace 中，输入如下命令新建一个 Maven 工程mvn archetype:generate -DgroupId=$yourgroupID -DartifactId=$yourartifactID -DarchetypeArtifactId=maven-archetype-quickstart。...
  4. TDSQL Boundless 数据库模式设计 表是数据存储的基本单位。创建表时需要指定表名、列族以及行键。package com.example;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.hbase.HB。...
  5. 弹性 MapReduce Kyuubi 实践教程 登录 EMR 集群的 Master 节点，切换到 Hadoop 用户并且进入 kyuubi 目录[root@172 ~]# su hadoop[hadoop@172 root]$ cd /usr/local/service/kyuubi。...
  6. 弹性 MapReduce 使用 API 分析 HDFS/COS 上的数据 学习 MapReduce 会接触的第一个程序通常都是 WordCount，统计给定文件的单词的词频。本节将会介绍如何自己建立一个工程并编写程序，并且使用编译打包好的程序去统计 HDFS 和腾讯云对象存储 COS 上面的数据，使用的程序基本和 Hadoop 社区的示例程序相同。...
  7. 日志服务 使用 Log4j Appender 上传日志 日志服务（Cloud Log Service，CLS）目前已支持使用 Log4j Appender 上传日志到 CLS。...
  8. 弹性 MapReduce Flink 分析 COS 上的数据 Flink 擅长处理无界和有界数据集精确的时间控制和状态化使得 Flink 的运行（runtime）能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。 以下针对于在对象存储上的有界或者无界数据集的数据进行演示操作，这里为了更好地观察作业的运行情况使用 yarn-session 模式来提交任务。Flink On Yarn 支持 Session Mode。...
赞 (0)
上一篇 4天前
下一篇 4天前