大数据重新开始-08Hbase

学习了上面的文章Hive，今日来学习一下Hbase，Hbase它是一个分布式列数据库，非常适合经常更改字段的场景。例如，用户肖像

文章目录

大数据重新开始-08Hbase
一、HBase简介
- 1.1 HBase定义
- 1.2 HBase数据模型
- - 1.2.1 HBase逻辑结构
  - 1.2.2 HBase物理存储结构
  - 1.2.3 数据模型
- 1.3 HBase基本架构
二、HBase快速入门
- 2.1 HBase安装部署
- - 2.1.1 Zookeeper正常部署
  - 2.1.2 Hadoop正常部署
  - 2.1.3 HBase的解压
  - 2.1.4 HBase的配置文件
  - 2.1.5 HBase远程发送到其他集群
  - 2.1.6 HBase服务的启动
  - 2.1.7 查看HBase页面
  - 2.1.8 高可用性(可选)
- 2.2 HBase Shell操作
- - 2.2.1 基本操作
  - 2.2.2 namespace的操作
  - 2.2.3 表的操作
三、HBase进阶
- 3.1 RegionServer 架构
- 3.2 写流程
- 3.3 MemStore Flush
- 3.4 读流程
- 3.5 StoreFile Compaction
- 3.6 Region Split
四、HBase API
- 4.1 环境准备
- 4.2 DDL
- - 4.2.1 判断表是否存在
  - 4.2.2 创建表
  - 4.2.3 删除表
  - 4.2.4 创建命名空间
- 4.3 DML
- - 4.3.1 插入数据
  - 4.3.2 查询单个数据
  - 4.3.3 扫描数据
  - 4.3.4 删除数据
五、HBase优化
- 5.1 预分区
- 5.2 RowKey设计
- 5.3 内存优化
- 5.4 基础优化
六、整合Phoenix
- 6.1 Phoenix简介
- - 6.1.1 Phoenix定义
  - 6.1.2 Phoenix特点
  - 6.1.3 Phoenix架构
- 6.2 Phoenix快速入门
- - 6.2.1 安装
  - 6.2.2 Phoenix Shell操作
  - 6.2.3 Phoenix JDBC操作
- 6.3 Phoenix二级索引
- - 6.3.1 二级索引配置文件
  - 6.3.2 全局二级索引
  - 6.3.3 本地二级索引
七、与Hive的集成
- 7.1 HBase与Hive的对比
- 7.2 HBase与Hive集成使用

一、HBase简介

1.2 HBase数据模型

逻辑上，HBase数据模型与关系数据库非常相似，数据存储在一个行有列的表中。HBase底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map(多维地图)。

1）Name Space 命名空间类似于关系数据库database概念，每个命名空间下都有多个表。HBase两个自带命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。 2）Table 类似于关系数据库的表概念。区别在于，HBase定义表时只需声明列族，不需要声明具体列族。这意味着，往HBase写入数据时，动态字段，按需指定。因此，与关系数据库相比，HBase很容易处理变更字段的场景。 3）Row HBase表中的每一行数据都是由一RowKey和多个Column（列）组成，数据是按照的RowKey的字典顺序存储和查询数据时只能根据RowKey进行检索，所以RowKey设计很重要。 4）Column HBase中的每个列都由Column Family(列族)和Column Qualifier(列限定符)例如，限制info：name，info：age。建表时，只需指明列族，列限定符不需要提前定义。 5）Time Stamp 不同版本的不同版本的识别数据（version），每条数据写入时，系统会自动添加该字段，其值为写入HBase的时间。 6）Cell 由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell所有数据都以字节码的形式存储。

1.3 HBase基本架构

架构角色： 1）Region Server Region Server为 Region其实管理者是分类的HRegionServer，主要作用如下：操作数据：get, put, delete；对于Region的操作：splitRegion、compactRegion。 2）Master Master是所有Region Server其实管理者是分类的HMaster，主要作用如下：操作表：create, delete, alter 对于RegionServer操作：分配regions到每个RegionServer，监控每个RegionServer负载平衡和故障转移的状态。 3）Zookeeper HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。 4）HDFS HDFS为Hbase提供最终的底层数据存储服务，同时为HBase提供高可用的支持。

二、HBase快速入门

 2.1 HBase安装部署

 2.1.1 Zookeeper正常部署

首先保证Zookeeper集群的正常部署，并启动之：

[careate@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh start [careate@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start [careate@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start

2.1.2 Hadoop正常部署

Hadoop集群的正常部署并启动：

[careate@hadoop101 hadoop-3.1.3]$ sbin/start-dfs.sh [careate@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

2.1.3 HBase的解压

解压Hbase到指定目录：

[careate@hadoop101 software]$ tar -zxvf hbase-2.0.5-bin.tar.gz -C/opt/app [careate@hadoop101 software]$ mv /opt/app/hbase-2.0.5 /opt/app/hbase

配置环境变量

[careate@hadoop101 ~]$ sudo vim /etc/profile.d/my_env.sh

添加

#HBASE_HOME export HBASE_HOME=/opt/app/hbase export PATH=$PATH:$HBASE_HOME/bin

2.1.4 HBase的配置文件

修改HBase对应的配置文件。 1.hbase-env.sh修改内容：

export HBASE_MANAGES_ZK=false

2.hbase-site.xml修改内容：

<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://ns/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop101,hadoop102,hadoop103</value> </property> </configuration>

3.regionservers：

hadoop101 hadoop102 hadoop103

2.1.5 HBase远程发送到其他集群

[careate@hadoop101 app]$ xsync hbase/

2.1.6 HBase服务的启动

1.单点启动

[careate@hadoop101 hbase]$ bin/hbase-daemon.sh start master [careate@hadoop101 hbase]$ bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。 修复提示： a、同步时间服务 b、属性：hbase.master.maxclockskew设置更大的值

<property> <name>hbase.master.maxclockskew</name> <value>180000</value> <description>Time difference of regionserver from master</description> </property>

2.群启

[careate@hadoop101 hbase]$ bin/start-hbase.sh

对应的停止服务：

[careate@hadoop101 hbase]$ bin/stop-hbase.sh

2.1.7 查看HBase页面

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如： http://hadoop101:16010

2.1.8 高可用(可选)

在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。 1.关闭HBase集群（如果没有开启则跳过此步）

[careate@hadoop101 hbase]$ bin/stop-hbase.sh

2.在conf目录下创建backup-masters文件

[careate@hadoop101 hbase]$ touch conf/backup-masters

3.在backup-masters文件中配置高可用HMaster节点

[careate@hadoop101 hbase]$ echo hadoop103 > conf/backup-masters

4.将整个conf目录scp到其他节点

[careate@hadoop101 hbase]$ scp -r conf/ hadoop102:/opt/app/hbase/ [careate@hadoop101 hbase]$ scp -r conf/ hadoop103:/opt/app/hbase/

5.打开页面测试查看 http://hadoop101:16010

2.2 HBase Shell操作

 2.2.1 基本操作

1．进入HBase客户端命令行

[careate@hadoop101 hbase]$ bin/hbase shell

2．查看帮助命令

hbase(main):001:0> help

2.2.2 namespace的操作

1．查看当前Hbase中有哪些namespace

hbase(main):002:0> list_namespace

NAMESPACE default(创建表时未指定命名空间的话默认在default下) hbase(系统使用的，用来存放系统相关的元数据信息等，勿随便操作)

2．创建namespace

hbase(main):010:0> create_namespace “test”

hbase(main):010:0> create_namespace “test01”, {“author”=>“wyh”, “create_time”=>“2020-03-10 08:08:08”}

3.查看namespace

hbase(main):010:0> describe_namespace “test01”

4.修改namespace的信息（添加或者修改属性）

hbase(main):010:0> alter_namespace “test01”, {METHOD => ‘set’, ‘author’ => ‘weiyunhui’}

添加或者修改属性:

alter_namespace ‘ns1’, {METHOD => ‘set’, ‘PROPERTY_NAME’ => ‘PROPERTY_VALUE’}

删除属性:

alter_namespace ‘ns1’, {METHOD => ‘unset’, NAME => ’ PROPERTY_NAME '}

5.删除namespace

hbase(main):010:0> drop_namespace “test01”

注意: 要删除的namespace必须是空的，其下没有表。

2.2.3 表的操作

0．查看当前数据库中有哪些表

hbase(main):002:0> list

1．创建表

hbase(main):002:0> create ‘student’,‘info’

2．插入数据到表

hbase(main):003:0> put ‘student’,‘1001’,‘info:sex’,‘male’ hbase(main):004:0> put ‘student’,‘1001’,‘info:age’,‘18’ hbase(main):005:0> put ‘student’,‘1002’,‘info:name’,‘Janna’ hbase(main):006:0> put ‘student’,‘1002’,‘info:sex’,‘female’ hbase(main):007:0> put ‘student’,‘1002’,‘info:age’,‘20’

3．扫描查看表数据

hbase(main):008:0> scan ‘student’ hbase(main):009:0> scan ‘student’,{STARTROW => ‘1001’, STOPROW => ‘1001’} hbase(main):010:0> scan ‘student’,{STARTROW => ‘1001’}

4．查看表结构

hbase(main):011:0> describe ‘student’

5．更新指定字段的数据

hbase(main):012:0> put ‘student’,‘1001’,‘info:name’,‘Nick’ hbase(main):013:0> put ‘student’,‘1001’,‘info:age’,‘100’

6．查看“指定行”或“指定列族:列”的数据

hbase(main):014:0> get ‘student’,‘1001’ hbase(main):015:0> get ‘student’,‘1001’,‘info:name’

7．统计表数据行数

hbase(main):021:0> count ‘student’

8．删除数据删除某rowkey的全部数据：

hbase(main):016:0> deleteall ‘student’,‘1001’

删除某rowkey的某一列数据：

hbase(main):017:0> delete ‘student’,‘1002’,‘info:sex’

9．清空表数据

hbase(main):018:0> truncate ‘student’

提示：清空表的操作顺序为先disable，然后再truncate。 10．删除表首先需要先让该表为disable状态：

hbase(main):019:0> disable ‘student’

然后才能drop这个表：

hbase(main):020:0> drop ‘student’

提示：如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first. 11．变更表信息将info列族中的数据存放3个版本：

hbase(main):022:0> alter ‘student’,{NAME=>‘info’,VERSIONS=>3} hbase(main):022:0> get ‘student’,‘1001’,{COLUMN=>‘info:name’,VERSIONS=>3}

三、HBase进阶

 3.1 RegionServer 架构

1）StoreFile 保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 2）MemStore 写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。 3）WAL 由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 4）BlockCache 读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

3.2 写流程

写流程： 1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。 3）与目标Region Server进行通讯； 4）将数据顺序写入（追加）到WAL； 5）将数据写入对应的MemStore，数据会在MemStore进行排序； 6）向客户端发送ack； 7）等达到MemStore的刷写时机后，将数据刷写到HFile。

3.3 MemStore Flush

MemStore刷写时机： 1.当某个memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写。当memstore的大小达到了 hbase.hregion.memstore.flush.size（默认值128M）

hbase.hregion.memstore.block.multiplier（默认值4）时，会阻止继续往该memstore写数据。 2.当region server中memstore的总大小达到 java_heapsize *hbase.regionserver.global.memstore.size（默认值0.4） *hbase.regionserver.global.memstore.size.lower.limit（默认值0.95）， region会按照其所有memstore的大小顺序（由大到小）依次进行刷写。直到region server中所有memstore的总大小减小到上述值以下。当region server中memstore的总大小达到 java_heapsize *hbase.regionserver.global.memstore.size（默认值0.4）时，会阻止继续往所有的memstore写数据。

到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval（默认1小时）。 4.当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.logs以下（该属性名已经废弃，现无需手动设置，最大值为32）。

3.4 读流程

1）整体流程 2）Merge细节

读流程 1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。 3）与目标Region Server进行通讯； 4）分别在MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。 5）将查询到的新的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache。 6）将合并后的最终结果返回给客户端。

3.5 StoreFile Compaction

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少HFile的个数，以及清理掉过期和删除的数据，会进行StoreFile Compaction。 Compaction分为两种，分别是Minor Compaction和Major Compaction。Minor Compaction会将临近的若干个较小的HFile合并成一个较大的HFile，并清理掉部分过期和删除的数据。Major Compaction会将一个Store下的所有的HFile合并成一个大HFile，并且会清理掉所有过期和删除的数据。

3.6 Region Split

默认情况下，每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分。刚拆分时，两个子Region都位于当前的Region Server，但处于负载均衡的考虑，HMaster有可能会将某个Region转移给其他的Region Server。 Region Split时机： 1.当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize，该Region就会进行拆分（0.94版本之前）。 2.当1个region中的某个Store下所有StoreFile的总大小超过Min(initialSizeR^3 ,hbase.hregion.max.filesize")，该Region就会进行拆分。其中initialSize的默认值为2hbase.hregion.memstore.flush.size，R为当前Region Server中属于该Table的Region个数（0.94版本之后）。具体的切分策略为：第一次split：1^3 * 256 = 256MB 第二次split：2^3 * 256 = 2048MB 第三次split：3^3 * 256 = 6912MB 第四次split：4^3 * 256 = 16384MB > 10GB，因此取较小的值10GB 后面每次split的size都是10GB了。 3.Hbase 2.0引入了新的split策略：如果当前RegionServer上该表只有一个Region，按照2 * hbase.hregion.memstore.flush.size分裂，否则按照hbase.hregion.max.filesize分裂。

四、HBase API

4.1 环境准备

新建项目后在pom.xml中添加依赖：

<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.0.5</version> </dependency>

4.2 DDL

创建HBase_DDL类

 4.2.1 判断表是否存在

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.NamespaceExistException; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HBase_DDL { //TODO 判断表是否存在 public static boolean isTableExist(String tableName) throws IOException { //1.创建配置信息并配置 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop101,hadoop103,hadoop104"); //2.获取与HBase的连接 Connection connection = ConnectionFactory.createConnection(configuration); //3.获取DDL操作对象 Admin admin = connection.getAdmin(); //4.判断表是否存在操作 boolean exists = admin.tableExists(TableName.valueOf(tableName)); //5.关闭连接 admin.close(); connection.close(); //6.返回结果 return exists; } }

4.2.2 创建表

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.NamespaceExistException; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HBase_DDL { //TODO 创建表 public static void createTable(String tableName, String... cfs) throws IOException { //1.判断是否存在列族信息 if (cfs.length <= 0) { System.out.println("请设置列族信息！"); return; } //2.判断表是否存在 if (isTableExist(tableName)) { System.out.println("需要创建的表已存在！"); return; } //3.创建配置信息并配置 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop101,hadoop103,hadoop104"); //4.获取与HBase的连接 Connection connection = ConnectionFactory.createConnection(configuration); //5.获取DDL操作对象 Admin admin = connection.getAdmin(); //6.创建表描述器构造器 TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName)); //7.循环添加列族信息 for (String cf : cfs) { ColumnFamilyDescriptorBuilder columnFamilyDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(cf)); tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptorBuilder.build()); } //8.执行创建表的操作 admin.createTable(tableDescriptorBuilder.build()); //9.关闭资源 admin.close(); connection.close(); } }

4.2.3 删除表

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.NamespaceExistException; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HBase_DDL { //TODO 删除表 public static void dropTable(String tableName) throws IOException { //1.判断表是否存在 if (!isTableExist(tableName)) { System.out.println("需要删除的表不存在！"); return; } //2.创建配置信息并配置 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop101,hadoop103,hadoop104"); //3.获取与HBase的连接 Connection connection = ConnectionFactory.createConnection(configuration); //4.获取DDL操作对象 Admin admin = connection.getAdmin(); //5.使表下线 TableName name = TableName.valueOf(tableName); admin.disableTable(name); //6.执行删除表操作 admin.deleteTable(name); //7.关闭资源 admin.close(); connection.close(); } }

4.2.4 创建命名空间

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.NamespaceExistException; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HBase_DDL { //TODO 创建命名空间 public static void createNameSpace(String ns) throws IOException { //1.创建配置信息并配置 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop101,hadoop103,hadoop104"); //2.获取与HBase的连接 Connection connection = ConnectionFactory.createConnection(configuration); //3.获取DDL操作对象 Admin admin = connection.getAdmin(); //4.创建命名空间描述器 NamespaceDescriptor namespaceDescriptor = NamespaceDescriptor.create(ns).build(); //5.执行创建命名空间操作 try { admin.createNamespace(namespaceDescriptor); } catch (NamespaceExistException e) { System.out.println("命名空间已存在！"); } catch (Exception e) { e.printStackTrace(); } //6.关闭连接 admin.close(); connection.close(); } }

4.3 DML

创建类HBase_DML

4.3.1 插入数据

import org.apache.hadoop.conf.Configuration; import org.apache<

标签：连接器dc62pk87 锐单商城拥有海量元器件数据手册、 IC替代型号，打造电子元器件IC百科大全！

热门文章动力学技术KTU1121 USB Type-C 端口保护器的介绍、特性、及应用具有四个过电压保护(OVP)的USB Type-C CC和SBU信号传导路径。 Sensata PTE7300密封数字压力传感器的介绍、特性、及应用 PANJIT PBHV8110DA/PBHV9110DA低Vce(sat)晶体管的介绍、特性、及应用 ams OSRAM OSLON 黑色平板X LED器件的介绍、特性、及应用 Cree LED CLQ6A三合一贴片LED的介绍、特性、及应用 Cree LED CLQ6B 4-in-1 RGBW贴片LED的介绍、特性、及应用 NDK NX1210AB表面贴装晶体的介绍、特性、及应用伊顿ACE2V3225共模芯片电感器的介绍、特性、及应用意法半导体X040灵敏型栅可控硅和Z040可控硅的介绍、特性、及应用 ABLIC S-82Y1B电池保护芯片的介绍、特性、及应用 Bel Power Solutions RDT-6Y系列6W DC-DC转换器的介绍、特性、及应用热门型号 1-644751-1 TFM-140-32-S-D 68001-604 0908143920 3-1969584-8 1-1971817-9 HTSW-203-08-F-S-RA 92417-216HLF HTSW-104-20-G-S 5810124011 锐单商城 - 一站式电子元器件采购平台

大数据再出发-08Hbase

文章目录

最近热搜

历史搜索 清除历史记录

历史搜索清除历史记录