当前位置：首页 > 物理机 > 正文

三台物理机搭建HBase集群够用吗

admin
物理机
2025-06-20
4544

三台物理机部署HBase集群，构建分布式NoSQL数据库，实现海量数据的存储与高效访问，提供高可用性和可扩展性基础。

三台物理机构建HBase集群：生产级部署指南

核心架构设计
采用经典分布式架构：
1台 Master + 3台 RegionServer + 嵌入式ZooKeeper

注：通过复用节点实现最小高可用，物理机配置需满足：64GB+内存，SSD RAID10阵列，万兆网络，禁用Swap

基础环境配置（所有节点执行）

# 系统优化（CentOS 7示例）
echo "vm.swappiness=1" >> /etc/sysctl.conf
echo "hbase - nofile 32768" >> /etc/security/limits.conf
# JDK安装（需Oracle JDK 8）
tar -zxvf jdk-8u381-linux-x64.tar.gz -C /usr/local/
export JAVA_HOME=/usr/local/jdk1.8.0_381
# 主机名解析（/etc/hosts）
192.168.1.101 hbase-master
192.168.1.102 hbase-rs1
192.168.1.103 hbase-rs2

HDFS分布式部署（HBase存储基石）

节点	角色
hbase-master	NameNode + JournalNode
hbase-rs1	DataNode + JournalNode
hbase-rs2	DataNode + JournalNode

关键配置（hdfs-site.xml）：

三台物理机搭建HBase集群够用吗第1张

<property>
  <name>dfs.replication</name>
  <value>2</value> <!-- 三节点建议副本数为2 -->
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hbase-master:8485;hbase-rs1:8485;hbase-rs2:8485/hbase-cluster</value>
</property>

HBase集群关键配置

hbase-site.xml 核心参数：

<configuration>
  <!-- 启用分布式模式 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!-- ZooKeeper集群地址 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hbase-master,hbase-rs1,hbase-rs2</value>
  </property>
  <!-- HDFS数据根目录 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hbase-cluster/hbase</value>
  </property>
  <!-- Master高可用 -->
  <property>
    <name>hbase.master.standby</name>
    <value>true</value>
  </property>
</configuration>

RegionServer分配策略：

Master节点同时运行RegionServer（资源充足时）
配置 regionservers 文件包含所有节点：
```
hbase-master
hbase-rs1
hbase-rs2
```

启动与验证流程

# 启动顺序（严格遵循）
1. 启动ZooKeeper集群（所有节点）
   > zkServer.sh start
2. 启动HDFS集群
   > hadoop-daemon.sh start journalnode  # 所有节点
   > hdfs namenode -format               # Master节点
   > start-dfs.sh
3. 启动HBase
   > start-hbase.sh
# 验证命令
hbase hbck -details       # 检查集群状态
hbase shell> status       # 输出3个RegionServer

生产环境关键注意事项

ZooKeeper优化
增加专用ZK节点（若物理机资源允许），配置 zoo.cfg：
```
tickTime=2000
initLimit=10
syncLimit=5
maxClientCnxns=1000
```
写性能瓶颈规避
- WAL日志与HBase数据分盘存储（SSD专用盘）
- 设置 hbase.regionserver.hlog.splitlog.writer.threads=3

灾难恢复方案

# 每日快照备份
hbase snapshot create -n daily_backup -t user_table
# 备份到异地HDFS
hadoop distcp /hbase/.hbase-snapshot/daily_backup hdfs://backup-cluster/hbase/