当前位置：首页 > 行业动态 > 正文

分布式存储卷直接创建在什么上

分布式存储卷直接创建在多个物理节点或服务器的 存储设备上，通过分片、复制等机制实现数据分布式存储与冗余，确保高可用和扩展性

分布式存储卷直接创建在什么上？

分布式存储系统的核心目标是将数据分散存储在多个节点上，以实现高可用性、可扩展性和高性能，存储卷作为数据存储的逻辑单元，其创建位置并非直接依赖于单一物理设备，而是通过软件定义的抽象层实现对底层资源的管理和调度,以下是分布式存储卷创建的具体层级和技术细节分析：

分布式存储的基础架构

分布式存储系统通常由以下核心组件构成：
| 组件 | 功能描述 |
|——————-|—————————————————————————–|
| 客户端（Client） | 发起数据读写请求，与存储系统交互。 |
| 元数据服务（Metadata Service） | 管理文件/卷的元信息（如目录结构、权限、块地址映射）。 |
| 存储节点（Storage Node） | 提供实际的数据存储能力，包含磁盘、SSD等介质。 |
| 网络层（Network Layer） | 负责节点间通信，通常依赖高速网络（如RDMA、InfiniBand）或TCP/IP。 |
| 协调服务（Coordination Service） | 管理集群状态、节点心跳、故障检测（如ZooKeeper、Etcd）。 |

存储卷的创建并非直接绑定到某个存储节点，而是通过虚拟化池（Storage Pool）或集群逻辑空间实现资源的统一管理和分配。

存储卷的创建层级

  1. 虚拟化存储池（Virtual Storage Pool）

    • 分布式存储系统会将多个物理节点的存储资源（如磁盘、SSD）聚合为一个虚拟化池，
      • Ceph中的Ceph Pool（如arbiterPool、rbdPool）。
      • GlusterFS中的Brick逻辑卷。
      • MinIO中的Bucket。
    • 存储卷直接创建在虚拟化池上，系统通过哈希算法（如CRUSH Map、一致性哈希）将数据均匀分布到池内的物理节点。

  2. 块存储（Block Storage）场景

    • 在块存储系统中（如Ceph RBD、OpenEBS Jiva），存储卷表现为块设备，创建时需指定：
      • 后端存储池：如Ceph的rbdPool。
      • 副本策略：如副本数（3副本）、纠删码（EC, 如4:2纠删码）。
      • 容量与块大小：例如100GB卷,块大小为4MB。
    • 示例：在Ceph中创建RBD卷的命令如下： 
      ceph osd pool create rbdPool 128 replicated size=3 # 创建存储池
rbd create --size 100G --pool rbdPool myVolume      # 创建块存储卷

  3. 文件存储（File Storage）场景

    • 在文件系统（如CephFS、GlusterFS）中，存储卷对应于文件系统的挂载点。
      • CephFS的/cephfs/myGroup目录。
      • GlusterFS的/glusterfs/vol1逻辑卷。
    • 文件存储卷直接创建在分布式文件系统的命名空间内,数据通过元数据服务拆分到多个节点。

  4. 对象存储（Object Storage）场景

    • 对象存储（如MinIO、Ceph Object Gateway）中，”卷”的概念被替换为桶（Bucket）。
    • 数据以对象形式存储，桶直接创建在存储集群的逻辑空间中， 
      minio mb myminio/myBucket # 创建桶

存储卷与物理资源的关联

存储卷虽然不直接绑定到物理设备,但其数据最终落盘位置由以下机制决定：

技术组件 作用
CRUSH Map（Ceph） 定义数据分布规则，例如将对象存储到特定机房的OSD（对象存储守护进程）节点。
一致性哈希（GlusterFS） 通过哈希环将文件分片映射到不同Brick（存储节点）。
纠删码（Erasure Code） 将数据编码为多个数据块和校验块，分散存储到不同节点以节省存储空间。
RAID策略 在JBOD（Just a Bunch of Disks）基础上实现逻辑卷的冗余（如RAID 6）。

示例：Ceph存储卷的物理分布流程

  1. 创建存储池rbdPool,设置副本数为3。
  2. 创建RBD卷myVolume，写入数据时：
    • 数据被切分为4MB块（默认大小）。
    • CRUSH Map根据策略将每个块分配到3个OSD节点。
    • 每个OSD将数据写入本地磁盘（如SATA HDD或NVMe SSD）。

与传统存储的对比

特性 分布式存储 传统集中式存储（如SAN）
存储卷创建位置 虚拟化池/集群逻辑空间 单一RAID组或物理阵列
扩展性 在线扩展节点，自动平衡数据 受限于硬件RAID控制器
故障容忍 数据多副本或纠删码，无单点故障 依赖RAID冗余或控制器冗余
性能瓶颈 无中心点，负载均匀分布 控制器可能成为性能瓶颈

典型场景与最佳实践

  1. 大数据存储（如HDFS）

    • 存储卷直接创建在HDFS的NameNode管理的命名空间中，数据分块（Block）存储到DataNode节点。
    • 建议：启用3副本策略,避免写入单一机架。

  2. 云原生容器存储（如Rook/Kubernetes）

    • 使用CSI驱动创建存储卷，后端对接Ceph、Longhorn等分布式系统。
    • 建议：动态配置存储池的副本数和节点亲和性。

  3. 冷数据归档（如MinIO）

    • 对象直接存储到纠删码桶（如EC:4:2）,降低存储成本。
    • 建议：结合生命周期策略自动迁移数据。

FAQs

Q1：是否可以绕过虚拟化池，直接在物理磁盘上创建分布式存储卷？
A1：不可以，分布式存储的核心理念是通过软件定义实现资源池化和数据冗余，直接绑定物理磁盘会破坏系统的负载均衡、故障恢复和扩展性，若某节点故障,未池化的磁盘会导致数据不可恢复。

Q2：如何选择存储卷的后端类型（块/文件/对象）？
A2：根据业务需求选择：

  • 块存储：适用于需要裸设备访问的场景（如数据库、虚拟机磁盘）。
  • 文件存储：适合共享文件系统（如NAS替代方案、多媒体编辑）。
  • 对象存储：用于海量非结构化数据（如备份、日志、AI
分布式集群存储
0

相关文章