当前位置：首页 > 行业动态 > 正文

分布式存储与计算分类文章列表

分布式存储按类型分块/文件/对象存储，计算含批处理、流处理等模式，架构有集中式与去中心化

分布式存储与计算分类详解

分布式存储分类

分布式存储通过将数据分散存储在多个节点上,提升系统的可靠性、扩展性和性能，根据数据组织方式和访问协议的不同，主要分为以下三类：

分类 核心特点 典型场景 代表技术/产品
块存储（Block Storage） 将数据分割为固定大小的块（如512B或4KB），按块进行分布式存储，支持随机读写。 数据库底层存储、虚拟机磁盘扩容 SAN（如NetApp）、Ceph RBD、OpenEBS Jiva
文件存储（File Storage） 基于文件系统协议（如NFS、SMB）实现共享访问，支持目录结构与文件操作。 共享文件夹、多媒体内容管理 NFS、GlusterFS、MooseFS
对象存储（Object Storage） 以扁平化结构存储非结构化数据，通过唯一标识符（如URL）访问，支持高并发写入。 海量图片/视频存储、备份归档、大数据分析 Amazon S3、MinIO、Ceph Object Gateway

补充说明：

  • 块存储适合需要低延迟、高IOPS的场景（如数据库），但缺乏共享能力。
  • 文件存储兼容传统文件系统，适合多客户端共享访问，但扩展性受限。
  • 对象存储专为大规模非结构化数据设计，成本低廉且可无限扩展，但不适合随机读写。

分布式计算分类

分布式计算通过将任务拆解到多个节点并行处理,解决大规模数据处理和高吞吐量需求，主要分类如下：

分类 核心特点 典型场景 代表技术/框架
批处理计算（Batch Processing） 离线处理海量数据，按任务划分数据分片，最终聚合结果。 数据挖掘、日志分析、机器学习训练 Hadoop MapReduce、Spark（非实时模式）
流计算（Stream Processing） 实时处理连续数据流，低延迟输出结果。 实时监控、金融交易、物联网数据 Apache Flink、Kafka Streams、Spark Streaming
图计算（Graph Processing） 针对图结构数据（节点与边）进行分布式计算，擅长关联关系分析。 社交网络分析、推荐系统、路径规划 Google Pregel、Apache Giraph、Nebula Graph
容器化计算（Serverless/FaaS） 按需执行函数代码，无需管理服务器资源。 事件驱动型任务、微服务后端 AWS Lambda、Azure Functions、Knative

补充说明：

  • 批处理适合处理历史积累的静态数据，但延迟较高。
  • 流计算强调实时性，需处理数据乱序、窗口计算等复杂问题。
  • 图计算依赖图数据模型，需解决分布式图分割与通信开销问题。
  • 容器化计算通过函数粒度拆分任务，降低资源浪费，但冷启动耗时较长。

存储与计算的协同模式

分布式存储与计算通常结合使用,形成以下典型架构：

模式 描述 适用场景
存算一体（Co-located） 计算节点与存储节点部署在同一物理设备上，直接访问本地存储。 小规模集群、低延迟要求场景
存算分离（Disaggregated） 计算节点与存储节点独立部署，通过高速网络（如RDMA）传输数据。 大规模云原生环境、弹性扩缩容需求
混合云架构 结合本地存储与公有云存储，计算任务可跨私有云与公有云调度。 企业级灾备、多地域容灾

关键差异对比

维度 分布式存储 分布式计算
核心目标 数据持久化、高可用、低成本 任务高效执行、低延迟、高吞吐
数据特征 结构化/非结构化数据，长期保存 批量/流式数据，临时处理
技术焦点 数据分片、副本一致性、元数据管理 任务调度、容错恢复、网络通信优化
性能瓶颈 磁盘IOPS、网络带宽、元数据服务 任务划分粒度、节点间数据传输开销

FAQs

Q1：如何选择分布式存储与计算的搭配？
A1：需根据业务需求决定：

  • 实时性要求高（如风控）：选择流计算（如Flink）+ 对象存储（如S3）。
  • 离线大数据分析（如日志处理）：使用批处理（如Spark）+ HDFS（块存储）。
  • 图数据分析（如社交网络）：采用图计算框架（如Nebula）+ 分布式文件系统（如Ceph）。

Q2：存算分离架构的优势是什么？
A2：

  1. 弹性扩展：存储与计算资源可独立扩容，避免资源浪费。
  2. 技术解耦：允许替换存储或计算组件（如用Redis替代HDFS）。
  3. 跨地域部署：存储层可部署在低成本区域，计算层靠近
分布式计算分类
0

相关文章