上一篇
分布式是指数据的存储计算传输
分布式指数据存储、计算及传输分散于多个节点，协同处理，提升效率与
分布式数据存储
分布式存储的核心目标是将数据拆分为多个片段，分布到不同节点上，同时保证数据的一致性、可靠性和访问效率。
存储模式分类
| 存储类型 | 典型技术 | 特点 |
|---|---|---|
| 分布式文件系统 | HDFS、Ceph、GlusterFS | 支持大文件存储，通过分块和副本机制实现容错 |
| 分布式数据库 | Cassandra、MongoDB、TiDB | 支持结构化或非结构化数据，通过数据分片（Sharding）横向扩展 |
| 对象存储 | Amazon S3、MinIO | 以键值对形式存储非结构化数据，适合海量小文件 |
关键技术
- 数据分片（Sharding）：将数据按哈希、范围或目录分割，分散存储到不同节点,MySQL的分库分表通过主键哈希分配数据。
- 副本机制：通过多副本（如HDFS的3副本策略）提升容错能力，需结合一致性协议（如Paxos、Raft）保证数据一致。
- CAP定理权衡：分布式存储需在一致性（Consistency）、可用性（Availability）、分区容忍性（Partition Tolerance）之间取舍，Cassandra优先选择AP（高可用+分区容忍）,而Spanner通过时间戳实现强一致性。
挑战与解决方案
- 数据倾斜：热点数据导致部分节点负载过高，解决方案包括虚拟分片（Virtual Sharding）和动态负载均衡。
- 故障恢复：节点故障时需快速重建副本，HDFS通过心跳检测感知节点失效,自动复制数据到新节点。
分布式计算
分布式计算通过任务分解与并行处理,提升大规模数据处理效率。
计算模式
| 计算框架 | 适用场景 | 核心机制 |
|---|---|---|
| MapReduce | 离线批处理（如日志分析） | 分阶段执行Map（数据切片处理）和Reduce（结果聚合） |
| Spark | 内存迭代计算（如机器学习） | 通过RDD（弹性分布式数据集）实现内存缓存与任务依赖管理 |
| Flink | 实时流处理（如监控告警） | 基于事件时间的窗口计算与状态管理 |
| Kubernetes | 容器化任务调度（如微服务） | 通过Pod调度与Service发现实现资源隔离与负载均衡 |
任务调度
- 静态调度：预先划分任务（如MapReduce将作业拆分为固定数量的Map任务）。
- 动态调度：根据节点负载实时分配任务（如YARN的ResourceManager动态分配Container）。
挑战与优化
- 数据局部性：计算任务优先处理本地节点数据，减少网络传输,Spark的Task调度会优先选择数据所在节点。
- 容错机制：通过Checkpoint（如Flink的周期性快照）或任务重试（如Hadoop的Map任务失败后重新分配）保证计算可靠性。
分布式数据传输
数据传输需解决节点间高效通信与一致性问题。
通信协议
| 协议类型 | 典型技术 | 适用场景 |
|---|---|---|
| RPC（远程过程调用） | gRPC、Thrift | 低延迟请求响应（如微服务间调用） |
| 消息队列 | Kafka、RabbitMQ | 异步解耦与流量削峰（如日志收集、事件驱动架构） |
| 流式传输 | HTTP/2、WebSocket | 实时双向通信（如直播、在线协作） |
数据同步机制
- 主从复制：一个主节点负责写操作，从节点同步数据,Redis的主从复制用于读写分离。
- 多主复制：允许多个节点同时写入，通过冲突解决（如Quorum NWR算法）保证最终一致,Cassandra的多数据中心部署。
性能优化
- 压缩与序列化：使用Protobuf或Avro减少传输数据量。
- 批量处理：合并小请求（如Kafka的批量消费）降低网络开销。
- 带宽限制：通过令牌桶算法控制流量,防止网络拥塞。
FAQs
Q1：分布式系统与集群系统有什么区别？
A1：集群系统通常指紧密耦合的服务器组（如RAID阵列或高性能计算集群），而分布式系统强调节点间的松耦合与地理分散，Google全球数据中心属于分布式系统,而单个机房内的Hadoop集群属于集群系统。
Q2：如何保证分布式事务的ACID特性？
A2：传统单机事务依赖锁与日志，分布式事务则需引入两阶段提交（2PC）、TCC（Try-Confirm-Cancel）或补偿机制，Seata框架通过AT模式自动捕获事务上下文，实现
