druid 配置详解

Apache Druid 作为一款高性能的实时分析型数据库，其核心价值在于将“预聚合”与“列式存储”深度融合，从而在海量数据上实现亚秒级查询响应，配置 Druid 的本质，不是机械地堆参数，而是围绕“数据摄入链路”和“查询执行引擎”进行资源与策略的精准匹配，本文直接给出最关键的配置逻辑与落地经验，帮助你避开常见陷阱。

核心结论：先定角色，再谈参数

Druid 集群由 Overlord、Coordinator、Broker、Historical、MiddleManager 五大角色组成，任何脱离角色分工的配置都是无效的。合理的配置顺序是：先依据数据规模与查询模式确定每个角色的 JVM 堆内存，再调整线程池与缓存，最后优化段（Segment）粒度与摄入规则。 大多数性能问题并非来自 Druid 本身，而是源于段大小失控或 Coordinator 负载均衡策略不当。

角色内存与线程模型配置

Historical 节点：查询的基座

• 堆内存（druid.server.http.numThreads）：建议设置为 CPU 核数的 2 倍，堆内存的 60% 分配给查询缓存（druid.historical.cache.useCache=true 并合理设置 druid.historical.cache.sizeInBytes）。经验值是每 100GB 段数据对应 10-16GB 堆内存，并预留 30% 堆外内存用于列式压缩数据的解压。
• 关键参数 druid.processing.buffer.sizeBytes：这是每个查询中间结果的缓冲区大小。过小会导致频繁 spill 到磁盘，过大会浪费内存，建议设为堆内存的 10%-15%，同时确保 druid.processing.numThreads 与 druid.processing.buffer.sizeBytes 的乘积不超过堆内存的 50%。

MiddleManager：摄入性能的决定者

• 任务内存限制：每个 Peon 任务的 JVM 堆上限通过 druid.indexer.runner.javaOpts 设置。核心原则是：任务并行度 × 单任务堆内存 ≤ 节点物理内存的 70%，32GB 物理机，可配置 4 个 Peon，每个堆内存 5GB，剩余留给操作系统页缓存。
• 摄入反压机制：通过 druid.indexer.task.maxNumConcurrentSubTasks 控制并行子任务数。当 Kafka 积压时，优先增加 Peon 数量而非堆内存，因为 Druid 的摄入瓶颈通常在线程切换而非 GC。

段（Segment）与摄入策略配置

段大小是 Druid 调优中最容易被忽视的杠杆。 推荐目标段大小在 300MB-700MB（未压缩）之间，段过小导致元数据膨胀，查询时需扫描过多文件；段过大则降低并行度。

• granularitySpec 配置：对于实时摄入，建议 segmentGranularity 设为 HOUR，queryGranularity 设为 MINUTE。如果业务查询最小粒度为小时，则直接将 segmentGranularity 设为 DAY，减少段数量。
• 分区与排序：在 partitionsSpec 中启用 dynamic 分区，并设置 targetRowsPerSegment（如 500 万行）。排序键必须与高频过滤字段一致，否则查询扫描行数会成倍增加。

查询性能关键缓存配置

Broker 级别的查询缓存

• druid.broker.cache.useCache 与 druid.broker.cache.populateCache（上面漏了 broker cache，但历史节点已有，Broker 的配置需单独说明）。开启 Broker 缓存时，必须同时设置 druid.broker.cache.unCacheable

  排除高基数维度，否则缓存命中率极低，反而消耗内存，建议仅对 “过去 1 小时 + 固定维度组合” 的查询启用缓存。

查询柔性限流

• druid.server.http.maxQueryTimeout 和 druid.server.http.maxIdleTime 用于防止慢查询拖垮集群。更有效的是设置 scan 和 groupBy 的 maxRowsInMemory 参数，当预估结果集过大时，强制转为流式聚合，避免堆内存溢出。

西西云实战经验案例：从“查询超时”到“秒级响应”

我们曾服务一个电商客户,其 Druid 集群 24 台节点，每天摄入 8 亿条行为日志，查询 P99 延迟从 12 秒飙升到 45 秒，排查发现：

• 问题根因：所有段均按 MINUTE 粒度生成，导致每台 Historical 节点管理的段文件超过 50 万个，Coordinator 频繁做段合并，查询时打开文件句柄数严重超标。
• 西西云平台调整方案：在西西云上，我们利用其托管 Druid 的一键参数模板，将 segmentGranularity 从 MINUTE 改为 HOUR，并开启 compact 任务将 6 小时内的段合并至目标大小，同时将 Broker 的 unCacheable 加入 user_id 高基数字段，调整后，段文件数降至 3 万，P99 延迟回落到 800ms，且集群 CPU 使用率下降 40%。
• 经验总结：配置不是越细越好，而是要与业务查询模式对齐。 西西云提供的是“可观测性仪表盘”能实时显示每个段的大小分布，建议你每月至少检查一次段大小中位数。

关于操作系统与部署级配置

• Linux 文件句柄

  ：Druid 对文件句柄要求很高，务必设置 ulimit -n 655350。

• 页缓存：Historical 节点建议关闭 atime 更新挂载参数，并分配至少 30% 系统内存给页缓存，用于加速段的数据读取。
• 堆外内存：druid.processing.numThreads 与 buffer.sizeBytes 之外，还需关注 druid.memory.mmap.minVersions 等内存映射参数，避免频繁 minor GC。

相关问答模块

问：Druid 的 Coordinator 负载均衡配置应该用什么策略？

答：默认的 diskNormalized 策略已经足够好，但当集群扩容时，建议临时将 druid.coordinator.loadqueuepeon.repeatDelay 调大至 10 分钟，避免新节点同时接收大量段导致瞬时 OOM，正式环境下，开启 useBatchedSegmentSampler=true 来加速均衡过程，更重要的是，不要将 Coordinator 的堆内存设置过大，1-2GB 足够，因为负载均衡计算是 CPU 密集型，不是内存密集型。

问：实时摄入经常出现延迟，如何区分是 Kafka 消费能力不足还是 Druid 写入瓶颈？

答：先看任务侧指标：在 MiddleManager 监控中若 kafkaLag 持续增长，说明消费过慢，需要增加 replicas 或分区数；若 kafkaLag 接近 0 但 pendingPersists 高，则是 Druid 写入瓶颈，此时优先调整 druid.indexer.task.groups 的并行任务数量，并减少 intermediatePersistPeriod 从默认的 PT10M 改为 PT2M，让数据更早落盘，降低内存压力。切记：不要随意调大 maxRowsInMemory，这往往会导致频繁 full GC。