Apache Druid 与 Amazon Redshift 对比：实时摄入、数据分布与索引策略的技术解析

数据库数据分析OLAP大数据实时分析数据仓库后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid7/druid点击查看免费下载导读本文基于 docs/content/comparisons/druid-vs-redshift.md 展开系统对比 Apache Druid 与 Amazon Redshift 在实时数据摄入、读导向分析能力、数据分布模型、复制策略与索引策略五个核心维度上的架构差异。文中所有关于 Druid 的实现结论均可在本仓库gh_mirrors/druid7/druid的源码与配置中找到对应依据。读完本文你将理解为什么 Druid 面向流式实时分析场景而 Redshift 面向传统批式数仓场景以及两者在扩展性、容错性与查询加速手段上的根本分歧。一、背景Redshift 的 ParAccel 血统原文档首先交代了对比的前提Amazon Redshift 的前身是 ParAccel后被 Actian 收购Amazon 以授权方式引入后对其进行了深度改造。因此本文中 Druid 的很多对比对象实际是ParAccel 的列式存储架构——它在数据分布哈希分布、复制热备与索引无索引上的特性很大程度上被 Redshift 继承。这一点提醒读者对比两家产品的差异本质上是对比两套底层存储与分布哲学的差异而不仅仅是 SQL 功能清单的差异。二、实时数据摄入流式 vs 批式原文档观点Druid 针对海量流式数据做了专门优化能够在数据到达的同时完成加载与聚合而传统数据仓库包括列式存储通常只支持批式摄入不适合高频流式数据持续写入。Druid 的实时摄入链路Druid 的实时摄入能力不是营销话术而是有完整代码链路支撑的架构事实。摄入数据首先经过 Firehose 接口——它定义了hasMore()、nextRow()与commit()三个核心方法hasMore()在流未断开时会阻塞等待新消息commit()则返回一个在独立线程执行的回调用于推进流式数据源的消费位点如 Kafka offsetpublic interface Firehose extends Closeable { public boolean hasMore(); public InputRow nextRow(); public Runnable commit(); }Firehose 接口的 JavaDoc 明确指出这三个方法由同一线程调用而 commit 回调运行在另一个线程因此回调内部操作必须保证线程安全——这正是为流式消费语义设计的。流式摄入如 Kafka 数据源的完整使用方式见 docs/content/ingestion/stream-ingestion.md。摄入即聚合IncrementalIndex更关键的是Druid 的实时摄入节点并不是把原始行直接落盘而是边摄入边在内存中增量聚合。这一行为由 processing/src/main/java/io/druid/segment/incremental/IncrementalIndex.java 实现新到的InputRow会按时间粒度、维度组合在内存中即时累积指标通过AggregatorFactory完成而不是简单追加一条记录。这意味着查询时无需扫描原始明细即可获得聚合结果是 Druid 面向海量流式数据即时洞察这一目标的核心支撑。实时任务Realtime / 索引服务任务通过 RealtimePlumber 调度摄入的数据先写入内存中的 IncrementalIndex达到阈值或时间边界后落盘持久化为不可变的 Segment并通过 DataSegmentPusher 推送到深层存储。Redshift 的批式约束相比之下Redshift 属于传统列式数仓数据通常通过 COPY / ETL 批式加载写入吞吐受制于批量导入流程难以支撑毫秒级持续写入的流式场景。这是面向流式实时分析与面向批量分析两种产品定位的自然结果。三、读导向的分析型存储 vs 全功能 SQL原文档观点Druid 的写入语义相对受限不支持完整 join仅支持大表 join 小表Redshift 提供完整 SQL 支持包括 join 与 insert/update。Druid写入受限、查询极致的读导向存储Druid 的 Segment 一经生成即不可变因此更新语义天然受限。它的定位是读导向read-oriented的分析型数据存储支持高吞吐的流式/批式摄入、时间范围与维度过滤下的高速聚合查询、近似/精确去重等分析能力受限行级更新、事务性写入、任意表之间的大规模 join。Druid 目前只支持大表 join 小表通常小表以 lookup 形式加载这与 Redshift 的完整 SQL含各类 join、insert/update/delete形成鲜明对比。在查询侧Druid 提供了 Timeseries、TopN、GroupBy、Search、Select 等多种查询类型聚合在摄入阶段已预计算rollup因此查询路径上无需实时执行完整 group by。相关查询语义详见 docs/content/querying/querying.md。Redshift通用 SQL 数仓Redshift 提供 Postgres 风格的完整 SQL 能力适合交互式 BI、即席报表与复杂 join 场景。代价是为支持通用写入与更新其存储层很难像 Druid 那样针对不可变 预聚合 位图索引做极端查询优化。四、数据分布模型Segment 化 vs 哈希分布原文档观点Druid 采用基于 Segment 的数据分布依赖 S3、HDFS 等高可用深层存储扩容/缩容无需大规模复制或停机。ParAccel 采用哈希分布扩容需要跨节点重新哈希数据Redshift 只能通过只读模式 → 并行复制到新集群 → 切换流量的多步流程绕过。DruidSegment 是数据分布的基本单元Druid 中数据被切分为时间对齐的Segment数据段每个 Segment 的元数据由 DataSegment 描述其标识符由dataSource 时间区间 version partitionNum组合而成public static String makeDataSegmentIdentifier( String dataSource, DateTime start, DateTime end, String version, ShardSpec shardSpec ) { sb.append(dataSource).append(delimiter) .append(start).append(delimiter) .append(end).append(delimiter) .append(version); if (shardSpec.getPartitionNum() ! 0) { sb.append(delimiter).append(shardSpec.getPartitionNum()); } return sb.toString(); }DataSegment还通过loadSpec字段一个惰性物化的 Map记录该 Segment 在深层存储中的位置与加载方式并通过dimensions、metrics、size等字段描述其内容——Coordinator 正是依据这些元数据决定每个历史节点Historical应加载哪些 Segment。Segment 文件本身存放在深层存储S3、HDFS、本地盘等参见 docs/content/dependencies/deep-storage.md历史节点通过 SegmentLoader 接口将 Segment 拉取到本地public interface SegmentLoader { public boolean isSegmentLoaded(DataSegment segment) throws SegmentLoadingException; public Segment getSegment(DataSegment segment) throws SegmentLoadingException; public File getSegmentFiles(DataSegment segment) throws SegmentLoadingException; public void cleanup(DataSegment segment) throws SegmentLoadingException; }为什么扩缩容不需要停机由于 Segment 是不可变的、且其源头始终保存在深层存储中历史节点任意数量丢失都不会造成数据丢失——新节点只需从深层存储重新拉取 Segment 即可恢复。同理集群扩容时Coordinator 会把现有 Segment 重新分配到新节点上新增节点从深层存储加载数据整个过程无需迁移原始数据文件也无需停写。这正是与哈希分布的根本区别数据副本的归属由元数据谁加载哪个 Segment决定而非由哈希函数硬编码在物理位置上。Segment 的加载与分布机制详见 docs/content/design/segments.md 与 docs/content/design/historical.md。Redshift / ParAccel哈希分布的重哈希困境ParAccel 采用基于哈希的数据分布行按哈希函数分布到各节点查询时按 hash 路由定位。其代价是——扩容意味着必须把所有数据按新节点数重新哈希、重新分布这一过程很难在不影响服务的前提下在线完成。Redshift 的官方规避方案是多步切换流程将集群置为只读模式把数据从旧集群复制到并行运行的新集群将流量重定向到新集群。该流程本质上是另起炉灶 数据搬迁期间存在明显的迁移窗口与服务中断风险与 Druid加节点即自动重平衡的模式形成鲜明对照。五、复制策略全副本可查询 vs 热备冗余原文档观点Druid 的 Segment 级数据分布使得节点可以随意增删与重平衡无需阶段性切换复制自动完成且不影响性能所有副本都能参与查询。ParAccel 的哈希分布通常依赖热备hot spare冗余能容忍的节点故障数有硬性上限且热备往往无法分担查询负载。Druid复制即负载分担Druid 的 Coordinator 通过规则rule为每个 Segment 指定复制因子replicas。复制是自动完成的同一 Segment 会被加载到多个历史节点上而这些副本全部可被查询——查询时 Broker 会向所有持有该 Segment 的节点扇出请求天然起到负载均衡作用。副本机制同时带来了容错某节点宕机后Coordinator 检测到 Segment 副本不足会安排其他节点从深层存储重新加载补齐无需人工干预。由于 Segment 级复制与物理节点解耦集群可以在运行中增减节点并自动重平衡不需要执行 Redshift 那样的阶段式切换staged swap。ParAccel/Redshift热备模式与可容忍故障上限哈希分布下的复制一般以热备节点方式实现为每个主分片保留一个或多个备用副本主节点故障时热备顶上。这种模式存在两个固有局限可容忍故障数有上限若故障节点数超过为每个分片配置的副本数将直接导致数据不可用热备通常不参与查询备节点在平时处于待命状态无法帮助分担查询负载造成资源闲置。六、索引策略列式 位图索引 vs 无索引原文档观点Druid 在列式存储之上叠加索引结构显著加速带过滤条件的查询索引会带来额外存储开销也使数据更难支持修改但换来查询性能的大幅提升。ParAccel 未采用索引策略。Druid字典编码 位图索引Druid 的 Segment 是列式存储每个维度列会构建字典编码dictionary encoding与位图索引bitmap index。位图索引的定义见 processing/src/main/java/io/druid/segment/column/BitmapIndex.javapublic interface BitmapIndex { public int getCardinality(); public int getIndex(String value); public ImmutableBitmap getBitmap(int idx); // ... }其核心思想是为维度列中的每一个取值维护一个位图bitmap每一位标记该行是否等于该值。查询时SelectorFilter、InFilter、BoundFilter、AndFilter、OrFilter等过滤器见 processing/src/main/java/io/druid/segment/filter 包直接在位图上做与/或运算快速定位命中行再结合压缩与内存映射mmap技术实现亚秒级过滤查询。位图的压缩与存储实现位于 bytebuffer-collections 模块如RangeBitmap、UniformBitmap等类其基准测试见bytebuffer-collections/benchmarks/目录下的 HTML 报告。索引的代价存储开销与不可变性索引结构增加了 Segment 的存储体积也让就地修改数据变得困难——这正是 Druid 采用不可变 Segment 重新摄入/覆盖更新模式的原因之一。原文档对此的表述非常诚实索引是典型的空间换时间取舍。ParAccel / Redshift依赖压缩与编码而非索引按原文档的观察ParAccel 未采用索引策略其查询加速主要依赖列式压缩、编码与并行扫描。这意味着在高选择性过滤场景下Druid 的位图索引路径往往具有显著优势但 Redshift 凭借分布式并行扫描在全表扫描类分析上同样有很强的吞吐能力。两者是不同维度的优化思路。七、决策参考什么场景选 Druid什么场景选 Redshift基于以上五个维度的对比可以给出务实的选型判断维度Apache DruidAmazon Redshift数据摄入流式实时摄入 内存增量聚合IncrementalIndex、Firehose批式加载为主COPY / ETL写入与 SQL读导向写入语义受限不支持完整 join仅大表 join 小表完整 SQL支持 join 与 insert/update数据分布Segment 级分布深层存储兜底扩缩容免停机哈希分布扩容需重哈希或集群迁移复制自动复制所有副本可查询、可分担负载热备模式故障容忍上限受副本数约束索引列式 字典编码 位图索引BitmapIndex依赖列式压缩与并行扫描无位图索引适合 Druid 的场景海量事件流点击流、监控指标、IoT 时序数据的实时摄入与秒级聚合分析需要频繁按维度过滤的高并发查询以及弹性扩缩容、低成本容错的部署诉求。适合 Redshift 的场景需要完整 SQL 与复杂 join 的交互式 BI 报表以批量 ETL 为主的传统数仓工作负载以及与既有 SQL 生态深度集成的数据管道。两者并非替代关系而是互补实践中常见架构是把 Druid 作为实时分析前端将明细/聚合结果定期回灌到 Redshift 等数仓供深度 SQL 分析——分工各取所长。结语本文完整保留了 druid-vs-redshift.md 的全部对比维度与结论并补充了仓库源码级佐证实时摄入链路Firehose、IncrementalIndex、RealtimePlumber、Segment 元数据与标识符DataSegment、加载机制SegmentLoader以及位图索引BitmapIndex。需要深入原理的读者可继续阅读仓库中的 架构设计总览、Segment 设计 与 流式摄入指南。赞分享数据库数据分析OLAP大数据实时分析数据仓库后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid7/druid点击查看免费下载相关推荐Apache Druid vs Amazon Redshift实时 OLAP 与云数据仓库的架构与能力全面对比Apache Druid vs Amazon Redshift实时 OLAP 与云数据仓库的架构与能力全面对比 Apache Druid 与 Amazon R数据库OLAP大数据后端Apache Druid实时数据摄入与处理机制Apache Druid实时数据摄入与处理机制 Apache Druid采用独特的消防部门架构实现高效实时数据摄入通过FireDepartment、Fir数据库数据分析OLAP大数据实时分析数据仓库后端Apache Druid 与 Elasticsearch 技术对比OLAP 分析数据库与全文搜索引擎的架构差异与实践选型Apache Druid 与 Elasticsearch 技术对比OLAP 分析数据库与全文搜索引擎的架构差异与实践选型 Druid 是一款面向 OLAP联数据库数据分析OLAP大数据实时分析数据仓库后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考