首页/新闻资讯/正文详情

列族系列 · 第 02 篇——架构拆解:对等与主从两套设计

发布时间:2026/9/27 21:17:16 来源:云帆数科 栏目:资讯中心
列族系列 · 第 02 篇——架构拆解:对等与主从两套设计
Cassandra 对等架构与 HBase 主从架构目 录一、导读二、Cassandra 对等架构2.1 核心组件2.2 数据分布与副本2.3 可调一致性NRW2.4 反熵机制三、HBase 主从架构3.1 三大核心组件3.2 Region 与数据文件3.3 读写流程3.4 高可用与一致性四、两套架构对比与选型4.1 选型思路五、本篇小结一、导读第 01 篇认识了列族数据库的定位。两大代表 Cassandra 与 HBase 虽共享列族数据模型与 LSM-Tree 存储却在分布式架构上大相径庭Cassandra 走「对等无中心」参考 DynamoHBase 走「主从中心化」遵从 Bigtable。本讲拆解这两套架构的组件与高可用、一致性机制。二、Cassandra 对等架构2.1 核心组件组件 / 机制职责对等节点无主节点任意节点可读写无单点故障一致性哈希环按分区键哈希定位数据所在节点数据分布在环上Gossip 协议节点间定期交换状态实现发现、失败检测与同步副本策略SimpleStrategy / NetworkTopologyStrategy 决定副本分布2.2 数据分布与副本每条数据根据分区键计算哈希落到一致性哈希环的某个节点并按副本因子复制到环上后续多个节点。多数据中心用 NetworkTopologyStrategy 实现机架 / 机房感知的副本放置提升容灾能力。2.3 可调一致性NRWCassandra 用一致性级别CL在可用性与一致性间取舍// CQL 设置读写一致性级别CONSISTENCY QUORUM; // 多数派副本确认兼顾一致与可用// 常用ONE / QUORUM / ALL / LOCAL_QUORUMN 个副本、R 个读、W 个写满足 R W N 即能读到最新写入这就是 Quorum法定多数策略。默认偏向最终一致可按需调高。2.4 反熵机制为对抗副本间的数据偏差Cassandra 提供三层机制Hinted Handoff提示移交某副本宕机时写请求由其他节点暂存源节点恢复后回放。Read Repair读修复读时发现副本不一致顺势把最新值写回过期副本。Repair周期修复基于 Merkle Tree 比对定期全量修复属于运维必备。三、HBase 主从架构3.1 三大核心组件组件职责ZooKeeper选主、元数据寻址、RegionServer 状态监控HMasterRegion 分配与负载均衡、失效恢复、DDLRegionServer承载并服务 Region 的数据读写3.2 Region 与数据文件表按行键范围水平切分为多个 Region由 RegionServer 管理。Region 大小超阈值会分裂自动 split。RegionServer 内部围绕每列族维护一套存储模块作用WAL写前日志先写日志再写内存保证持久性MemStore内存写缓冲攒批后刷盘BlockCache读缓存加速热点数据HFileStoreFile落盘的 LSM-Tree 存储文件3.3 读写流程客户端先经 ZooKeeper 定位 meta 表所在 Region再逐层路由到目标 RegionServer。数据写入先落 WAL 再进 MemStore刷盘为 HFile读取先查 MemStore 与 BlockCache未命中再读 HFile。3.4 高可用与一致性HMaster 宕机由 ZooKeeper 重新选主即便全部 Master 宕机Region 读写仍可用Master 只做自动运维角色RegionServer 宕机其 Region 由 HMaster 重新分配。单行读写强一致CP底层数据存于 HDFS 多副本保障不丢。四、两套架构对比与选型维度CassandraHBase架构对等无中心Dynamo主从中心化Bigtable一致性最终一致可调AP单行强一致CP协调Gossip 一致性哈希ZooKeeper HMaster存储底座本地 SSTableHDFS多副本部署复杂度相对简单依赖 HDFS ZooKeeper较重生态独立、云服务多深度绑定 Hadoop 生态4.1 选型思路高并发写入、要求无单点、可容忍短暂不一致、部署独立 → Cassandra需要强一致、深度融入 Hadoop 大数据生态、单行事务 → HBase。两者都面向海量写入架构取向决定适用场景。五、本篇小结本讲拆解了列族数据库两套经典架构Cassandra 以一致性哈希环 Gossip 可调一致性实现无中心高可用HBase 以 ZooKeeper HMaster Region 实现主从强一致。理解两套架构的差异是后续原理、部署与选型的基础。下一篇进入核心原理深入一致性哈希、Gossip、LSM-Tree 与副本策略。

相关推荐

DeerFlow 2.0 配置 TaoToken:字节跳动开源 Agent 框架的 settings.json 骨架与验证
DeerFlow 2.0 配置 TaoToken:字节跳动开源 Agent 框架的 settings.json 骨架与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:17:10

DSH 快速上手:WSL 安装 + 插件市场 + 跨 AI 技能迁移(TaoToken 配置篇)
DSH 快速上手:WSL 安装 + 插件市场 + 跨 AI 技能迁移(TaoToken 配置篇)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:17:10

避开中文路径与安全软件拦截,OpenClaw 2.7.9 可视化安装全流程(TaoToken 配置版)
避开中文路径与安全软件拦截,OpenClaw 2.7.9 可视化安装全流程(TaoToken 配置版)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:16:58

物理机专线接入:企业专线用户的地图验收
物理机专线接入:企业专线用户的地图验收

物理机专线接入:企业专线用户的地图验收写在前面 本文围绕「物理机专线接入」展开,提供可落地的技术方案,并在验收环节说明如何用 SpeedCE 多节点测速确认效果。 本文是一份围绕「物理机专线接入」的可执行长文手册(建议阅读 15–… · 2026/9/27 21:47:53

磁盘 inode 耗尽 故障排查手册:现象、定位与修复
磁盘 inode 耗尽 故障排查手册:现象、定位与修复

磁盘 inode 耗尽 故障排查手册:现象、定位与修复工具地址:https://www.speedce.com 社区论坛:https://bbs.speedce.com 联系:speedceadsgmail.com写在前面 围绕「磁盘 inode 耗尽」,本文提供可落地的技术指南&#xff… · 2026/9/27 21:47:47

SSL 握手失败 故障排查手册:现象、定位与修复
SSL 握手失败 故障排查手册:现象、定位与修复

SSL 握手失败 故障排查手册:现象、定位与修复工具地址:https://www.speedce.com 社区论坛:https://bbs.speedce.com 联系:speedceadsgmail.com写在前面 围绕「SSL 握手失败」,本文提供可落地的技术指南,并在… · 2026/9/27 21:47:47

Gzip/Brotli 压缩配置与超时:能通但极慢的排查
Gzip/Brotli 压缩配置与超时:能通但极慢的排查

Gzip/Brotli 压缩配置与超时:能通但极慢的排查工具地址:https://www.speedce.com 社区论坛:https://bbs.speedce.com 联系:speedceadsgmail.com写在前面 没开压缩,大 JSON 响应体导致 TTFB 极高——网络通但体验差。 本… · 2026/9/27 21:47:47

WebSocket / WSS 长连接:HTTPS 可达与实时业务的分工边界
WebSocket / WSS 长连接:HTTPS 可达与实时业务的分工边界

WebSocket / WSS 长连接:HTTPS 可达与实时业务的分工边界工具地址:https://www.speedce.com 社区论坛:https://bbs.speedce.com 联系:speedceadsgmail.com写在前面 SpeedCE 测 HTTPS 可达,WebSocket 握手失败是另一层问… · 2026/9/27 21:47:47

gRPC / HTTP2 网关:REST 可达与 gRPC 故障分工
gRPC / HTTP2 网关:REST 可达与 gRPC 故障分工

gRPC / HTTP2 网关:REST 可达与 gRPC 故障分工写在前面 本文围绕「gRPC / HTTP2 网关」展开,提供可落地的技术方案,并在验收环节说明如何用 SpeedCE 多节点测速确认效果。 本文是一份围绕「gRPC / HTTP2 网关」的可执行长文手册(建… · 2026/9/27 21:47:47

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码