首页/新闻资讯/正文详情

第十二章:数据系统的未来

发布时间:2026/11/20 21:15:03 来源:云帆数科 栏目:资讯中心
第十二章:数据系统的未来
第十二章数据系统的未来这是全书的收束章也是最有思想性的一章。Kleppmann 不再讲具体技术而是退后一步提出一个根本性的判断过去我们习惯用一个数据库解决所有问题但未来属于可组合的数据系统——由多个专门化组件通过事件日志连接而成。同时他把技术讨论提升到伦理层面数据系统影响人们的生活工程师必须为此负责。本章结构先讲解绑数据库的架构思想再讲端到端原则然后讲数据伦理最后回到全书的方法论。一、解绑数据库Unbundling the Database1. 传统数据库的一体化模式传统关系数据库如 Oracle、MySQL是一个单体存储引擎索引查询优化器事务管理复制缓存全文检索全部打包在一起。好处是开箱即用、一致性好坏处是每个部分都无法独立扩展或替换。2. 专门化组件的兴起过去十几年每个功能都被拆成独立系统功能专门化系统存储HDFS、S3索引Elasticsearch、Solr缓存Redis、Memcached消息Kafka、Pulsar批处理Spark、Flink流处理Flink、Kafka Streams图查询Neo4j分析ClickHouse、Druid问题这些系统如何协同数据如何同步一致性如何保证3. 事件日志作为中枢Kleppmann 的核心主张用事件日志如 Kafka作为系统的中枢把各个专门化组件连接起来。架构所有变更写入事件日志各组件订阅日志更新自己的状态组件之间不直接通信通过日志解耦日志是唯一真相来源Source of Truth好处解耦组件独立演化可重放新组件可以从头构建状态一致性所有组件看到相同的事件顺序可组合像搭积木一样组装系统4. 解绑的代价复杂性需要协调多个系统一致性跨系统的一致性难以保证运维更多组件更多故障点延迟事件在系统间流动有延迟Kleppmann 的平衡观点解绑不是万能药。小系统用单体数据库更简单大系统才需要解绑。关键是理解权衡。二、端到端原则End-to-End Principle1. 什么是端到端原则源自网络设计功能应该放在网络的端点而不是中间节点。中间节点只做通用转发不做特殊处理。例子TCP 的可靠性由端点保证不靠中间路由器端到端的加密中间节点无法解密2. 在数据系统中的应用Kleppmann 的引申不要依赖中间层来保证正确性正确性应该由端点保证。例子去重不要依赖消息系统去重让消费者幂等事务不要依赖中间件让应用处理一致性不要依赖数据库让应用验证为什么中间层的保证往往有漏洞端到端保证更可靠中间层越简单系统越可组合3. 端到端原则的实践幂等设计重复执行不出错应用层校验不盲信下层端到端加密不信任中间节点端到端监控从用户视角度量Kleppmann 的提醒端到端原则不是不要中间层而是不要把正确性寄托在中间层。中间层可以做优化但不能做保证。三、数据伦理与责任1. 技术不是中立的Kleppmann 的转向前面十一章讲的是如何构建系统这一节讲的是应该构建什么样的系统。核心观点数据系统影响人们的生活信用评分、推荐、定价、招聘算法决策可能带有偏见工程师不能只说这是产品需求2. 数据伦理的关键问题1隐私数据收集的边界在哪用户是否知情同意数据二次使用是否合理2偏见与歧视训练数据带有历史偏见算法放大偏见例子招聘算法歧视女性信用评分歧视少数族裔3透明与可解释算法决策能否解释用户能否申诉黑箱模型的伦理问题4权力不对称平台掌握大量数据用户缺乏议价能力数据垄断3. 工程师的责任Kleppmann 的呼吁工程师不能躲在技术中立背后。你设计的系统会影响人们的生活你必须为此负责。实践建议主动考虑伦理影响拒绝有害的设计推动透明和可解释保护用户隐私参与公共讨论4. 法规与治理GDPR数据保护、被遗忘权CCPA加州消费者隐私算法审计第三方审查数据治理企业内部的伦理委员会Kleppmann 的观点法规是必要的但不够。工程师的自觉和伦理意识才是第一道防线。四、全书方法论回顾1. 三个维度可靠性故障时不失效可扩展性负载增长时能应对可维护性长期能高效维护2. 核心权衡权衡说明一致 vs 可用CAP 定理延迟 vs 吞吐批处理 vs 流处理写优化 vs 读优化LSM-Tree vs B-Tree简单 vs 灵活单体 vs 解绑强一致 vs 高性能线性一致 vs 最终一致3. 核心洞察没有万能方案所有技术选型都依赖具体场景。复杂性是最大的敌人好的设计是对抗复杂性的过程。端到端保证正确性不要依赖中间层。事件日志是解绑的核心Kafka 作为中枢连接组件。技术有伦理责任工程师不能回避。五、本章的核心思想总结主题核心观点解绑数据库专门化组件 事件日志中枢事件日志唯一真相来源连接组件支持重放端到端原则正确性由端点保证不依赖中间层数据伦理技术不中立工程师有责任方法论可靠性、可扩展性、可维护性权衡无处不在三个贯穿全书的判断未来属于可组合的数据系统不是一个大数据库而是多个专门化组件通过日志连接。正确性要端到端保证中间层可以做优化但不能做保证。技术有伦理维度数据系统影响人们生活工程师必须负责。六、这一章在全书中地位第十二章是全书的升华第一章提出三个维度第十二章回到方法论第三、四章讲存储和编码第十二章讲如何组合第五到九章讲分布式挑战第十二章讲如何用日志连接第十、十一章讲批处理和流处理第十二章讲流处理是未来架构的核心一句话概括本章数据系统的未来是解绑——用事件日志连接专门化组件让系统可组合、可演化。端到端原则告诉我们正确性要由端点保证不依赖中间层。而技术不是中立的工程师必须为数据系统对人们生活的影响负责。全书的方法论——可靠性、可扩展性、可维护性——最终指向一个目标构建既强大又负责任的数据系统。

相关推荐

规格驱动开发:把模糊需求转成AI可执行任务
规格驱动开发:把模糊需求转成AI可执行任务

目录 一、一句话需求的真实成本:模糊为什么在生成时代更贵了 (一)一句「加个优惠券功能」里藏着多少个决定 (二)口头澄清不留痕:提示词编程的三个结构性缺陷 (三)成本重心的迁移… · 2026/11/3 9:46:54

LPDDR5 物理层一致性测试(连载・下):电平、过冲下冲与 Rx 接收眼图 Mask 掩模完整指标解读
LPDDR5 物理层一致性测试(连载・下):电平、过冲下冲与 Rx 接收眼图 Mask 掩模完整指标解读

精品专栏推荐:从零学会 CST 仿真全流程_一只豌豆象的博客-CSDN博客 版权声明:本文为CSDN博主「一只豌豆象」的原创文章,收录于「信号完整性」技术专栏,并同步发布于知乎同名专栏,转载或引用请附上原文出处链接及本声明。 目录 摘要 前言 一、Level tests 电平测试 1.… · 2026/11/20 0:15:25

OpenMausBot安全设计详解:密钥write-only、配对机制与回环信任边界
OpenMausBot安全设计详解:密钥write-only、配对机制与回环信任边界

OpenMausBot安全设计详解:密钥write-only、配对机制与回环信任边界 【免费下载链接】OpenMausBot Open-source Grok Bot alternative with a virtual machine that bots can use 项目地址: https://gitcode.com/GitHub_Trending/op/OpenMausBot OpenMausBot … · 2026/11/12 2:46:18

电工证可以用电吗多久拿证 河南施工企业负责人必看避坑指南
电工证可以用电吗多久拿证 河南施工企业负责人必看避坑指南

电工证可以用电吗多久拿证 河南施工企业负责人必看避坑指南 你是不是也遇到过这种情况:手头的电工证已经到期,但又不清楚该去哪里复审、怎么延期?尤其是在河南这样的建筑大省,特种作业操作证不仅是上岗的“通行证”,更是企业安全生产的“定心丸”。如果… · 2026/11/21 6:25:28

工地太忙根本没时间复习考试?维修电工证学习网良心建议帮你搞定
工地太忙根本没时间复习考试?维修电工证学习网良心建议帮你搞定

工地太忙根本没时间复习考试?维修电工证学习网良心建议帮你搞定 工地上的节奏快得让人喘不过气,白天赶工期,晚上还要熬夜算账,哪还有时间去复习电工证考试?你是不是也经常因为工作太忙,差点错过复审或考试时间?别急,维修电工证学习网良心建议来了,教… · 2026/11/21 6:25:28

各类电工证的区别图片 2026河南最新政策解读
各类电工证的区别图片 2026河南最新政策解读

各类电工证的区别图片 2026河南最新政策解读 学历不高怕报不上名?2026河南最新政策已经明确,电工证报考门槛并未提高,反而对实操能力和职业素养提出了更高要求。各类电工证的区别图片虽然网上不少,但很多人并不清楚自己到底需要哪种证书,更别说… · 2026/11/21 6:25:28

电工证从哪里免费学,真实经历告诉你怎么转证
电工证从哪里免费学,真实经历告诉你怎么转证

电工证从哪里免费学,真实经历告诉你怎么转证 之前考的证在外省能不能转过来?这个问题我问过好几次,现在终于找到了答案。我是在河南许昌一家培训机构报名的,当时手里拿着的是江苏的电工证,想着能不能直接转过来用,结果培训老师一通解释,让我彻底明白了… · 2026/11/21 6:25:28

钳工证电工证有人挂靠保姆级教程:证书过期了不知道怎么复审延期怎么办
钳工证电工证有人挂靠保姆级教程:证书过期了不知道怎么复审延期怎么办

钳工证电工证有人挂靠保姆级教程:证书过期了不知道怎么复审延期怎么办 证书过期了不知道怎么复审延期?很多特种作业持证人可能遇到过这样的问题,尤其是钳工证和电工证,一旦错过复审时间,不仅影响工作,还可能面临罚款甚至被限制上岗的风险。如果你正在为… · 2026/11/21 6:25:28

电工证正规样本图片怎么找?学历不高也能考,考前押题帮你过!
电工证正规样本图片怎么找?学历不高也能考,考前押题帮你过!

电工证正规样本图片怎么找?学历不高也能考,考前押题帮你过! 学历不高怕报不上名?其实电工证报考门槛并不高,关键是你有没有掌握正确的备考方法。特别是现在国家对特种作业人员持证上岗的监管越来越严,像低压电工证、高压电工证这些证件,不仅关系到个人… · 2026/11/21 6:24:28

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码