首页/新闻资讯/正文详情

B站千亿级用户行为数据分析架构演进与ClickHouse实践

发布时间:2026/11/19 17:12:44 来源:云帆数科 栏目:资讯中心
B站千亿级用户行为数据分析架构演进与ClickHouse实践
1. 项目背景与核心挑战B站作为国内领先的年轻人文化社区日活跃用户数已突破9000万每天产生的用户行为数据量高达数千亿条。面对如此庞大的数据规模传统的SparkHive技术栈在实时分析和复杂查询场景下逐渐暴露出性能瓶颈。我们团队在2020年启动技术架构升级时面临三个核心挑战查询延迟问题基于Spark的离线分析任务单次事件分析需要3分钟以上漏斗分析甚至需要30分钟才能返回结果严重影响了产品运营决策效率。资源消耗困境千亿级明细数据存储导致HDFS集群存储压力巨大实时计算任务需要维持1200core的常驻资源运维成本居高不下。业务扩展瓶颈原有架构难以支持跨天留存分析、用户路径分析等复杂场景且无法与标签系统、AB测试平台实现数据打通。2. 技术选型与架构演进2.1 ClickHouse的核心优势经过对主流OLAP引擎的对比测试我们最终选择ClickHouse作为核心分析引擎主要基于以下考量列式存储优势数据压缩比可达10:1相比行式存储节省70%存储空间按列读取的特性特别适合行为分析中的聚合查询场景向量化执行引擎利用SIMD指令集实现并行计算单机每秒可处理数亿行数据特色数据结构RoaringBitmap实现高效用户分群计算原生支持漏斗分析函数windowFunnel数组函数满足路径分析需求2.2 架构的三阶段演进阶段一Lambda架构2020年Kafka → Flink → ClickHouse明细表 ↓ HDFS备份痛点实时/离线两套逻辑维护成本高千亿级明细数据存储压力大Redis维表关联成为性能瓶颈阶段二Kappa架构2021年Kafka → Flink → ↘ Iceberg聚合模型→ BulkLoad → ClickHouse ↳ 直接写入ClickHouse降级通道优化点统一实时/离线处理逻辑聚合模型使数据量减少90%引入BulkLoad降低写入压力阶段三混合架构2022年至今实时链路Kafka → Flink → ClickHouse 离线链路Hudi → Spark → Iceberg ↔ ClickHouse关键改进Hudi替代Hive实现增量更新智能路由实时查询走ClickHouse复杂分析走Iceberg资源隔离读写分离部署方案3. 核心模块实现细节3.1 高效数据导入方案BulkLoad技术实现# 数据准备阶段 spark.read.parquet(input_path) \ .repartition(200) \ .foreachPartition(write_to_ck_part) # 单个Executor处理流程 def write_to_ck_part(iter): # 调用clickhouse-local生成part文件 subprocess.run(fclickhouse-local --query fSELECT * FROM table FORMAT Native {part_file}) # 上传HDFS hdfs_client.upload(part_file, hdfs_path) # 触发FETCH PARTITION execute_sql(fALTER TABLE {table} FETCH PARTITION {part} FROM {hdfs_path})性能对比导入方式吞吐量(rows/s)CPU消耗写入放大系数JDBC直写50万高5-8xHDFS BulkLoad200万中1.2-1.5x直连BulkLoad500万低1.1x3.2 用户行为分析优化漏斗分析实现-- 原始实现全量扫描 SELECT windowFunnel(3600)(timestamp, event_type page_view, event_type add_cart, event_type payment) AS level FROM detail_table GROUP BY user_id -- 优化版本下推计算 SELECT sum(level) FROM cluster( default, view( SELECT countIf(level 3) AS level FROM local_table GROUP BY shard_key ) )性能提升查询耗时从25s降至1.8s网络传输量减少98%留存分析优化-- 使用Retention函数矩阵计算 WITH toDate(timestamp) AS day, retention( day today() - 1, day today(), day today() 1 ) AS ret FROM events GROUP BY user_id优化效果7日留存计算从分钟级降至秒级支持任意时间窗口组合分析3.3 数据重平衡策略平衡度算法实现def calculate_balance(table): node_sizes get_node_data_sizes(table) avg sum(node_sizes) / len(node_sizes) variance sum((x-avg)**2 for x in node_sizes) / len(node_sizes) std_dev math.sqrt(variance) return std_dev / avg # 变异系数作为平衡度指标重平衡效果表名平衡前平衡后迁移数据量uba_events0.620.1845TBuser_tags0.410.0912TB4. 关键问题与解决方案4.1 热点问题处理现象某些大V视频播放行为导致数据倾斜解决方案动态分片策略对热点content_id采用单独分片本地缓存在CH节点使用Redis缓存热点数据查询限流对高频访问接口实施令牌桶限流4.2 复杂属性查询挑战用户行为中的动态属性如视频标签难以高效过滤创新方案-- 创建Map类型的跳数索引 ALTER TABLE events ADD INDEX tag_map_index mapKeys(tags_map) TYPE bloom_filter GRANULARITY 3 -- 优化后的查询 SELECT count() FROM events WHERE has(tags_map, 科技) AND tags_map[科技] AI效果查询延迟降低5-8倍存储开销仅增加2%5. 实践心得与避坑指南5.1 配置调优经验关键参数merge_tree max_suspicious_broken_parts5/max_suspicious_broken_parts parts_to_delay_insert500/parts_to_delay_insert parts_to_throw_insert1000/parts_to_throw_insert /merge_tree storage_configuration disks hot path/data1/ch//path keep_free_space_bytes100GB/keep_free_space_bytes /hot /disks /storage_configuration5.2 常见问题排查问题现象Too many parts错误处理步骤检查后台merge是否正常SELECT * FROM system.merges临时调整并发度SET max_replicated_merges_in_queue 30紧急情况可强制合并OPTIMIZE TABLE events FINAL6. 未来优化方向ZOrder索引实践针对多维查询场景测试ZOrder索引对复合条件查询的加速效果智能预聚合基于查询模式分析自动生成物化视图冷热分离将历史数据自动迁移到对象存储降低存储成本在实际生产环境中我们通过这套架构实现了日均千亿级数据的实时分析能力查询性能平均提升20倍存储成本降低60%。特别在春节等流量高峰期间系统始终保持稳定运行支撑了多个重要运营活动的数据分析需求。

相关推荐

Grok AI编程助手技术解析:从原理到合规实践
Grok AI编程助手技术解析:从原理到合规实践

1. 背景与核心概念近期,SpaceXAI 对旗下 Grok 工具的大规模违规使用行为采取了严厉措施,一次性封禁超过 5 万个违规账号。这一事件在开发者社区中引发了广泛讨论,也让更多人开始关注 AI 辅助编程工具的正确使用方式。Grok 是一款由 SpaceXAI … · 2026/7/21 5:26:30

C++面向对象编程实战:封装、继承、多态三大支柱深度解析
C++面向对象编程实战:封装、继承、多态三大支柱深度解析

1. 项目概述:从“过程”到“对象”的思维跃迁今天是我们C入门系列的第五天,也是面向对象编程(OOP)这个核心篇章的收官之战。如果你一路跟过来,从变量、函数、指针,再到类和对象的基础,那么恭喜你… · 2026/9/9 17:46:53

一次GSM-R故障,看局部异常如何拖垮复杂铁路系统
一次GSM-R故障,看局部异常如何拖垮复杂铁路系统

2026年6月23日晚,德国铁路经历了一场罕见的大规模停运。当天,德国铁路用于列车司机与控制中心通信的GSM-R数字铁路通信系统发生全国性故障。出于安全考虑,客运列车被要求停靠在车站,货运列车暂停运行,全国铁路运输一度… · 2026/7/21 0:02:08

加油站没有电工证网上查询和实操考试怕挂科?老司机教你一步到位
加油站没有电工证网上查询和实操考试怕挂科?老司机教你一步到位

加油站没有电工证网上查询和实操考试怕挂科?老司机教你一步到位 实操考试心里没底怕挂科?你不是一个人在战斗。特别是像你这样在信阳的应届工程类毕业生,刚进入加油站行业,面对特种作业操作证的考试和办理流程,心里难免打鼓。特别是 加油站没有电工证… · 2026/11/19 17:12:17

潜江特种工多少钱千万别踩坑 新手怎么避开报名陷阱
潜江特种工多少钱千万别踩坑 新手怎么避开报名陷阱

潜江特种工多少钱千万别踩坑 新手怎么避开报名陷阱 你是不是也担心去哪报名怕被中介坑?特种作业操作证在潜江地区虽然不是什么新鲜事,但真正想考下来,又怕被坑,又怕花冤枉钱,又怕证书没用,这事儿确实让人头疼。特别是像你这种刚毕业的工程类学生,既想… · 2026/11/19 17:12:17

忻州定襄县电工证怎么考不白花钱?含金量全在这
忻州定襄县电工证怎么考不白花钱?含金量全在这

忻州定襄县电工证怎么考不白花钱?含金量全在这 怕考不过白交培训费,这是大多数想考忻州定襄县电工证的朋友最担心的事。特别是现在市场上培训机构鱼龙混杂,很多学员花了钱却连考试资格都没拿到,更别说拿到含金量高的证书了。今天咱们就来聊聊,忻州定襄县… · 2026/11/19 17:12:17

淄博市考电工证怎么考才不白花钱?全国通用的证书真有用
淄博市考电工证怎么考才不白花钱?全国通用的证书真有用

淄博市考电工证怎么考才不白花钱?全国通用的证书真有用 怕考不过白交培训费?淄博市考电工证的报考门槛和复习方法,其实没你想的那么难。只要你搞懂考试内容、重点章节和答题技巧,全国通用的电工证拿下来不是问题。尤其是初次报考的焦作人,更得提前把功课… · 2026/11/19 17:12:17

煤气特殊作业证怎么考网上查询不用怕被坑
煤气特殊作业证怎么考网上查询不用怕被坑

煤气特殊作业证怎么考网上查询不用怕被坑 你是不是也遇到过这种情况?拿着身份证去报名,结果被中介忽悠交了高额费用,结果证件还没拿到?现在网上查询变得越来越方便,但很多人还是不清楚煤气特殊作业证怎么考,尤其是一线从业者,比如信阳浉河区的水利工程… · 2026/11/19 17:12:17

高级运行电工证内部消息:实操考试心里没底怕挂科?这些干货帮你稳过
高级运行电工证内部消息:实操考试心里没底怕挂科?这些干货帮你稳过

高级运行电工证内部消息:实操考试心里没底怕挂科?这些干货帮你稳过 实操考试心里没底怕挂科?你不是一个人。现在考【高级运行电工证】的同行越来越多,但真正能一次通过的却不多。这背后的原因不光是你对知识点不熟悉,还有很多人对考试流程、题型分布、备… · 2026/11/19 17:11:14

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/19 16:06:02

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:25

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:32

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码