Linux系统篇38——线程（三） 线程的优缺点、数量取舍、切换成本和私有资源

本文收录于「流浪」的系列专栏Linux系统⚙️C数据结构与算法PythonLangChain LangGraph️MySQL 数据库Git 工具计算机网络AI大厂面试、八股学习筑基专栏 博客主页流浪 原创首发于 CSDN前言篇36 讲线程概念时留了两个坑私有清单怎么来的、切换开销小为什么。篇37 拆完页表CR3 和 TLB 也都认识了。线程三回来算账——线程值不值得用、要用多少、切换到底便宜在哪、私有的到底是什么。优缺点起手单进程收尾。一、线程的优点和缺点1.1 优点四条先说结论线程的便宜全部便宜在「共享」两个字上。清单收成四条每条讲清为什么。1 创建代价小进程创建要搭一整套家当地址空间、页表、文件描述符表样样从头来。线程呢地址空间是现成的只是在里面多登记一条执行流。一条线程的诞生实际就三步glibc 先取或建一个线程控制块再用mmap 映射一块栈给它最后带着「共享地址空间」的标志调clone陷入内核内核建一个轻量级进程LWP——篇36 讲过的那套这里全用上了三步里没有一步在「复制整个进程」。fork 的写时拷贝救的是物理页那一层——页面上先共享写了再复制。但页表本身、mm_struct、文件描述符表这些管理结构的副本fork 还是一套一套建。线程连这些都不建指针共享一步到位。对照着说fork 出的子进程拿到的是自己的一份家当哪怕按需复制线程拿到的是原家的钥匙——住的是同一个屋子。2 切换代价小进程切换连地址空间一起换线程切换地址空间都不碰。3占用资源少线程不另起炉灶私有的只有栈、寄存器那几样篇36 对比表列过。同样是「多干活」多开线程比多开进程轻得多——一个子线程的主要开销就是一块栈后面第四章会给它的具体尺寸。算全一点每个执行流还有内核里的 task_struct 和配套的内核栈——这是固定开销但和整套进程家当比还是轻一个量级。3 真并行还能 IO 与计算重叠多个线程分布到多个核上是物理意义上的同时跑一个线程等 IO 的时候别的线程的计算照常推进CPU 不空转。篇36 那个下载器的例子放到这里就通了收数据的线程阻塞在网络上刷进度条的线程照常在算。1.2 缺点四条代价也得摆清楚还是四条——而且每一条的根源同样是共享1 性能损失线程开得比核数还多多出来的不产生算力只产生排队和切换开销。而且排队的线程越多切换越频繁开销雪上加霜。2 健壮性降低一个线程崩整个进程跟着崩。除零、野指针触发信号信号终止的是进程所有线程陪葬——信号那套递达机制信号系列已经讲透了。篇36 讲过线程没有隔离性那一条的代价面就在这里。举个具体场面子线程除零SIGFPE 的默认动作是终止进程——不是终止那个线程。崩溃的锅是一个线程的代价是全家买单。多进程模型里崩一个进程兄弟进程毫发无损这就是健壮性差距的直观版。3 缺乏访问控制进程之间有隔离墙谁也进不了谁的地盘线程之间地址空间全共享没有权限边界可言——全局变量谁都能改别人的堆谁都能踩。方便和危险是同一件事的两面。一个线程把全局链表头改坏所有用它的线程一起完蛋——共享让「别人的 bug」变成「自己的 bug」。3 编程难度难不在写代码难在共享带来的时序问题。最典型的两个线程同时对同一个计数器减一「读出来、减一、写回去」三步之间随时可能被切走两个线程各减一次结果可能只减了一次。这种竞态怎么防是线程同步要解决的问题先把问题的根子记在这里。还有一层难在排查。线程 A 数组越界踩坏的是整个进程的堆——事后崩的可能是不相干的线程 B案发现场和作案现场隔着十万八千里。共享内存的程序难调这是经典原因。1.3 用途什么场景值得用线程一句话提高 CPU 密集型任务的效率提高 IO 密集型任务的体验。1 CPU密集型CPU 密集型的场景比如视频编码、加解密、批量计算——多线程把任务拆到多个核上并行。单线程只能占一个核四核机器上有三个空座线程把核填满四核理论上就能快接近四倍。2 IO密集型IO 密集型的场景比如爬虫、服务器、数据库访问——多线程让「等网络」和「算业务」重叠起来CPU 不空转体验和吞吐一起上去。对照一下单线程想把 IO 的等待时间填满只能走事件驱动那套异步机制多线程是最直白的解法——C 标准库都给到了 std::thread语言层面就站在这条路线上。线程不是万能药——它的好处和坏处都来自共享1.2 那四条代价别忘了。值不值看完这一篇自己就能算。这两类场景也直接决定了线程怎么开——往下看。二、线程并不是越多越好2.1 计算密集型线程数贴着核数走计算密集型任务的绝大部分时间在与 CPU 打交道——加解密、压缩、纯数值计算几乎不等 IO。判断一个任务是不是计算型就看它等待 IO 的时间占比——占比趋近于零就是计算型。这种任务线程数贴着 CPU 核数走。拿 4 核举例同一时刻最多 4 个线程真正在算。开 8 个纯计算线程多出来的 4 个不产生任何算力只产生排队和切换——账面更忙结果更慢。通行经验是核数 1多出的那一个专门顶某个线程偶尔缺页、短暂阻塞的空档让核不至于闲着。注意 1 是保险不是乘数——偶发阻塞是意外要是常态阻塞说明任务根本是 IO 型。道理记一条计算型线程的天花板是核数。2.2 IO 密集型可以适当多开IO 密集型线程大部分时间在等磁盘、等网络——阻塞着不占 CPU。判断方法对称等待占比高就是 IO 型。同一套账两个方向。给个直觉账一个请求 200ms 里 180ms 在等数据库、只有 20ms 真在算单线程的 CPU 利用率就是一成。等待占比九成意味着每 10ms 只有 1ms 在算——线程在这里就是「填空器」。开上十来个这样的线程一个线程等 IO 的空档全被别人的计算填上CPU 才算吃饱。这个账还能再算实一步100 个线程、每个计算占比一成任意时刻「同时在算」的就约 10 个——4 核的机器会有轻量排队。想把核喂饱又不至于排得太长线程数就围绕这个比例去调。当然不是无限多。每个线程一块 8MB 的栈预留4.2 给尺寸乘上线程数就是实打实的内存压力线程本身还有调度成本多开一份就多一份账单。任务类型线程大部分时间在线程数怎么定计算密集型占着 CPU 算≈ 核数通行经验 1IO 密集型阻塞等 IO适当多开等待占比越高开得越多2.3 两个反例反例一4 核机器跑 100 个计算线程。每个线程拿到的 CPU 份额被摊薄时间片变小、切换变频繁切换一次cache 和 TLB 就被冲刷一次——越忙越慢越慢越忙。算力没多一瓦开销先翻倍。反例二IO 服务只开 1 个线程。九成时间在等网络CPU 长期空转请求排队排到天荒地老——等待时间没被用起来机器是白的。反例二的正确姿势也不是加线程就完事——等 IO 的时间本身能不能省连接池、批量请求是另一个优化方向。线程数解决「填空」解决不了「空太多」。一个吃满核靠并行一个喂饱核靠填空方向完全相反——线程数不存在万能数字只存在贴合场景的数字。完整版是线程数跟着场景走——计算型贴核数IO 型看等待占比。三、线程切换比进程切换便宜在哪3.1 切换切的是上下文上下文切换这个词篇12 讲进程切换时展开过时钟中断进来内核保存当前执行流的寄存器现场恢复下一个执行流的现场接着跑。线程时代切的对象换成了 task_struct——骨架一模一样省的东西不一样。先澄清一个常见误解线程切换照样要进内核——调度器在内核里保存现场、挑选下一个执行流都是内核的活。线程切换省的不是「进内核」这一步省的是进内核之后要换的东西少。所以准确的说法是线程切换和进程切换都要进内核都要保存恢复寄存器——差距全部在「之后」。要换的东西先数一遍通用寄存器、程序计数器、状态寄存器、浮点和向量寄存器——这一套执行现场几十个寄存器进程和线程都要保存恢复谁也免不了。差距在后面两层。这几十个寄存器里最要紧的是程序计数器——它决定「从哪继续跑」其余寄存器决定「带着什么状态跑」。内核视角再看一眼调度队列排队的全是 task_struct线程和进程在这里长得一样。切换时内核做一个判断——下一个 task_struct 的 mm 指针和我相同吗相同同进程线程地址空间整套跳过不同跨进程才走换 CR3 那一串。线程切换的便宜就落在这个判断上。这个判断便宜到什么程度——一次指针比较。但它背后省掉的是整套地址空间切换的连锁动作。3.2 地址空间不用换第一层差距在地址空间。进程切换必须换页表——CR3 一写整套映射体系全换篇37 讲过换 CR3 还会连带翻译缓存作废。写 CR3 是一条指令的事但作废的是成千上万条 TLB 缓存——一条指令的代价不在指令本身。同进程的线程共享 mm_struct、共享页表CR3 根本不动。CR3 不动TLB 就不用作废——地址翻译的缓存原样有效切过去的线程接着用一页都不用重查。为什么 CR3 一动 TLB 就得作废——TLB 缓存的是「虚拟页号到物理页框」的翻译结果它的有效前提是页表没换过页表一换旧翻译全部失去信用只能清掉重来。现代 CPU 的 PCID 能给进程切换的 TLB 全刷缓解一点——PCID 给 TLB 条目打上地址空间编号换进程时可以不清、靠编号区分。但它救不了换地址空间要重新热 cache 这件事——差距依然在。3.3 cache 还是热的第二层差距在cache。线程 A 刚执行过的代码、刚碰过的数据和线程 B 用的是同一套地址空间——B 上场时这些内容大概率还留在 cache 里。直接命中不用去内存重新搬——这就是省的部分。能接住这件事的另一个帮手是局部性原理篇37 讲低 12 位时用过程序刚访问过的地址很快还会再访问。局部性有两副面孔——刚访问过的地址很快还会再来是时间局部性刚访问过的地址旁边很快被摸到是空间局部性。线程切换的短间隔正好让时间局部性把热数据接住。进程切换就完全是另一番景象地址空间整个换掉旧 cache 内容对新进程基本作废新进程头一段时间的访存都在往 cache 里重新灌数据——冷启动。量级上感受一下cache 命中的访问和访问内存差着一到两个数量级冷启动错过的每一笔都在付这个差距——切换一频繁差距直接吃进总时间。更细一层进程切换后的头一小段时间TLB miss 和 cache miss 会集中爆发——旧翻译全作废热数据全不在。这段窗口就是换地址空间交的税同进程线程切换一分不交。多核上还有一层硬件兜底线程分布在不同核各自有各自的 cache同一地址的修改靠硬件一致性协议对齐对程序透明。但协议对齐的是单次访问两步操作之间的中间态它不负责——count-- 那种竞态依然要在软件层解决。补一句严谨的cache 热这个优势的前提是两个线程干的活相近、用的数据相近两个线程八竿子打不着cache 照样互相冲刷。便宜的基础是共享不是切换本身。3.4 一笔完整的账把两层差距并成一张表进程切换和线程切换的账目一目了然动作进程切换同进程线程切换保存/恢复寄存器现场要要一样不少换页表写 CR3要不用TLB 作废要PCID 可缓解不用cache大面积冷基本还热换 fd 表、信号处理表等资源映射随地址空间一起换共享不用换结论一句话寄存器现场谁都躲不掉线程切换省掉的是它后面那一串。下次有人问线程切换为什么便宜按这张表从上往下数——第一行谁都躲不掉往下每一行都是省出来的。四、线程私有的到底是什么篇36 列过私有清单栈、上下文、线程 ID 这几样还留了句话——清单怎么来的4.1 从「调度单位」推出来的寄存器先立一个视角线程是一个动态的概念。task_struct、地址空间、代码躺在那里不动都是静态的描述线程是正在被调度执行的那条控制序列——它「活着」是因为调度器在保存它、恢复它、运行它。进程的视角是「资源怎么分」线程的视角是「活怎么干」——分配资源的时候想进程指派任务的时候想线程。两个词各管一半单进程是两半的重合。篇36 的结论线程是调度的基本单位。调度的基本单位就是被保存和恢复的基本单位——每个线程执行到哪条指令、寄存器里是什么值各不相同。所以一组寄存器执行现场必须私有。私有清单的第一样从「调度」两个字直接推出来。推到底层也说得通调度器保存恢复的就是寄存器组而这些现场在内核里就挂在执行流自己的 task_struct 上——私有的本质是这些字段本来就在线程自己的结构里。4.2 独立的栈主线程和子线程还不一样第二样是栈。线程的执行体现为一条条函数调用链返回地址、局部变量、被调用方要用的寄存器保存区全压在栈上。两条执行流共用一个栈两串调用链会互相覆盖。而且递归深的线程会把栈撑得很大共用的另一条直接遭殃。所以工作台必须独享即栈必须一人一份Linux 里主线程和子线程的栈来源还不一样主线程栈进程一创建就有在地址空间的栈区按需增长涨到上限为止子线程栈由 pthread 库用 mmap 预先映射好一块大小预先固定——glibc 默认 8MB受 ulimit -s 影响用尽即尽不能动态增长为什么子线程栈要预先固定因为库要在虚拟地址空间里给它挑一个确定的位置mmap 一次到位——它没有内核那种「按需加页」的待遇。位置上也有讲究多个子线程的栈由库在 mmap 区域挨个安排彼此之间还隔着 guard page——一家着火不至于烧到隔壁的栈。子线程栈的末尾还垫着一页guard page守护页权限设成不可读写。栈溢出一碰到它立刻段错误——宁可当场崩也不让越界写悄悄弄脏别的内存。8MB 是虚拟地址空间的一次性预留真用到才分配物理页篇37 讲过的按需分配。但它乘上线程数就不再是小数——线程不是免费的这是「不是越多越好」的又一层原因。顺带一个细节线程退出后它的栈不会立刻还给内核——glibc 会把这块栈缓存起来下一个新线程直接复用省掉反复 mmap 的开销。栈是线程最贵的家当库替你省着用。4.3 errno、信号屏蔽字、调度优先级篇36 那份清单没点全剩下三样这里补齐各一句话errno库函数出错不设全局 errno错误码走返回值——如果 errno 是全局的一个线程刚查完就被另一个线程覆盖错误码全乱套所以它必须线程私有信号屏蔽字每个线程可以各自屏蔽不同的信号A 屏蔽了不代表 B 也屏蔽调度优先级调度按执行流给优先级是线程自己的属性errno 再拆开看一眼glibc 里它根本不是全局变量宏展开是一次函数调用返回当前线程自己那份错误码的地址。每线程一份靠的机制叫线程局部存储——errno 是这套「每线程一份」机制的招牌应用。信号屏蔽字也展开一点信号的处理方式是进程一份、全体共享屏蔽字是线程一份、各自设置——一全局一私有正好对上 4.4 那张表的划分。同一个信号线程 A 屏蔽了、线程 B 没屏蔽它照样能打断 B——屏蔽是各人的伞不是全家的伞。调度优先级为什么跟线程走——3.1 说过调度队列里排的全是 task_struct优先级是排队时的权重自然属于执行流自己。再加上线程 ID篇36 讲过的 TID私有清单齐了。每一样的「为什么」都能从「线程是调度的基本单位」推出来——这就是篇36 留的坑的答案。4.4 共享与私有一张表收拢私有的五样之外全是共享的。把两侧并成一张表归属内容共享跟着进程走地址空间代码、全局数据、堆、页表、文件描述符表、信号处理方式、当前工作目录、用户 ID私有跟着执行流走一组寄存器现场、栈、errno、信号屏蔽字、调度优先级、线程 ID判断标准就一条跟着执行流走的必须私有跟着容器走的全部共享。fd 表为什么归在共享侧——fd 是「进程打开的文件」的编号跟着容器走。一个线程 accept 返回的 fd另一个线程拿来直接读写毫无障碍——线程写服务器的根基就在这。进程之间 fd 各归各的表想共享得走专门的传递机制线程这里一个整数就够。拿 errno 和 fd 表把判断标准自测一遍errno 跟着执行流的报错走私有fd 表跟着容器走共享——两秒钟判断完清单不用背。五、单进程就是只有一个执行流的进程最后收个尾巴两句看似平淡的话。一切进程至少有一个执行线程。进程是资源容器容器里总得有一条执行流在跑代码——没有执行流的容器就是个躺在那不动的空壳。另一面也成立最后一条线程退出进程就结束——exit 那一刻走的是容器里最后那条流。这也解释了「主线程」是什么进程创建时自带的那条执行流main 函数就跑在它的栈上4.2 说的主线程栈。也就是说从学 C 语言写下的第一行 main 开始你就一直跑在一条线程上——线程不是新东西是你一直在用的东西的正式名字。单进程就是只有一个执行流的进程。它是线程数等于 1 的特例容器没变只是里面只跑一条流。多线程进程不过是往同一个容器里多加了执行流。到这里线程和进程缝上了。Linux 里每个执行流都是一个 task_struct篇36 讲的 LWP——「进程」和「线程」在这套模型里本来就是同一种东西的不同叫法单进程就是两者之间的桥。篇36 讲过Linux 不给线程单独设计结构直接用进程的 task_struct 模拟。当时是当实现选择讲的现在能看清更深一层——容器和执行流本来就是两个正交的维度资源指针共享就是同容器调度实体独立就是各执行流一个结构把两个维度全装下了。单进程就是两个维度重合的特例。编号上也有印证单线程进程的 TGID 和 PID 相等篇36 讲过的那组编号——组里只有一号就是它自己。多线程进程组里才有了二三四号。这个视角落到写代码上就是选型直觉要隔离、要稳定多进程崩一个不连坐要共享、要效率多线程——把第二章的账和这里的账合起来看。第二章管「开多少」这里管「要不要开」。还有一个角度是通信成本多进程交换数据得走通信系列那一整套 IPC多线程读的是同一块内存变量赋值就完事。共享是线程的天然红利也是它的天然风险——怎么防住风险线程同步后面专门处理。六、全篇总结四笔账收拢值不值得用优点创建/切换代价小、占用资源少、真并行、IO 与计算重叠对缺点性能损失、健壮性差、缺乏访问控制、编程难度高——共享带来效率也带走隔离优缺点同一个根源count-- 那三步就是风险标本用多少计算密集型贴核数通行经验 1IO 密集型看等待占比适当多开——越多越好是误会8MB 的栈乘上线程数也不是小数切换为什么便宜寄存器现场谁都躲不掉省的是换页表CR3 不动、TLB 不作废和 cache 冷启动——内核里一个 mm 指针的判断就见分晓便宜在共享私有的是什么寄存器、栈、errno、信号屏蔽字、调度优先级、线程 ID——全从「线程是调度的基本单位」推出来子线程栈 mmap 预固定 8MBguard page 兜底单进程收尾进程是容器执行流至少一条。这篇没有一行代码但每一条结论都能在下一篇找到着落——pthread_create 怎么把执行流造出来、怎么等它、怎么终止它一一兑现。七、文末面试题7.1 推导题(按本讲知识点,附答案)先自己想再看答案——答案都用本章的账推不引入新知识。【推导】线程的优点和缺点各有哪些答:优点——创建/切换代价小、占用资源少、可真并行、IO 与计算重叠缺点——线程过多有性能损失、健壮性差一个线程异常整个进程退出、缺乏访问控制、编程难度高。优缺点根源相同共享地址空间。【推导】线程私有的资源有哪些为什么是这些答:一组寄存器调度单位要保存/恢复现场、独立的栈函数调用链私有、errno、信号屏蔽字、调度优先级各线程可各自设置。【推导】线程共享的资源有哪些答:地址空间代码、全局数据、堆、页表、文件描述符表、信号处理方式、当前工作目录、用户 ID——跟着容器走的全部共享。判断标准跟执行流走的私有跟容器走的共享。【推导】主线程栈和子线程栈有什么区别答:主线程栈在栈区、按需增长有上限子线程栈由 pthread 库 mmap 预先固定glibc 默认 8MB、受 ulimit -s 影响、不能动态增长末尾 guard page 让溢出当场段错误。【推导】为什么说一个进程至少有一个线程答:进程是资源容器代码总要有一条执行流来跑主线程是进程自带的单进程就是「线程数1」的特例多线程只是往同一容器里加执行流。【推导】为什么线程创建比进程创建快得多答:进程要建地址空间、页表、fd 表一整套家当线程的地址空间现成只需建控制块、mmap 一块栈、带共享标志调 clone——不复制任何「家当」。【推导】为什么一个线程出异常整个进程都会退出答:异常触发信号如除零的 SIGFPE、野指针的 SIGSEGV信号处理主体是进程默认动作终止整个进程所有线程陪葬——地址空间共享没有隔离墙可挡。【推导】线程和进程怎么选答:要隔离、要稳定选多进程崩一个不连坐代价是创建/切换/通信开销大要共享、要效率选多线程通信零成本代价是没有隔离、要靠同步互斥兜底。IO 与计算重叠、计算并行化是线程的典型收益场景。【推导】子线程的栈为什么不能像主线程栈那样按需增长答:主线程栈由内核按缺页机制增长子线程栈是 pthread 库用 mmap 一次映射到位库要在地址空间里给它挑定位置、垫好 guard page依赖不了内核按需加页——8MB 是虚拟预留真用到才给物理页。【推导】「线程是一个动态的概念」怎么理解答:task_struct、地址空间、代码都是静态的描述线程是正在被调度执行的那条控制序列它的「活着」体现为调度器对它保存、恢复、运行。私有清单全部从「动态、被调度」这个属性推出来。7.2 真题(来源已核实,转述注明)合适的线程数量是多少CPU 核心数和线程数的关系答:CPU 密集型 ≈ 核数通行经验核数1防某个线程偶发阻塞时 CPU 空转开多了只剩切换开销反而变慢IO 密集型可远大于核数等待时不占 CPU通行公式 Ncpu×(1等待时间/计算时间)工程上最终靠压测定。【真题·转述自 51CTO 博客《面试题:合适的线程数量是多少?CPU 核心数和线程数的关系?》题库型,未标注具体公司】多线程一定比单线程快吗答:不一定。IO 密集型任务多线程能把等待时间填上通常更快CPU 密集型任务线程数超过核数后只剩切换开销反而更慢多线程共享数据还要加锁锁竞争本身也是成本。先分清任务是计算型还是 IO 型再谈快不快。【真题·转述自 CSDN 博客《吃透进程与线程:从概念到实战,破解并发编程核心难题》 优缺点的账、线程数的账、切换的账、私有的账——四笔账算完线程的性价比心里有数了。单进程那句话把进程和线程缝成了一种东西的两个名字。你之前写的代码里踩过哪个坑评论区聊聊。觉得有收获点个赞再走。