从Hello程序到进程：编译链接、虚拟存储与I/O全链路梳理

简介面向计算机系统课程学习者的哈工大CSAPP大作业文档选题为「程序人生——Hello的P2P」适合正在准备课程报告、复习底层机制的高校学生对照参考。内容以hello程序的生命周期为主线依次梳理预处理、编译、汇编、链接四个阶段如何把源文件变成可执行文件并延伸至进程管理、信号与异常、内存与地址空间、I/O管理等运行时环节配合Ubuntu下的clang、as、ld等命令以及hello.i、hello.o、ELF可重定位目标文件等中间结果逐项解析。压缩包内共1个doc文件约6.44MB正文按章编排含摘要、目录与各章小结层级清晰便于按知识点检索。已有358人学习。读者可从中了解一份完整大作业的组织方式与论证深度对照其中的实验命令、结果分析与结论表述快速搭建自己的分析框架减少在编译链接细节和运行时机制上反复摸索的时间。1. 一条从源码到进程的链路串起了八块知识一个只打印两行字符的小程序从.c源文件到进程结束被内核抹掉横跨了计算机系统这门课几乎所有主干预处理、编译、汇编、链接、进程与信号、虚拟存储、I/O。以 Hello 的一生为主线做系统梳理真正值钱的不是让它跑起来而是把每一站的输入输出、中间文件格式、每次地址变换固定下来。梳理下来会发现整条链路是两条线Program to Process从源码到进程离线、看文件Zero to Zero进程被创建、执行、回收在线、看内核动作。前一条线用工具验证结果后一条线用观察验证推断。适合已经学过一轮、正把零散知识点串成网的人也适合考前拿它当索引按图回到细节而不是从第一页重新读。2. 编译四站从 hello.c 到 hello 的文件链与重定位四站流水线有一个共同的便利每一站都留下一个能用工具打开的文件。源文件是一份文本预处理后是更长的文本编译后是汇编文本汇编后是二进制目标文件链接后是能直接交给操作系统的可执行文件。复习这条链最有效的方式是拿这五份文件互相对照看清楚哪些信息在哪一站被消掉、哪些地址在哪一站被填上。很多人写这段时只会背诵四个阶段名一旦被问「.o为什么不能直接跑」「重定位表到底记了什么」就会卡住。# 四站分开走把每一站的中间产物都留下来 gcc -E hello.c -o hello.i # 预处理只做文本层面的展开与替换 gcc -S hello.i -o hello.s # 编译翻译成 x86-64 汇编 gcc -c hello.s -o hello.o # 汇编打包成可重定位目标文件 gcc hello.o -o hello # 链接拼成可执行目标文件四个参数分别对应四个阶段-E到预处理就停-S到汇编就停-c到目标文件就停不加限制则一路走到链接。中途任何一步报错先看报错信息里给的行号来自哪份文件预处理阶段的行号是.c的编译阶段的行号来自.i里的#line标记这样才不至于拿着一份三千行的中间文件找那句写错的printf。2.1 预处理3065 行里真正属于你的是最后二十行预处理器只做文本替换不检查语法。它把#include指定的文件原地复制进来把头文件里再套的头文件也递归展开把#define定义的符号换成实际值按#if系列的条件决定哪一段参与后续编译顺手把注释吃掉再插入#line标记告诉编译器「下面这些行原本来自哪个文件第几行」。这就是为什么一份二十来行的源文件预处理后能膨胀到三千多行而你写的那几行挤在文件末尾前面全是标准库的声明和宏展开。# 两种等价写法前者由 gcc 驱动调用 cpp后者直接调预处理器 gcc -E hello.c -o hello.i cpp hello.c hello.i # 只导出宏定义用来确认某个宏最终被展开成什么 gcc -E -dM hello.c | grep -i stdio-dM的作用是只输出宏表不输出代码排查「明明定义了却没用上」这类问题很快。预处理阶段最常见的失败是头文件路径找不到报错关键词是 no such file or directory此时加-I指定搜索目录另一类是宏展开后代码结构变了形比如少写括号导致运算优先级被拆散这时把.i打开定位到原程序对应的那几行直接看展开结果比在源文件上猜要快得多。2.2 编译五个阶段走完才得到 .s编译是从预处理后的文本到汇编文本的过程内部还分五步词法分析把字符流切成记号语法分析把记号序列组织成语法树并产出中间表示与符号表语义检查核对类型与静态属性优化在等价前提下减少时间或空间开销目标代码生成把中间代码落到具体指令集上。前两步发现的错误是语法错误第三步发现的是类型错误这三类错误都在这一站报出来.s文件根本不会生成。# 指定优化等级不同等级下生成的汇编会明显不同 gcc -S -O0 hello.i -o hello_O0.s gcc -S -O1 hello.i -o hello_O1.s-O0关优化代码几乎逐句对应源码变量都落在栈上适合逐条对照-O1起会做寄存器分配、常量折叠、库函数替换栈帧和指令数都会变。写这类报告时务必把自己用的等级写清楚否则「为什么这里少了一次内存访问」会被追问。编译这一站只做翻译不做地址绑定所以.s里对外部符号的引用仍然只是一个名字跳转目标也还是.L2、.L4这种汇编器认识的局部标签。2.3 汇编.o 里已经有机器码但还不能执行汇编器把每条汇编指令编码成机器指令把结果打包成可重定位目标文件。可重定位三个字是关键文件里的地址栏大多是空的或者只是相对于本节起点的偏移因为汇编器不知道最终这个模块会被放在虚拟地址空间的哪个位置。用 readelf 能把这份二进制拆开看。# 一次导出全部信息方便检索 readelf -a hello.o hello.elf # 分别看文件头、节头表、重定位表、符号表 readelf -h hello.o # 类型是 REL说明是可重定位目标文件 readelf -S hello.o # .text/.rodata/.data/.bss/.symtab/.rela.text readelf -r hello.o # 重定位条目链接器要改哪些位置、改成什么节头表里最值得盯的是几个区.text放指令.rodata放只读常量.data放已初始化的全局和静态变量.bss放未初始化或初始化为零的变量且不占文件空间.symtab是符号表.rela.text是代码段的重定位表。重定位条目通常长这样偏移量给出「要修改的位置距本节起点多远」类型说明「按哪种规则算地址」符号给出「要填进去的是谁」。这就是链接器干活时逐条核对的清单。2.4 链接符号解析加地址重定位把空位填上链接器做两件事符号解析把每个模块引用的符号和定义它的模块对上重定位把目标文件里那些待填的位置按最终布局算出真实地址写回去。做完之后各个目标文件的同类节被合并按页对齐排布形成可执行文件的段。此时入口不是main而是启动代码里的_start由它去调用 C 库的运行环境再由运行环境调用main。# 反汇编可重定位目标文件观察 call 后面的目标 objdump -d hello.o | grep -A2 call # 反汇编可执行文件同样的调用位置已经变成具体地址 objdump -d hello | grep -A2 call在.o里跨模块调用的目标往往只是下一条指令的地址甚至是 0因为链接器还没介入链接之后同样的位置变成了指向 plt 表项的地址。静态链接会把用到的库代码整段搬进可执行文件体积大但运行时不依赖外部动态链接只留下跳板运行时由动态链接器把共享库映射进来并填好地址体积小但启动多一步。两种方式的选择不改变程序语义改变的是文件大小、加载过程和可移植性。提示中间文件的格式归属要按实际输出写别按印象写。file hello.o和readelf -h的结果是最硬的证据。文件产生阶段格式能否直接运行hello.c编写文本否hello.i预处理文本否hello.s编译汇编文本否hello.o汇编可重定位目标文件否地址未定hello链接可执行目标文件能交给操作系统3. 机器级代码hello.s 里的数据、条件码与函数调用汇编文件是整条链上唯一一份人还能通读的文件所以它承担了最多的解释任务。读它要抓住三条线索数据放在哪里条件怎么判定函数怎么被调起来。抓住这三条几百行汇编就能压缩成一张结构图抓不住就会陷进寄存器名里出不来。下面按这三条线索拆开看重点放在编译器做了哪些你从源码上看不见的选择。3.1 汇编指示与数据落座以点开头的名字不是指令助记符不会被翻译成机器码它们是给汇编器的指示也叫伪操作声明源文件名、声明代码段开始、声明某个符号全局可见、声明对齐方式、声明后面是字符串还是长整型。把这些指示看懂了才知道哪段数据属于哪一类。指示含义在本例中的落点.file声明源文件记录 hello.c.text代码段开始全部指令.globl符号全局可见main.data已初始化数据段字符串与全局变量.rodata只读数据段常量和字面量.align地址对齐指令与数据按边界摆放.string字符串常量提示语与格式串.size / .type符号大小与类型标记 main 是函数数据分三类。字符串在源程序里出现两处一处是用法提示一处是带两个格式符的输出模板它们以字节序列存放非 ASCII 部分按 UTF-8 编码占多个字节整体落在常量区里。整型大部分以立即数形式直接嵌在指令中只有需要长期存在或取地址的才占内存一个是全局的整型变量占四个字节另一个是循环计数变量作为局部变量落在栈帧里位置是帧基址减去一个小偏移量。数组是指针数组每个元素是一个八字节指针元素之间相差八于是就出现了「基址减三十二」这类访问方式第一个元素在最低地址往后依次加八。/* 隐式类型转换发生在编译期浮点常量被截断后存入整型变量 */ int sleepsecs 2.5; /* 实际存进去的值是 2 */这段代码最容易被读错。赋值的右值是浮点常量左值是整型编译器在编译期完成转换规则是截断而非四舍五入所以存进去的是 2 不是 3。全局且已初始化的变量通常进数据段或者只读数据段具体落哪一段与编译器版本、优化等级都有关写的时候以readelf -S的实际输出为准别凭印象指定。3.2 控制转移cmpl 与 je/jle 靠条件码说话条件判断在机器层面没有「if」这种东西只有比较加跳转。比较指令做一次减法但结果不写回只用来设置条件码寄存器里的标志位结果为零则零标志置位结果为负则符号标志置位有溢出则溢出标志置位。后面的跳转指令按不同组合读这些标志决定跳还是不跳。cmpl $3, -20(%rbp) # 计算 argc - 3只设标志位不保存结果 je .L2 # 零标志置位说明 argc 3跳过 if 体 ... cmpl $9, -4(%rbp) # 计算 i - 9 jle .L4 # 小于等于则跳回循环体等价于 i 10这段要注意两件事。第一ATT 语法的操作数顺序是源在前、目的在后cmpl $9, -4(%rbp)算的是内存里的值减 9反过来写含义就变了。第二源码里的i 10被编译成了和 9 比较、小于等于则跳转看上去绕了一下实际是编译器把「小于上界」等价变换成「小于等于上界减一」少一次额外的边界计算。判断条件被反转、跳转目标互换是读汇编时最常见的困惑来源遇到看不懂的跳转先确认它是「条件成立时跳」还是「条件不成立时跳过整个块」。3.3 调用约定、栈帧与 PLT 跳板函数调用有一套约定前六个整型或指针参数依次放进六个通用寄存器多余的参数压栈返回值放在累加寄存器调用指令先把返回地址压栈再跳过去被调用方用帧基址寄存器标出自己栈帧的起点用减帧基址的方式给局部变量腾地方返回前把栈指针恢复、弹出旧帧基址、再弹出返回地址。这套动作在汇编里就是固定几行认熟了就能一眼切分函数边界。call putsPLT # 经由 PLT 跳转第一次调用时由动态链接器解析 movl $1, %edi # exit 的第一个参数 call exitPLT movl -4(%rbp), %edi # sleep 的参数取自全局变量 call sleepPLT call getcharPLT带 PLT 后缀的调用说明这个符号来自共享库程序里留的只是一条跳板首次执行时跳到动态链接器去解析真实地址并写回全局偏移表之后再调用就直接走表里的地址。同一份源码里两次输出一次走的是 puts一次走的是 printf原因是前者只有一个不带格式符的常量串且以换行结尾编译器把它换成了更轻的版本后者带两个格式符必须走格式化流程。这一点在写报告时如果写反了等于暴露没看反汇编。3.4 main 不是起点argc 和 argv 是谁摆好的main从来不是进程的第一条指令。可执行文件的入口是启动代码它从栈上取出内核摆好的参数个数与参数向量再交给 C 库的运行环境运行环境做完初始化后调用main并把参数按调用约定放好。所以argc从第一个参数寄存器来argv从第二个参数寄存器来这一点在汇编里看得清清楚楚比较的是第一个寄存器里的值取数组元素时用的是第二个寄存器存的基址。返回值的处理也有讲究。main里写return 0和写exit(0)效果看起来一样过程不同前者返回到调用者由运行环境再走退出流程后者直接进入退出流程会触发注册过的退出处理函数、冲刷标准库缓冲区。命令行参数少于预期时程序打印用法提示并以非零码退出这个非零码最终会被父进程通过等待调用取到成为 shell 里$?的值。4. 运行期全景进程、存储与 I/O 如何咬合静态的链走完程序还是一个躺在磁盘上的文件。一旦在终端里敲下回车三条线同时开始动进程管理负责造出一个执行实体存储管理负责给它一片看起来连续、实际分散的地址空间I/O 管理负责让它的输出最终落到终端上。这三条线不是并列的而是互相嵌套进程创建时要建地址空间地址空间里的代码段要按需调页缺页处理又要读写磁盘。把嵌套关系理清楚比单独背三章概念有用得多。4.1 从 shell 到 execve进程是怎么被造出来的shell 本身就是一个循环打印提示符、读一行、解析成命令和参数、然后决定怎么执行。对于外部命令它先调用 fork 造出一个几乎一模一样的子进程子进程再调用 execve 把新程序加载进来覆盖自己父进程则调用等待接口守着等子进程结束后回收并取回退出状态。/* shell 执行一条外部命令的骨架省略了错误处理 */ pid_t pid fork(); /* 返回两次父进程拿到子进程号子进程拿到 0 */ if (pid 0) { execve(path, argv, envp); /* 成功则不返回当前进程映像被整体替换 */ _exit(127); /* 走到这里说明加载失败 */ } waitpid(pid, status, 0); /* 父进程阻塞等待回收僵尸态 */加载过程分四步先删掉当前进程用户空间里已有的区域结构再为新程序的代码、数据、未初始化数据和栈建立私有区域全部标成写时复制其中未初始化区映射到匿名文件且长度为零起始然后把共享库映射到共享区域最后把程序计数器设成新程序代码区的入口。四步做完同一个进程号下跑的已经是另一个程序这也解释了为什么 execve 成功时不会返回。4.2 异常与信号Ctrl-C 不只是「退出程序」异常按来源和可恢复性分四类中断由外部设备异步触发处理完继续执行下一条陷阱是有意为之系统调用就属于这一类故障指当前指令执行失败但可能可修复缺页就是典型终止则不可恢复只能杀掉进程。信号是内核或其他进程发给进程的软件通知本质是把异常机制借来用。终端的组合键背后就是信号中断键发的是 SIGINT默认动作是终止挂起键发的是 SIGTSTP默认动作是停止可以用继续信号恢复。/* 注册处理函数时用 sigaction 比 signal 更可控 */ struct sigaction sa; sa.sa_handler handler; /* 处理函数里只做标记不做复杂逻辑 */ sigemptyset(sa.sa_mask); /* 处理期间屏蔽哪些信号这里不屏蔽 */ sa.sa_flags SA_RESTART; /* 让被中断的慢速系统调用自动重启 */ sigaction(SIGINT, sa, NULL);有两个细节最容易被忽略。一是 SIGSTOP 和 SIGKILL 既不能被捕获也不能被忽略所以别指望写个处理函数去拦它们而 SIGTSTP 是可以捕获的。二是处理函数运行在被打断的上下文里只能调用异步信号安全的函数在里面打印调试信息可能死锁。另外睡眠类函数被信号打断时会提前返回剩余秒数如果直接把返回值丢掉就会误以为睡够了。4.3 地址变换三段段式、页式、TLB 与 Cache程序里用的是逻辑地址由段选择符加段内偏移组成。段式管理先把选择符查表得到段基址加上偏移得到线性地址页式管理再把线性地址切成页号加页内偏移用多级页表逐级查到物理页框号拼接后得到物理地址。多级页表的每一级各取若干位做索引最后剩下的低位是页内偏移这种切法让页表本身可以按需分配不必常驻。转换结果会缓存到转译后备缓冲器里命中就不用再走页表。物理地址拿到之后还要经过缓存层级。一级、二级、三级缓存容量依次变大、速度依次变慢命中就省掉访问主存的几百个周期。这里的顺序不能混先地址翻译再缓存查找翻译本身也可能触发访存所以一次逻辑地址到数据的完整路径可能包含多次内存访问。注意反汇编和 readelf 里看到的地址是链接时分配的虚拟地址不是物理内存位置。把两者混为一谈是这类报告里最常见的硬伤。4.4 缺页故障与 malloc 的边界缺页是「故障」类异常处理完会重新执行引发故障的那条指令。处理流程大致是硬件把出错的线性地址写进特定寄存器并陷入内核内核检查这个地址是否落在某个合法区域内不合法就发段错误信号合法但页面不在内存就选一个牺牲页写回、读入所需页、更新页表返回后重新执行指令。写时复制的实现也靠这一套fork 之后父子共享物理页并全部标为只读任何一方写入都会触发保护性故障内核此时才真正复制一份。动态存储分配位于用户空间的高地址一侧。小块内存通过调整堆顶指针分配大块内存直接建立新的映射区域释放时未必立刻还给操作系统可能只是挂回空闲链表留给下次复用。这解释了为什么程序释放了大量内存之后常驻内存占用不降反升分配器更在意复用效率而不是立刻归还。4.5 Unix I/O 与 printf/getchar 的两层缓冲操作系统对外只暴露一组字节流接口打开得到文件描述符读把字节搬到缓冲区写把缓冲区字节送出去关闭释放描述符。标准输入、标准输出、标准错误默认占用前三个描述符。标准库在这层之上又加了一层缓冲格式化输出先写进用户态缓冲区缓冲区满、遇到换行行缓冲或显式冲刷时才调用写接口。/* 这句没有换行且输出被重定向到文件时是全缓冲可能迟迟看不到 */ printf(Hello); /* 数据停在用户态缓冲区里 */ fflush(stdout); /* 显式冲刷强制走到 write 系统调用 */字符输入函数看起来是「读一个字符」实际底层一次读入一整块再逐个交付所以它的开销远小于每次真的走一次系统调用。反过来如果混用标准库函数和直接的文件描述符读写缓冲区里没冲刷的数据可能被后面的直接读打乱顺序输出顺序和预期不一致多半是这个原因。5. 易漏点盘点五处最容易写错或漏掉的细节这条链路上的坑有一个共同点它们都不影响程序跑起来只影响解释对不对。程序照样输出两行字报告里的因果却说反了。下面五处是梳理时反复对不上的地方每处按「错在哪、为什么会漏、怎么补」写一遍方便自查。5.1 易漏点一整型变量的初值与段归属想当然看到2.5赋给整型很多人第一反应是「浮点数存进整型变量」接着就写成「运行时发生转换」。实际上这是编译期完成的隐式转换规则是截断存进去的是 2。第二层错误在段归属已初始化的全局变量到底在数据段还是只读数据段与编译器版本和优化选项都有关凭经验写某一段很容易翻车。为什么漏教材例子和实际编译产物并不总是一致抄结论比验证结论省事。怎么补用节头表加符号表定位readelf -S看有哪些节readelf -s看这个符号落在哪个节的第几号两边一对就定了。再补一句转换规则的说明别只写结果。5.2 易漏点二以为源码写的是 printf汇编里就一定是 printf同一份源码里的两次输出可能一次编译成对 puts 的调用一次编译成对 printf 的调用。区别在于字符串是否只含字面量、是否以换行结尾、有没有格式符无格式符且以换行结尾的常量串编译器会换成更轻的输出函数省掉格式解析。这个替换与优化等级、编译器实现都有关系不能当成必然。为什么漏只对着源码解释汇编没有回头核对符号名。怎么补反汇编后把调用点逐个标出来objdump -d hello | grep -E printf|puts出现几次、分别对应哪一行写成对照表。报告里把编译配置一并写清楚结论才站得住。5.3 易漏点三把可执行文件里的地址当成物理地址反汇编里出现的那些十六进制地址是链接阶段按虚拟地址空间布局分配好的虚拟地址进程运行时还要经过地址翻译才落到物理内存。把两者混起来会写出「程序被加载到 0x400000 这个物理位置」这种句子。为什么漏地址看起来是一个具体数字很像「真实位置」而地址翻译那一章是分开学的没和链接串起来。怎么补画一条链链接时确定虚拟地址加载时建立映射访问时经段式与页式翻译缓存命中后取数。每一环标注「谁决定的」物理地址那一环的答案永远是运行时由页表决定不是文件里写死的。5.4 易漏点四以为 fork 会把父进程内存整份复制fork 之后父子进程的地址空间内容看起来一样于是很容易写成「复制了一份内存」。实际复制的是页表与区域结构物理页共享且被标为只读任何一方写入才触发保护性故障内核此时复制那一页。这个机制让 fork 加 execve 的组合几乎没有多余开销因为子进程马上就整体替换掉了。为什么漏观察到的现象父子内容相同和机制写时复制不是一回事只描述现象就会写错因果。怎么补把 fork 之后、execve 之前、execve 之后三个阶段的内存映射状态分别写清楚谁和谁共享、哪些区域被删除重建一句话一个状态别混着说。5.5 易漏点五信号与异常混为一谈停止信号张冠李戴异常由处理器在执行指令时检测到并触发信号由内核或其他进程发出两者共用一套传递和处理机制但来源不同写的时候不能互换。终端上的挂起键发的是可捕获的停止信号而不受阻塞的强制停止信号既不能捕获也不能忽略把这两个搞反处理函数的行为就解释不通。为什么漏教材里异常与信号放在同一章讲术语挨得近加上组合键的实际效果看起来都是「程序停住」。怎么补按「来源、同步还是异步、可不可捕获、默认动作」四列做一张小表把常见的几个信号填进去填不出来的回去查手册。处理函数里只做标记、不在里面做复杂操作这一条也顺手写上。6. 复习清单八个模块的自测题与回归路径复习这类内容最怕从头再读一遍效率极低。更划算的做法是拿一组问题自测答得上就跳过答不上再顺着对应的中间文件回去补。下面这张表按模块列了自测问题和回归路径遮住右列先自己答一遍能答出七成以上基本就可以放下这条链了。模块自测问题答不上时看什么预处理头文件展开、宏替换、条件编译分别改了哪部分文本预处理后的中间文件首尾对照编译五个子阶段各自产出什么、哪类错误在这一站报汇编文件与源码逐段对照汇编可重定位的「可重定位」指什么、重定位表记了哪三样节头表加重定位表链接符号解析与重定位各解决什么问题、入口为何不是 main目标文件与可执行文件的反汇编对比机器级代码条件码由谁设置、跳转指令怎么读、参数放哪几个寄存器汇编里函数边界的固定几行进程fork 与 execve 各改了什么、四步加载分别做什么进程创建前后的映射状态存储逻辑、线性、物理三种地址在哪一步切换、缺页为何能重执行页表层级与缺页处理流程I/O两层缓冲各在哪、为什么没换行的输出可能看不到标准库缓冲与写接口的调用时机自测时有个小技巧不用整段复述只要求自己给出「输入是什么、输出是什么、中间谁改了它」。比如被问到汇编阶段答案应该是「输入是汇编文本输出是含机器码的目标文件汇编器把符号引用变成待填的重定位条目」。三句话说全就说明真懂了只说得出阶段名说明还停在目录层面。# 一次性把验证链跑完形成固定的检查习惯 gcc -E hello.c -o hello.i wc -l hello.i # 看膨胀到多少行 gcc -S hello.i -o hello.s grep -c ^ hello.s # 看汇编规模 gcc -c hello.s -o hello.o readelf -r hello.o # 看还剩哪些待填地址 gcc hello.o -o hello objdump -d hello | grep -E printf|puts这五条命令跑完四份中间产物加一份反汇编就都齐了报告里每一个断言都能指回某一行输出。我自己的血泪经验是先跑完再动笔凡是写进结论的本文还有配套的精品资源点击获取